# requests
⚙️ Airflow에 알라딘 크롤링 자동화
처음 혼자 연습했던 알라딘의 API를 이용해서 중고책들의 정보를 가져오는 코드를 통해서 매일 같은시간에 데이터를 받아오기 위해서 Airflow에서 간단하게 작업을 수행해보겠습니다. 알라딘의 api를 이용하기 위해서는 TTBKey를 사이트에서 발급 받아오셔야 합니다.
🏞️ 연예인 사진 크롤링 하기
**모델을 만들기 위해서는 제일 처음 있어야 하는것이 이미지 아닐까요? 그렇기 때문에 구글에서 이미지를 연예인마다 폴더를 만들어서 저장하는 계획을 새웠습니다.** 먼저 처음 작성했던 1차 파이썬 코드를 먼저 보여드리겠습니다. 위의 코드는 장기용이라 배우의 사진을 구
셔틀버스 예약 자동화 프로그램
ㄴ 개발자도구 -> 미리보기 값과 동일.json은 결과값? 데이터?를 가져오는 함수??이제까지 로그인 -> 노원 등교/하교 버스 리스트 가져오기가 안됐는데 request모듈의 get함수를 서버에 보낼때 authorization, cookie값을 포함해서 보냈더니 성공!
ChatGPT 백준 매크로 만들기
ChatGPT API 와 Python 의 Selenium 을 이용해서 ChatGPT 를 백준 풀이 노예로 만들어보자. ChatGPT API 안 써보면 뒤쳐지는 느낌이라 써볼만한 걸 생각해봤는데 내 뇌는 이게 한계였다. 목표는 백준 한 페이지, 총 100문제 Chat
Requests
우리는 Python Standard Library를 통해서 module을 import하여 사용하는데 아주 가끔 가다가 우리가 사용하고자 하는 module이 이곳에 없을수도 있다.그런 경우 우리는 다른 사람들이 제작한 module을 사용할 수 있는데 이 때 PyPi를 입
kaptget.py 수정 사항
try, except 문에서 오류가 발생할 경우 sleep(2)하고 다시 try 하는 방식으로 구현하여 timeout error 해결 (기존에는 except문에서 다시 요청을 보냈고, 보낸 요청에 대해 다시 error가 발생할 경우, 프로세스가 종료되었음)HTTP st
Request, Requests 차이
파이썬 코드 작성 중 Request와 Requests를 구분하는 것이 중요하다고 하여 구글링을 통해 자세히 알아보았다. 1. requests requests는 데이터를 전송할 때 딕셔너리 형태로 보낸다. 존재하지 않는 페이지를 요청해도 500, 404등의 HTTP 에
[230117] 멋쟁이사자처럼 AI SCHOOL 8기 '서울 다산콜센터 주요질문 목록 및 내용 웹스크래핑_박조은강사님' 복습
230117 멋사 AI SCHOOL 8기 '서울 다산콜센터 주요질문 목록 및 내용 웹스크래핑' TIL
[230116] 멋쟁이사자처럼 AI SCHOOL 8기 '대통령 연설문 웹스크래핑_박조은강사님' 복습(2)
230116 멋사 AI SCHOOL 8기 '대통령 연설문 웹스크래핑' TIL(2)
[230111] 멋쟁이사자처럼 AI SCHOOL 8기 '대통령 연설문 웹스크래핑_박조은강사님' 복습
230111 멋사 AI SCHOOL 8기 '대통령 연설문 웹스크래핑' TIL
단지코드 단위 에너지소비량 local Dataset 구축
전국 단지코드 목록 한번에 받기Request parameter: kaptCode, reqDateenergy_parsing()의 input parameter를 통해 해당 함수를 호출하여 helect, hgas, hheat, hwaterCool, hwaterHot의 값들을
[230111] 멋쟁이사자처럼 AI SCHOOL 8기 '네이버 금융 일별시세 웹스크래핑_박조은강사님' 복습
230111 멋사 AI SCHOOL 8기 '네이버 금융 일별시세 웹스크래핑' TIL
kaptCode 추출
requests module을 이용하여 API 요청 및 응답을 받을 수 있도록 함수 구현beautifulSoup module을 이용하여 html parsing (xml 형식이긴 한데 tag 형식이면 parsing은 가능)xml parsing은 xml.etree.Elem
Python - requests
requests 모듈을 사용하기 전, HTTP 메소드에 대해 알아야하므로 간단하게 설명하겠다.HTTP 메소드에는 4가지 방식이 있다.GET 메소드는 데이터를 조회할 때 사용한다.POST 메소드는 데이터를 생성할 때 사용한다.PUT 메소드는 데이터를 수정할 때 사용한다.
tika 라이브러리 사용기
tika 라이브러리는 pdf 파일의 텍스트를 추출해주는 아주 유용한 라이브러리! 이름도 뭔가 귀엽다 .. 티카,, 티키 타카.. 티카.. (ㅋ) 앞에서 크롤링해온 다운로드 링크를 통해 pdf를 모두 다운받아서 텍스트 추출을 해줄거다! 먼저 파일 다운로드부터 이렇게
