# requests

92개의 포스트

⚙️ Airflow에 알라딘 크롤링 자동화

처음 혼자 연습했던 알라딘의 API를 이용해서 중고책들의 정보를 가져오는 코드를 통해서 매일 같은시간에 데이터를 받아오기 위해서 Airflow에서 간단하게 작업을 수행해보겠습니다. 알라딘의 api를 이용하기 위해서는 TTBKey를 사이트에서 발급 받아오셔야 합니다.

2023년 5월 31일
·
0개의 댓글
·
post-thumbnail

🏞️ 연예인 사진 크롤링 하기

**모델을 만들기 위해서는 제일 처음 있어야 하는것이 이미지 아닐까요? 그렇기 때문에 구글에서 이미지를 연예인마다 폴더를 만들어서 저장하는 계획을 새웠습니다.** 먼저 처음 작성했던 1차 파이썬 코드를 먼저 보여드리겠습니다. 위의 코드는 장기용이라 배우의 사진을 구

2023년 5월 21일
·
0개의 댓글
·

셔틀버스 예약 자동화 프로그램

ㄴ 개발자도구 -> 미리보기 값과 동일.json은 결과값? 데이터?를 가져오는 함수??이제까지 로그인 -> 노원 등교/하교 버스 리스트 가져오기가 안됐는데 request모듈의 get함수를 서버에 보낼때 authorization, cookie값을 포함해서 보냈더니 성공!

2023년 4월 23일
·
0개의 댓글
·
post-thumbnail

ChatGPT 백준 매크로 만들기

ChatGPT API 와 Python 의 Selenium 을 이용해서 ChatGPT 를 백준 풀이 노예로 만들어보자. ChatGPT API 안 써보면 뒤쳐지는 느낌이라 써볼만한 걸 생각해봤는데 내 뇌는 이게 한계였다. 목표는 백준 한 페이지, 총 100문제 Chat

2023년 3월 22일
·
0개의 댓글
·

JOB SCRAPPER

Requests를 설치했던 방법 그대로 BeautifulSoup를 찾아서 설치해주면 끝...!

2023년 3월 18일
·
0개의 댓글
·

Requests

우리는 Python Standard Library를 통해서 module을 import하여 사용하는데 아주 가끔 가다가 우리가 사용하고자 하는 module이 이곳에 없을수도 있다.그런 경우 우리는 다른 사람들이 제작한 module을 사용할 수 있는데 이 때 PyPi를 입

2023년 3월 17일
·
0개의 댓글
·
post-thumbnail

Python Web Crawling [requests]

파이썬을 이용한 웹 크롤링 , requests 편!

2023년 2월 24일
·
0개의 댓글
·

kaptget.py 수정 사항

try, except 문에서 오류가 발생할 경우 sleep(2)하고 다시 try 하는 방식으로 구현하여 timeout error 해결 (기존에는 except문에서 다시 요청을 보냈고, 보낸 요청에 대해 다시 error가 발생할 경우, 프로세스가 종료되었음)HTTP st

2023년 1월 31일
·
0개의 댓글
·

Request, Requests 차이

파이썬 코드 작성 중 Request와 Requests를 구분하는 것이 중요하다고 하여 구글링을 통해 자세히 알아보았다. 1. requests requests는 데이터를 전송할 때 딕셔너리 형태로 보낸다. 존재하지 않는 페이지를 요청해도 500, 404등의 HTTP 에

2023년 1월 28일
·
0개의 댓글
·

TimeoutError: [WinError 10060] 해결

오류 내용

2023년 1월 16일
·
0개의 댓글
·

단지코드 단위 에너지소비량 local Dataset 구축

전국 단지코드 목록 한번에 받기Request parameter: kaptCode, reqDateenergy_parsing()의 input parameter를 통해 해당 함수를 호출하여 helect, hgas, hheat, hwaterCool, hwaterHot의 값들을

2023년 1월 12일
·
0개의 댓글
·

kaptCode 추출

requests module을 이용하여 API 요청 및 응답을 받을 수 있도록 함수 구현beautifulSoup module을 이용하여 html parsing (xml 형식이긴 한데 tag 형식이면 parsing은 가능)xml parsing은 xml.etree.Elem

2023년 1월 12일
·
0개의 댓글
·
post-thumbnail

Python - requests

requests 모듈을 사용하기 전, HTTP 메소드에 대해 알아야하므로 간단하게 설명하겠다.HTTP 메소드에는 4가지 방식이 있다.GET 메소드는 데이터를 조회할 때 사용한다.POST 메소드는 데이터를 생성할 때 사용한다.PUT 메소드는 데이터를 수정할 때 사용한다.

2023년 1월 2일
·
0개의 댓글
·
post-thumbnail

tika 라이브러리 사용기

tika 라이브러리는 pdf 파일의 텍스트를 추출해주는 아주 유용한 라이브러리! 이름도 뭔가 귀엽다 .. 티카,, 티키 타카.. 티카.. (ㅋ) 앞에서 크롤링해온 다운로드 링크를 통해 pdf를 모두 다운받아서 텍스트 추출을 해줄거다! 먼저 파일 다운로드부터 이렇게

2022년 11월 19일
·
0개의 댓글
·
post-thumbnail

Mid_Project 전기차 충전소 예측

서울시 전기차 충전소 EDA 분석 & 예측

2022년 10월 25일
·
0개의 댓글
·