크롤링

import request from bs4 import beautifulsoup 크롤링 하는데 , 다양한 방법이 있다 . 그중에서 셀레니움을 사용하는 방법이 있지만 , 가급적이면 셀레니움 사용하는것을 지양한다. > What is Selenium? Selenium a

마켓컬리를 들고오게 될때 , api 가 존재하기때문에 편하게 들고 올 수 있다.api 를 들고오게 되면 , 그것을 바로 json 들고 와도 되지만 딕셔너리에 담아둔다.가지고온 products 만큼 반복문을 돌려서 에 넣어준다.사실 딕셔너리에 안 담아도 된다. 딕셔너리에

csv 파일을 불러오기 전에 우선적으로 csv 파일을 만들어야한다.크롤링한 파일에 csv 파일에 넣는 작업을 한다.다량의 데이터를 한번에 데이터베이스에 넣을 때 장고에서는 bulk_create 을 사용한다.csv 파일이 일단은 있다고 가정을 하고나서 , 테스트를 해본다

데이터 넣는 방법 insert 로 데이터 넣기bulk_create 로 데이터 넣기 두가지 방법이 있다 .엑셀에 쌓으면서 동시에 데이터베이스에 저장을 한다. 엑셀에 저장되어있는것을 shell 상에서 데이터베이스에 저장을 한다.데이터가 뿌려지는것을 볼 수 있다.bulk_c

먼저 가상환경을 설치한다. 이렇게 하면 실행이 된다.https://greeksharifa.github.io/references/2019/01/26/Jupyter-usage/

크롤링을 하게 될때 , 한글이 깨지는 현상을 보게 된다 .https://sfixer.tistory.com/entry/python3-beautifulsoup-%ED%95%9C%EA%B8%80-%EA%B9%A8%EC%A7%90이코드를 그대로 실행 시키게 되면 한글

윈도우에선 스케쥴러가 있지만 linux 에선 crontab 으로 설정을 해야한다.crontab -e > crontab -l > crontab -r > crontab -v