파이썬 웹 스크래핑
1.mac pip 오류(zsh: command no found: pip)
맥으로 웹 스크래핑을 하기 위해 기본적으로 requests를 사용하기 위해 까는데 오류가 발생했다. 오류 코드; zsh:command not found: pip터미널에 pip가 있나 확인했는데 있었다..그래서 찾아봤는데 맥에는 기본적으로 파이썬 2가 깔려있어서 오류가
2.[파이썬] 정규식
정규식 : 정해진 형식이 있는 것을 의미 ex) 주민등록번호 = 111111-1111111 이메일 = helloworld@gmail.com 파이썬에서 정규식 활용하기 1. import re -> re(정규식)을 import 함 2. p = re.compi
3.[파이썬] User Agent
\-> 웹 스크래핑, 크롤링을 할려고 하는 경우, 사용자가 아닌 컴퓨터가 하기 때문에 사이트 입장에서는 정보를 뺏길 우려가 있어서 접속을 차단하게 됨.\-> 크롬이나 익스플로우에서는 잘 접속되는 사이트가 requests를 통해서는 오류가 뜨는 경우 user agent를
4.[파이썬] beautifulsoup4 1장
파이썬에서 beautifulsoup4를 실행하기에 앞서 설치해야할 것이 두 가지가 있음.터미널창에 가서 아래 두 가지를 설치할 것.pip install beautifulsoup4pip install lxmlbeautifulsoup4 : 스크래핑을 위한 패키지lxml :
5.[파이썬] beautifulsoup4 2장 - 웹툰 스크래핑
1장에서 다뤘듯이 bs4와 lxml을 기본적으로 파일에 적용을 해야함.find_all 함수는 soup의 모든 정보를 가져오는 것을 의미함.\-> 이 또한 soup.find_all("태그이름", "태그 속성")을 통해 가져올 정보를 지정할 수 있음.soup.find_a
6.[파이썬] beautifulsoup4 3장
3장에 들어가기에 앞서...HTTP Method에 대해 설명하고자 함.HTTP : HTML과 같은 문서 리소스를 가져오게 해주는 프로토콜임.\-> 클라이언트가 HTTP를 통해 서버에 요청을 보낼 때 HTTP Method라는 것이 포함되어 있음. \-> 초기에는 get