20/03/07 파이썬 웹 크롤링 (1) - 프로그램 설치

작업환경 : 맥 OS + VScode

Requests 와 BeautifulSoup4 설치하기

• Requests 와 BeautifulSoup4 설치하기
  • Homebrew 설치하기
    • Homebrew는 맥에서 소프트웨어 설치를 편리하게 만들어주는 패키지 관리 시스템이다.
    • 사용법 및 설치법은 공식홈페이지에서 확인할 수 있다.
    • https://brew.sh/index_ko
    • 터미널에서 brew update 로 업데이트를 진행할 수 있다.
      
      
  • pip 설치하기
    • pip는 파이썬으로 작성된 패키지 소프트웨어를 설치 및 관리할 수 있는 시스템이다.
    • 터미널에서 아래의 커맨드를 입력하여 get-pip.py를 다운로드 한다.

    curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py

    • 다운로드가 완료되면 아래 커맨드들을 순서대로 입력하여 pip를 설치한다.

    sudo python3 get-pip.py
    sudo easy_install pip

    • 터미널에서 아래의 명령어로 설치여부 확인이 가능하다
    • pip
      
      
  • Requests, BeautifulSoup4 설치하기
    • 이제 파이썬 모듈인 requests와 beautifulsoup4를 설치해보자.
    • requests는 HTTP 요청 처리를 도와주는 모듈이다.
    • 터미널에서 다음과 같은 커맨드를 입력하여 모듈을 설치해주자.

      pip install requests

    • 설치가 완료되면 beautifulsoup4를 설치해주자.
    • beautifulsoup4는 HTML과 XML 파일에서 데이터를 읽어내준다. 크롤링에 필요하다고 볼 수 있다.
    • 다음 커맨드를 터미널에 입력해서 모듈을 설치해보자.

      pip install beautifulsoup4

    • 여기까지 설치가 완료되면 웹 크롤링을 위한 기본적인 준비사항은 완료되었다.