[강의정리]파이썬으로 웹 스크래퍼 만들기

김재만·2022년 7월 24일
0

웹 스크래핑 순서

1. 페이지 가져오기 - URL 값 변수에 저장

2. http request 작성 - requests 모듈 활용하여, 문서 내용 get요청

3. 데이터 추출하기 - bs4 모듈 활용하여, 특정 요소의 컨텐츠에 접근

메소드 정리

string.strip()

문자열의 양 끝에 잇는 특정 문자(혹은 공백)를 제거하는 내장함수

list.append(a)

리스트에 요소를 추가하는 내장함수

soup["attributeName"]

soup으로 접근한 html태그의 요소에 []접근자로 접근할 수 있다.

a, b = list

list의 0번째, 1번째 인덱스 값을 변수 a와 b에 각각 저장한다.(unpacking value)

open("파일명", mode="w")

파이썬에서 특정 파일에 접근하는 내장함수. 모드w는 쓰기모드, 모드r은 읽기모드.

CSV(Comma Separated Values)

여러가지 필드 값을 갖는 데이터를 표기하기 위한 방식으로, 컴마로 필드를 개행으로 데이터를 구분한다.

csv 모듈

파이썬 내부에서 csv파일을 작성할 수 있도록 하는 모듈.

a = csv.writer(FILE)

a에 csv를 작성할 수 있도록 만드는 함수

csv.writer(FILE).writerow(["a", "b", "c", "d"])

csv파일의 행을 작성하는 함수

profile
듣는 것을 좋아하는 개발자입니다

0개의 댓글