🖱️[Crawling] 뉴스 제목과 링크 가져오기

01. 설계 계획 ⚒️

사용자가 뉴스 키워드를 직접 입력하여 원하는 정보를 추출할 수 있도록 pyautogui 를 이용하여 간단한 팝업창을 띄워준다. 또한 뉴스를 단일페이지만 가져오는 것이 아닌, 여러 페이지를 크롤링하기 위하여 사용자에게 몇 페이지까지 크롤링할 것인지 물어보는 팝업창도 띄울 것이다.

requests와 beautifulsoup, pyautogui를 이용하여 사용자가 입력하는 것을 바탕으로 터미널에 뉴스의 제목과 링크가 출력되도록 코드를 설계했다.

---

02. 사용한 코드 및 문법

1. pyautogui

• 마우스, 키보드 매크로 라이브러리
• 간단한 팝업창을 띄워주기 위해 사용

keyword= pyautogui.prompt("검색어를 입력하세요.")
lastpage= pyautogui.prompt("마지막 페이지 번호를 입력하세요.")
pagenum=1 # 페이지의 초기값을 1페이지로 설정

---

📝 반복문 형식부터 알고가자

• for i in range ( 시작, 끝, 단계)
• 예를들어, for i in range ( 1, 10, 2 ) // 1, 3, 5, 7, 9 출력

---

2. 페이지가 반복되는 반복문

• 사용자에게 입력받는 페이지 번호에 따라 여러 페이지를 터미널에 출력해야 하기 때문에 반복문을 사용했다.

• 오로지 "페이지"가 반복되는 반복문

• 터미널에서 몇 페이지인지 구분하기 위하여, 반복문 안에 print(f"===={pagenum}페이지입니다====") 구문을 넣어뒀다.

for i in range(1,int(lastpage)*10,10):
    print(f"============={pagenum}페이지입니다=============")
    response= requests.get(f"https://search.naver.com/search.naver?where=news&sm=tab_jum&query={keyword}&start={i}" )
    html= response.text
    soup= BeautifulSoup(html,'html.parser')
    links= soup.select('.news_tit')
    pagenum= pagenum+1

우선, 반복문의 범위를 정하기 위해 네이버에서 뉴스 탭을 들어가서 페이지 넘기면 url 파라미터 부분에 페이지 번호를 나타내는 start라는 key가 있다. start 의 value를 보면 밑에 사진과 같다.
( URL은 이해를 위해 path와 일부 parameter은 삭제했다. ) 첫 번째 이미지를 보면 1 페이지에서 start = 1 , 두 번째 이미지를 보면 2 페이지에서 start = 11 , 세 번째 이미지를 보면 3 페이지에서 start = 21 이다. 따라서 페이지 수가 하나씩 늘 때마다 , start의 value는 10씩 늘고 있음을 알 수 있다.

for i in range(1,int(lastpage)*10,10): 반복문의 범위는, 1 페이지부터 사용자가 입력한 페이지 값에 10을 곱한 범위까지다. 이 범위 내에서 10씩 단계가 있다는 뜻이다. 🔎 이런식으로! 1, 11, 21, 31, 41, ..., int(lastpage)*10

🤔 왜 int ( lastpage )에서 int를 사용하였을까?

• 사용자가 pyautogui에서 문자열로 lastpage 값을 입력했으니 숫자로 형변환을 해준 것이다.

---

3. 뉴스 리스트가 반복되는 반복문

• 한 페이지 안에 한개의 뉴스기사가 있는 것이 아니라, 리스트 형태로 여러개가 있는 것을 표현한 반복문
• 뉴스의 제목과 링크만 리스트로 생성
• 이 반복문을 페이지 반복문 안에 넣었음

  for link in links:
     title =link.text #태그 안에 텍스트 요소를 가져온다
     url =link.attrs['href'] #href의 속성값을 가져온다
     print(title, url)

---

터미널에는 페이지마다 뉴스 제목과 url 을 리스트로 만들어 출력된다.