🐍 파이썬 챌린지 DAY+06

📝Python으로 웹 스크래퍼 만들기: From #4.5 to #4.9

For 반복문(Loop) 이해하기

- 튜플로 작성된 웹사이트들이 동작 중인지, 아닌지 확인합니다.
- 튜플 안에 있는 각각의 아이템을 사용해서 코드를 실행합니다.
- tuple의 각각의 item에 코드를 실행시킵니다.
- tuple뿐만 아니라, list도 마찬가지로 for 반복문에 동일하게 작동합니다.
- 현재 처리중인 item이 무엇인지 알 수 있습니다.
- for문은 각각의 item이 실행될때, placeholder를 만들어줍니다. 
- placeholer의 이름은 원하는대로 작성할 수 있습니다.
- tuple인 websites 리스트의 모든 item에 대해 코드를 실행합니다.
- 파이썬은 each로 튜플의 item에 접근할 수 있게 해줍니다.
- 어떤 집합체가 있어도, 현재 처리중인 내부 아이템에 접근할 수 있습니다.
- 네이밍 관습 중 하나, tuple이나 list를 만들때 복수형을 사용합니다. 
- ex) websites - website
- for 반복문은 sequence안의 각 item으로 코드를 실행시킬 수 있는 방법입니다.

websites = (
	"google.com",
    "aribnb.com",
    "twitter.com",
    "facebook.com"
)

# for 반복문
for website in websites:
	print("hello")

# hello
# hello
# hello
# hello

# for 반복문 > each라는 placeholder를 사용
for website in websites:
	print("each is equals to", each)

# each is equals to google.com
# each is equals to airbnb.com
# each is equals to twitter.com
# each is equals to facebook.com

URL Formatting

- 튜플 내에 있는 웹사이트 주소는 그자체만으로는 사이트에 접근할 수 없습니다.
- http 또는 https에 ://를 붙인 웹사이트로만 주소이동이 가능합니다.
- 만약, 웹사이트 주소가 https로 시작하면 바로 이동하고, 
- 아니면 앞에 https를 붙입니다.
- https://의 유무를 따져서 if문 안에서 method를 사용합니다.
- f"{변수}"를 사용하여, 변수와 텍스트를 함께 사용합니다.
- string안에 변수를 넣는 방법 f"{변수}"
- if문은 True인지 False인지 판단하며, 
startwith 메소드는 Boolan을 줍니다.
- if not을 사용합니다.

websites = (
  "google.com",
  "airbnb.com",
  "https://twitter.com",
  "facebook.com",
  "https://tiktok.com"
)

for website in websites:

  if not website.startswith("https://"):
    print(f"https://{website}")
    
  else:
    print(website)

웹사이트에 Request 보내기

- the python standard library에 
- 사용할 수 있는 module과 function이 문서화되어있습니다.
- 스탠다드 라이브러리에 기본을 포함되어있지 않은 모듈을 사용합니다.
- 기본 라이브러리가 아닌 다른 사람들이 만든 module을 사용할 수 있습니다.
- 다양한 파이썬 라이브러리를 사용할 수 있는 pypi를 사용합니다.
- pypi는 다른 사람이 만든 project나 module을 모아둔 곳입니다.
- pypi에서 검색한 Requests 패키지는 사용자의 코드에서 
- 웹사이트로 request보내게 해줍니다.
- requests 패키지에서 get함수를 가져와서 사용합니다.
- get함수는 이동한 후, website를 가져옵니다.

from requests import get

URL Status Codes 확인하기

- get함수를 사용합니다.
- website를 출력하는 것 대신, get함수를 실행합니다.
- get함수는 response를 return합니다.
- reponse란 웹사이트 요청에 대한 서버의 응답을 말합니다.
- 이 함수가 return(response)값이 있기때문에, 그 값을 가져옵니다.
- return값이란, 함수가 어떤 작업을 수행하고, 
- 작업의 결과를 값으로 돌려주는 것을 말합니다.
- 그 리턴값을 response라는 변수로 받습니다.
- 인터넷은 HTTP protocol에 기반합니다.
- HTTP protocal이란, https://을 말합니다.
- 컴퓨터들이 서로 소통하는 방식은 HTTP request입니다.
- 그 requset가 정상인지 아닌지 확인할 수 있는 수단이 필요합니다.
- request의 결과를 확인하는 방법으로 HTTP코드를 사용합니다.
- 100번대
- 200번대 -> OK / 요청이 성공되었습니다.
- 300번대 -> redirection
- 400번대 -> Error / 서버가 요청을 이해할 수 없습니다.
- 500번대
- 요청에 대한 메서드 중 status_code를 사용하여 상태코드 넘버만 출력합니다.
- 받는 요청 상태코드를 조건별로 실행문을 작성합니다.

from requests import get

websites = (
  "google.com",
  "airbnb.com",
  "https://twitter.com",
  "facebook.com",
  "https://tiktok.com"
)

for website in websites:

  if not website.startswith("https://"):
    website = f"https://{website}"
  
  response = get(website)
  print(response)
  
"""
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
<Response [200]>
"""

from requests import get

websites = (
  "google.com",
  "airbnb.com",
  "https://twitter.com",
  "facebook.com",
  "https://tiktok.com"
)

for website in websites:
  if not website.startswith("https://"):
    website = f"https://{website}"
  
  response = get(website)
  
  if response.status_code == 200:
    print(f"{website} is OK")
  else:
    print(f"{website} is not OK")
"""
https://google.com is OK
https://airbnb.com is OK
https://twitter.com is OK
https://facebook.com is OK
https://tiktok.com is OK
"""

요청값의 상태코드 응답으로 dictionary 만들기

- results라는 dictionary를 만듭니다.
- results 딕셔너리 안에 새로운 entry를 만듭니다.
- 여기서 새로운 key를 dictionary안에 만듭니다.

from requests import get

websites = (
  "google.com",
  "airbnb.com",
  "https://twitter.com",
  "facebook.com",
  "https://tiktok.com"
)

results = {}

for website in websites:
  if not website.startswith("https://"):
    website = f"https://{website}"
  
  response = get(website)
  
  if response.status_code == 200:
    results[website] = "OK"
    
  else:
    results[website] = "FAILED"

print(results)

"""
{'https://google.com': 'OK', 
'https://airbnb.com': 'OK', 
'https://twitter.com': 'OK', 
'https://facebook.com': 'OK', 
'https://tiktok.com': 'OK'}
"""

sum() 함수

-