# beautifulsoup
웹크롤링 해보았다. (3주차)
지난번에 배운걸 스스로 이리저리 굴려보면서 작성해보았다.시작하기전 또 궁금증이 생겼다. soup은 무엇일까.. 왜 저기다 Beautiful까지 붙여서 BeautifulSoup이 되었을까.. 하는..
3주차 개발일지! 배꼽의 승리!
맥북이 맛대가리가 가버렸죠.허나 서버사이드 언어인 python을 사용해야만 하는걸?!가진 거라곤 ipad 하나 뿐인데,,,,,허허허허나 스파르타 창을 멈출 순 없죠!!그래서 서버를 하나 받아버렸습니다!이 시대가 얼마나 좋은 시대냐면!!공짜로 서버를 줍니다…..공짜로 서
띵동코딩_개발일지_week 2
브라우저의 역할google collab 웹스크래핑1) bs4와 requests 라이브러리 설치prac 네이버 뉴스 타이틀 크롤링1) 뉴스 제목 가져오기2) 뉴스 제목 여러 개 가져오기3) 특정 키워드가 포함된 뉴스 타이틀 가져오기prac 뉴스 타이틀 / 링크 / 언론사
웹개발 종합반_homework_5주차
'Our Playlist' 사이트 바로가기👉 output원래 숙제는 4주차 숙제로 한 팬명록 : 웹개발 종합반\_homework_4주차을 웹배포하는 거 였지만, 팬명록을 응용해서 만든 playlist 사이트로 대체함요청 정보 : URL= /playlist, 요청 방식
웹개발 종합반_개발일지_Day 8 [完]
prac 버킷 리스트 페이지 만들기1) 리스트 작성하기2) 리스트 보여주기3) 리스트 완료하기(done : 0->1)웹 배포1) 기본 셋팅2) AWS 서버 구매하기3) 서버 세팅하기4) 도메인 연결5) meta 태그 생성 (사이트 배포용)요청 정보 : URL= /bu
웹개발 종합반_homework_4주차
🛠 팬명록 DB연결 👉 output >📍 준비 사항 MongoDB 로그인과 폴더 셋팅 및 서버 구축 관련(flask), mongoDB 관련(pymongo, dnspython, certifi) 패키지 설치 구현할 기능 : 팬명록 작성과 작성 리스트 보여주기 1)
웹개발 종합반_개발일지_Day 7
서버 만들기 (로컬 개발 환경 만들기)1) Flask 프레임워크 시작2) flask 기본 폴더 구성3) API 만들기prac 화성땅 공동구매 페이지1) 주문 저장하기2) 주문 보여주기prac 무비피디아 페이지1) 조각 기능(meta 태그 크롤링) 구현2) 프로젝트 뼈대
웹개발 종합반_homework_3주차
👉 input📍 습관적으로 if를 써서 값이 없는 데이터를 제거하도록 적었다. 오류는 나지 않았지만, 이 예시는 none제거 조건을 안 썼어도 되는 환경이라 결론적으로는 쓸데없이 두어줄 코드가 길어졌다.👇 if 조건문 생략 ver.👉 output🔎 추가 서칭한
웹개발 종합반_개발일지_Day 6
웹스크래핑(크롤링) 기초1) beautiful soup 사용법prac 순위 / 영화제목 / 별점 print하기DB 1) 형식2) mongoDB 연결단일･다중 데이터 추가하기모든･특정 데이터 가져오기데이터 업데이트/삭제웹스크래핑 결과 저장하기prac 웹스크래핑 데이터 활
[3주차] 파이썬 시작(beautifulsoup)
주요내용1\. beautifulsoup 패키지는 크롤링을 할 때 특정 데이터를 쉽게 찾을 수 있도록 하는 기능을 가지고 있다기본코드(requests 포함)import requestsfrom bs4 import BeautifulSoupheaders = {'User-Age
Python Crawling
인터넷 상에 오픈 되어 있는 수많은 정보들을 잘 활용하면 새로운 가치의 데이터로 만들어 낼 수 있다. 이러한 데이터를 수집하는 행위를 크롤링(Crawling) 이라하고, 크롤링하는 프로그램을 크롤러(Crawler) 라고 한다.
다나오는 사이트를 긁어보자.3
잠시 쉬어 가는 글을 쓰고자 한다.하지만 다나오는 사이트를 크롤링 할 때 꼭 필요한 내용을 적을거다.그럼 크롤링 얘기인데 왜 쉬어가는 글이냐고?앞서 모듈에서 소개한 BeautifulSoup모듈이 한번 쓰이는데 이게 한 섹션으로 넣기엔 짧고, 섹션에 묻어가기엔(?)길어서
BeautifulSoup4 (1)
시작 전 beautifulsoup4 와 lxml을 pip install 키워드를 이용하여 설치하여야 한다. lxml은 xml을 해석하는 프로그램 즉, 파서이다. 실행 결과 실재 네이버 웹툰 페이지에서 관리자 도구로 들어갔을 때 볼수 있는 title태그 위의 코드
[Jupyter Notebook] 빅데이터 분석 - 웹 크롤링하기
[Jupyter Notebook] 네이버 영화 사이트 웹 크롤링(평점순 상위 10위 정렬하여 출력) / 빅데이터 분석 및 시각화(그래프)하기
[2022_빅리더_AI] 웹크롤링 #3
1) 네이버 영화 평점 사이트 (https://movie.naver.com/) 에서 특정 영화 검색한 후, 해당 영화의 정보를 수집하는 크롤러 만들기2) 검색 키워드 : 범죄도시23) 별점, 리뷰내용, 작성자, 작성일자, 공감 횟수, 비공감 횟수 수집하여 cs
[2022_빅리더_AI] 웹크롤링 #2
목표 : 검색된 결과의 요약 정보와 상세 정보 수집하여 다양한 형식의 파일로 저장하기핵심 : 특정 제목이나 링크를 눌러서 나오는 새로운 창에서 정보를 추출하고 이전 페이지로 다시 돌아가는 것riss.kr 사이트에 자동 접속 후 전염병 키워드로 자동 검색한 후 학위논문