Scraping & Crawling?? 뭔데?

1. Scraping & Crawling

• Web의 데이터를 수집할때 scraping과 crawling 기술을 많이 사용 한다.

1-1. Scraping

• 기본적으로 자동화된 방식으로 웹사이트에서 데이터를 추출하는 방식이다.
• scraping은 복사하여 붙여넣기를 하는게 아니라 정확하고 정확한 방식으로 데이터를 가져 온다. 그리고 웹에 국한되지 않는다.
• 예를 들자면, 기타 전자 상거래 사이트에서 다양하고, 특정 제품의 가격을 추출할 수 있다. 또한, 주식 시장 데이터, 부동산 목록 등에도 사용할 수 있다.

1-2. Crawling

• 이 용어는 거미가 기어가는 방식에서 유래됐다고 한다. 그래서 크롤링을 스파이더라고도 한다.
• 크롤링은 웹페이지를 구석구석 살펴보며 더 깊이 있는 정보들을 찾아 검색한다. 다른 말로, 정보 추출을 위해 심층 검색을 수행한다.
• 예를 들자면, Google, Yahoo 및 Bing과 같은 유명한 검색 엔진은 웹 크롤링을 수행하고 이 정보를 사용하여 웹페이지를 인덱싱한다.

2. 차이점

• 차이점에 대해서는 하나의 표를 퍼왔다.

마무리

=> 이번주 수업에서도 나는 Scraping과 crawling에 대해서 배우고, 실습도 해보았다. 솔직하게 직접 해본 결과, 둘의 차이를 잘 느끼지 못하였다..... 하지만, 정의상으로는 차이점도 있고 쓰이는 곳도 다르니까 좀 더 삽질을 해보고 의미를 알아가야 할 것 같다.