PYTHON - SCRAPPER

python 으로 scrapper를 만들어볼려고 한다. 키워드를 타이핑 하면 그와 관련된 직업을 3가지 웹사이트에서 가져와 정리해서 출력해주는 앱을 만들려고 한다.그전에, 간단하게 알아야 할 문법을 설명하고 초기 세팅을 하려고 한다.이미 Coursera 로 기초 문법은

이제부터 우리가 할 일은 indeed.com 이라는 일자리 구직사이트에서 python 관련된 일자리 정보를 전부끌어모아서 엑셀에 보기좋게 정리하는 프로그램을 하나 만들거다. 우선 프로그램의 전체적인 로직은 : "indeed.com 접속--> 페이지 수를 세기-->각각의

지금 div "class" : "jobsearch-SerpJobCard" 안으로 들어간 상태이다. 여기서 또다시 for loop을 돌려 안에 있는 자세한 정보를 긁어모을생각이다. 니콜라스는 코드가 복잡해지면 그 코드만 따로 빼서 함수로 만드는게 좋다고 했다.(바닐라 자

indeed.com 긁어낼때랑 코드가 거의 비슷하다. 그래서 살짝 다른 코드만 살펴보려고 한다.나같은 경우 왜 그런지 모르겠지만 니코와 사이트 html 코드 배열이 달라서 사용하지 않았던 방법을 적어보려한다.이렇게 해서 두 웹사이트에서 페이지를 긁어 모으는 프로그램을

scrap 한 데이터를 담는다고 했을때 Courera에서 배운 sqlite 가 생각났다. 그래서 SQL을 이용해 뽑아낸 데이터를 저장해보려 했다.된다....된다...된다...드디어 진짜 된다ㅠㅠㅠㅠ 진짜 포기하려고 했었는데... 너무 뿌듯하고 자랑스럽고 벅차고 그렇다.

이번엔 꽤나 흥미로운 프로젝트를 시작할거다. 웹사이트를 하나 만든다음에 그 웹사이트안에 내가 만든 scrapper 기능을 추가하여 실행시킨다. 그리고 결과값을 띄어준다. 여기서 더 나아가 원한다면 그 결과를 csv로 다운받을 수 있게 해주는 기능도 추가하려고 한다. 이

앞서 flower.html 파일에서 입력값을 report 페이지로 보낸다고 했었다. 그 페이지를 설정하는 방법을 배워보자.so.py를 수정했으면 이제 report 함수를 통해 랜더링된 report.html 을 살펴보자. 여기서 배울 것은 render_template 함

CSV를 다운받기 위해서는 send_file 함수를 불러와야하고, 기존에 만들었던 save.py 파일안에 있는 save_to_file 함수도 불러와야한다. 일단 report.html 안에서 수정해야할 게 있다. 바로 h3 태그 밑에 링크태그를 추가하는것이다.그럼 exp

노마드 코더에서 진행하는 파이썬 챌린지를 완수하였다. 정말 로직을 짜는데 고통스럽다는게 뭔지 알았다. 어쩔때는 머리가 과부화상태가 되면서 지끈거리고 열은 나는데 더이상 생각이 진전되지가 않고 멍한 상태가 되어버린적도 많았다. 그럴땐 잠깐 쉬는게 답이다. 운동을 한다던

나름 정리 해 보았다.

드디어 python scrapper를 다듬으려고 한다. css를 통해 home.html과 detail.html, export.html 까지 쌈빡하게 만들어보려고 한다.(sass를 이용해서 만들긴 했으나 나중에 다시 css로 코드를 짰다. 왜냐면 sass가 가능하려면 n

home.html과 마찬가지로 favicon도 추가하였다. 추가하는 방법은 css와 동일하다. header와 main은 flex를 사용하였고 안에 결과 데이터는 grid를 사용하였다. 또한 box-shadow를 추가해 입체감을 살리고 logo / link를 hover할

scrapper기능과 디자인은 완성이 되었다. 그러나 여전히 아쉬운점이 존재했다.결과 검색까지 오래 걸리는 이유를 총 3가지로 추릴 수 있다. 1.모든 결과값을 불러오기 때문2.logo를 추출하기 위해 requests 함수를 2번 사용하기 때문3.stackoverfl

특수문자를 입력했을 경우 internal sever error 가 나는 것이다. 명령프롬프트를 확인해보니 remote에서 결과값이 없다는 것을 확인할 수 있었다. 그래서 remote웹사이트에서 c sharp라고 입력하니 결과값이 나왔다. 따라서 \`c검색결과 이상없다는

참 많이 돌아왔다 이 기능은 사실 스크래퍼 챌린지 하다가 다른 우수 졸업자들의 작품을 보고 영감을 받아서 만들려고 했던건데 자바스크립트로 구현되어있어서 자바스크립트 공부하고 다시 만들자고 했던건데 드디어 다 구현했다! 그럼 우선 history가 위치할 틀을 html,

내가 하려고 했던건 검색 결과 history가 밑에 표시되게 하는 기능이었다. 그래서 이런식으로 코드를 작성했다.반응형으로 만들려고 media query를 이용했다. 그러나 반응형이 동작해야하는 시점에 효과가 적용되지 않아서 개발자 도구를 살펴보니 media query

로딩화면을 어떻게 추가할까 생각해보다가. window에 이벤트리스너를 추가해야하나 라고 고민했다. 찾아보니 DOMcontentloaded 와 onload 이벤트가 있었다. 근데 복잡해서 우수졸업자분의 코드를 보았다(loading library가 여러개 검색되기는 했다