EDA, 크롤링 기초 

서버에 Jupyter notebook을 설치하여 포트를 개방한 후 해당 url에 접속하여 원격으로 사용하거나, 로컬 환경에서 브라우저를 띄워 대화형 환경에서 코드를 작성 및 실행할 수 있다.편집 모드에서는 셀의 내용을 편집할 수 있고(셀의 테두리가 초록색), 명령 모드

서울 CCTV ![](https://velog.velcdn.com/images/blueday4574/post/afb8bb6e-bfd9-458a-8c26-85a

Python에서 R만큼의 강력한 데이터 핸들링 성능을 제공하는 모듈단일 프로세스에서는 최대 효율코딩 가능하고 응용 가능한 엑셀로 받아들여도 됨누군가는 스테로이드를 맞은 엑셀로 표현함한글은 encoding 설정이 필수head(n) : 위에서부터 n개(default:5개)

파이썬의 대표 시각화 도구통상적으로 matplotlib의 pyplot은 plt로 naming 한다주로 %matplotlib inline 옵션을 사용한다점을 뿌리듯이 그리는 그림단순 CCTV 수와 인구대비 CCTV 비율을 볼 때CCTV 많은 구는 강남, 양천, 서초, 관

목표: 강남 3구의 범죄 현황숫자들이 콤마를 사용하고 있어서 문자로 인식될 수 있다천단위 구분(thousands=',')이라고 알려주면 콤마를 제거하고 숫자형으로 읽는다RangeIndex는 65534인데 데이터들이 310개??nan이 포함되어 있다nan이 아닌 데이터만

범죄의 경중에 따라 발생 건수의 차이가 크다살인이 한자리 발생일 때, 절도는 네자리 수 발생이런 현상 때문에 정규화를 진행정규화최고값을 1로 두고, 최소값을 0으로CCTV수와 인구수 추가정규화된 범죄발생 건수 전체의 평균을 구해서 범죄의 대표값으로 사용하자numpy에선

태그로 이루어진 문서를 해석하는 기능을 가진 파이썬 모듈파일로 저장된 html 파일을 읽을 때open : 파일명과 함께 (r)/ 쓰기(w) 속성을 지정html.parser : BeautifulSoup의 html을 읽는 엔진 중 하나(lxml도 많이 사용)prettify

접근할 웹 주소를 알 수 없을 때자바스크립트를 사용하는 웹 페이지의 경우웹 브라우저로 접근하지 않으면 안될 때웹 브라우저를 원격 조작하는 도구자동으로 URL을 열고 클릭 등이 가능스크롤, 문자의 입력, 화면 캡처 등등기본적으로 속도가 빠르지 않다그래서 주로 Beauti

경고 문구 무시\-> 위 정보를 참고해 데이터를 뽑아오자\-> 다 강남구니까 반목문을 이용해 다른 구들을 맞게 채워보자앞에 서울 붙이는 이유는 '검색량이 너무 많다'고 오류 뜸...이거때매 과제 몇시간 날린듯 하..\-> 강남구, 중구, 서초구, 종로구, 용산구에서 스

시간의 흐름에 대해 특정 패턴과 같은 정보를 가지고 있는 경우머신러닝에서는 시계열 데이터를 다루지 않는 경우가 많다머신러닝에서는 '시간'이라는 것이 특성으로 잡히는 경우가 많지 않다딥러닝 부분에서 다시 다룰 예정이다통계학에서 많이 언급되는 부분이다개요 정도의 레벨에서

네이버, 페이스북, 구글 등 IT의 거대 기업들부터 많은 S/W관련 회사들이 자사 제품을 사용하는 것에 대해 API를 제공한다특히 요즘처럼 웹크롤링에 대한 방어가 점점 심해지는 이때 해당 회사의 + API를 사용하는 것이 오히려 더 바람직할 수 있다사용하는 서비스마다

인구 소멸 위기 지역 파악인구 소멸 위기 지역의 지도 표현지도 표현에 대한 카르토그램 표현65세 이상 노인 인구와 20 ~ 39세 여성 인구를 비교해 젊은 여성 인구가 노인 인구의 절반에 미달할 경우 '소멸 위험 지역'으로 분류하는 방식pad : 결측값(NaN)을 이전

'https://www.opinet.co.kr/searRgSelect.do'가져와야 할 데이터(14개)주유소 이름, 주소, 브랜드(상호명), 휘발유 가격, 경유 가격, 셀프 여부, 세차장 여부, 충전소 여부, 경정비 여부, 편의점 여부, 24시간 운영 여부,