일본 범죄 데이터 크롤링 - 오시마랜드(Oshimaland)

지은·2023년 11월 20일
0
post-thumbnail

🔍 Logic

Oshimaland

  1. 검색어에 도쿄에 해당하는 구역 입력하여 검색

  1. 검색 결과 지도 확인

  2. 각 fire Icon 마다, https://api.oshimaland.co.jp/map 에 Post 요청하여, Marker 정보를 가져온다.

  1. fire Icon 의 json에 접근하여, ['markers'][숫자]['key']값으로 json url 생성 및 요청 (fire Icon 마다 json url 상이)

    https://www.oshimaland.co.jp/d/3q5znamu.json
    3q5znamu.json ➡️ .json 앞의 값이 fire Icon의 key값이다.

  1. 필요 정보 수집


📌 Process

✏️ Check 1 : 셀레니움 지도 줌인아웃 크롤링 실패 ➡️ Json 크롤링 으로 해결
웹페이지 전체에 대한 줌인아웃은 가능했으나, 웹페이지 내부 지도에 대한 줌인아웃은 실패하여 json 크롤링으로 진행하였다.

✏️ Check 2 : 도쿄 전체 46개 구역 중 4개 구역은 데이터가 존재하지 않았다.

✏️ Check 3 : 각 구역 마다 json 파라미터를 일일히 직접 변경해줘야 하므로, 시간이 오래 소요되어 아쉽다.


📌 Result

수집한 데이터는 총 570개이다.

info : 사건 정보
address : 사건 발생 주소
dt : 사건 기록 시간
cr : 범죄 발생 시간


profile
꾸준한 개발자를 꿈꿈

0개의 댓글