만들게 된 계기 빌딩 구내식당 메뉴를 매일 받아보는 취지로 만들어보았다 해당 식당의 메뉴가 블로그 글을 매일 수정하는 방식으로 알려주기 때문에 전에 배웠던 웹크롤링을 어렵지 않게 사용할 수 있을 것 같은 느낌에 바로 도전 web crawling이란? >crawli

변수 _ 대화형 모드에서는, 마지막에 인쇄된 표현식은 변수 _ 에 대입됩니다. 이것은 파이썬을 탁상용 계산기로 사용할 때, 계산을 이어 가기가 좀 더 쉬워짐을 의미합니다. 예를 들어: 이 변수는 사용자로서는 읽기만 가능한 것처럼 취급되어야 합니다. 값을 직접 대입하지

데이터 레이크는 대규모의 다양한 원시 데이터 세트를 기본 형식으로 저장하는 데이터 리포지토리 유형입니다.

E / T / L 각각 의미하는 바 E(Extract, 추출) 원본 데이터베이스나 데이터 소스에서 데이터를 가져오는 것. ETL에서 데이터는 임시 공간으로 간다. ELT에서는 바로 데이터레이크 시스템으로 간다. T(Transform, 변환) 정보의 구조

$$P(H|E) = \\frac {P(E|H)P(H)} {P(E)}$$H(Hypothesis) : 가설, 어떤 사건이 발생하였다는 주장E(Evidence) : 새로운 정보P(H) : 어떤 사건이 발생하였다는 주장의 신뢰도P(H|E) : 새로운 정보를 받은 후 갱신된 신

데이터를 가장 잘 설명하는 함수를 설정하여 입력값에 따른 결과값을 예측$$Y \\approx \\beta_0 + \\beta_1X$$$적절한 \\beta_0 \\; 과 \\; \\beta_1 를 \\; 찾기$loss function이 최소로 만드는 beta값을 만들기

데이터를 다롤 때 비어있는 데이터시트가 있는 경우가 있다, 이 때 상황에 맞게 결측치를 대체하거나 혹은 삭제하여 분석을 진행한다

data를 chart를 통해 시각화 할 때, 혹은 정규화를 할 때 등서로 다른 두 가지 범주형 변수의 관계를 분석할 때 교차분석을 이용하게 된다https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas

데이터 분석을 위하여 작업하기 좋기 위하여 전처리가 필요하다raw data를 가져오다보면 "5,562" 와 같은 문자열 형태로 저장된 데이터가 존재하다이를 자료형을 변환하려고 해도 쉼표","가 존재하여 곤란한 경우가 있다아래와 같은 솔루션으로 이를 해결해보자

pandas는 데이터 조작 및 분석을 위해 Python 프로그래밍 언어로 작성된 소프트웨어 라이브러리입니다. 특히 숫자 테이블과 시계열을 조작하기위한 데이터 구조와 연산을 제공합니다. 3-Clause BSD License에 따라 출시 된 무료 소프트웨어입니다.위 코드