📖2023년 Data Science Roadmap

자료 출처
Simplilearn에서 정리한 2023년 Data Science Roadmap

Data Science의 필요성

기업과 여러 기관, 그리고 개인이 생성하는 방대한 양의 데이터로 인해 오늘날 전 세계에서 Data Science의 필요성이 점점 더 중요해지고 있습니다. Data Science는 의미 있는 인사이트를 추출하는 도구와 기술을 활용하여 정보에 입각한 의사 결정을 가능하게 하며 기업이 경쟁 우의를 확보하고 운영을 개선하는 데 필수적이 되었습니다. 또한 의료, 기후 변화 및 사회적 갈등과 같은 세계에서 가장 시급한 문제를 해결하는 데 중요한 역할을 합니다.

Data Science를 위한 핵심 도구

1. 프로그래밍 언어 : Python, R 및 SQL
2. 머신러닝 라이브러리 : TensorFlow, Keras 및 Scikit-learn
3. 데이터 시각화 도구 : Tableau, Power BI 및 Matplotlib와 같은 시각화 도구
4. 데이터 저장 및 관리 시스템: MySQL, MongoDB 및 PostgreSQL과 같은 데이터베이스
5. 클라우드 컴퓨팅 플랫폼: AWS, Azure 및 Google Cloud Platform

데이터 수집 및 정리

Data Scientist는 종종 문제를 해결하는 적절한 가치 있는 데이터를 찾아야 합니다. API, 데이터베이스, 공개적으로 사용 가능한 데이터 저장소, 사이트에서 허용하는 경우 스크래핑 등 다양한 소스에서 이 데이터를 수집합니다.

하지만 이러한 소스에서 수집된 데이터는 대부분 가공 되지 않았습니다. 대신 다차원 배열, 데이터 프레임 조작과 같은 도구를 사용하거나 과학적이고 설명적인 계산을 사용하여 사용하기 전에 정리하고 형식을 지정해야 합니다. 데이터 과학자는 일반적으로 Pandas 및 NumPy와 같은 라이브러리를 사용하여 정보를 형식이 지정되지 않은 원시 데이터에서 바로 분석할 수 있는 데이터로 변환하는 데 도움을 줍니다.

연습이 완벽을 만듭니다. 따라서 공개적으로 액세스할 수 있는 데이터 세트를 선택하고 데이터 세트의 도메인과 관련된 일련의 질문을 개발한 다음 Pandas 또는 NumPy로 데이터 랭글링을 연습하여 답을 얻으십시오.

또는 웹 사이트 또는 API(예: quandl, TMDB , Twitter API )에서 데이터를 수집하여 공개 소비를 허용하고 정보를 다른 소스에서 집계된 데이터베이스 테이블 또는 파일로 저장하도록 변환합니다.

비즈니스 통찰력, 탐색적 데이터 분석 및 스토리텔링에 대해 배울 수 있는 방법

데이터 과학 로드맵의 다음 단계인 데이터 분석 및 스토리텔링 으로 이동할 시간입니다 . 데이터 과학자와 강한 친화력을 공유하는 데이터 분석가는 데이터에서 인사이트를 도출한 다음 이해하기 쉬운 용어와 시각화를 통해 발견한 내용을 경영진에 전달합니다 .

스토리텔링과 관련하여 위의 책임에는 데이터 시각화(plotly 또는 seaborn과 같은 라이브러리를 사용하여 데이터 플로팅) 및 강력한 커뮤니케이션 기술에 대한 숙련도가 필요합니다. 또한 다음을 배워야 합니다.

비즈니스 통찰력 : 비즈니스 지표를 목표로 하는 질문을 연습하십시오. 또한 간결하고 명확한 보고서, 비즈니스 관련 블로그 및 프레젠테이션 작성을 연습하십시오.
대시보드 개발 : 이 주제는 Excel 또는 Power BI 및 Tableau와 같은 특수 도구를 사용하여 경영진이 정보에 입각한 실행 가능한 결정을 내리는 데 도움이 되는 데이터를 요약하거나 집계하는 대시보드를 구성하는 것을 수반합니다.
탐색적 데이터 분석 : 이 지식은 질문 정의, 서식 지정, 필터링, 누락된 값 처리, 이상치, 단변량 및 다변량 분석을 다룹니다.

데이터 사이언스 트렌드

데이터 과학은 성장하는 분야이며 업계의 미래를 형성하는 다양한 트렌드가 있습니다. AI와 머신러닝은 계속해서 데이터 과학 트렌드의 최전선에 있습니다. 작업을 자동화하고 예측 모델을 개발하며 의사 결정을 개선하는 데 사용됩니다. 소셜 미디어, 사물 인터넷(IoT) 및 센서를 비롯한 다양한 소스의 데이터를 활용하는 조직과 함께 빅 데이터도 더욱 중요해지고 있습니다. 또 다른 중요한 추세는 데이터 관리 프로세스를 간소화하기 위해 민첩한 방법론과 자동화 도구를 통합하는 DataOps의 사용입니다. 마지막으로 데이터 사이언스 환경이 계속 발전함에 따라 개인 정보 보호, 편향 및 투명성과 같은 문제에 대한 관심이 높아지면서 윤리 및 책임 있는 데이터 사용에 대한 관심이 높아지고 있습니다.

데이터 엔지니어링에 대해 배워야 하는 이유

데이터 엔지니어링은 주요 데이터 기반 조직의 연구 엔지니어와 과학자가 깨끗한 데이터를 즉시 사용할 수 있도록 하여 연구 개발 팀을 지원합니다. 데이터 엔지니어링은 완전히 다른 분야이지만 주로 통계적인 측면에 초점을 맞추려는 경우 이 섹션을 건너뛸 수 있습니다.

데이터 엔지니어 책임에는 효율적인 데이터 아키텍처 구축, 데이터 처리 능률화, 대규모 데이터 시스템 모니터링 및 유지 관리가 포함됩니다. 데이터 엔지니어는 SQL, Shell(CLI) 및 Python/Scala 도구를 사용하여 파일 시스템 작업을 자동화하고 추출/변환/로드 파이프라인을 구축하며 데이터베이스 작업을 고성능 리소스로 최적화합니다.

마지막으로 데이터 엔지니어는 이러한 데이터 아키텍처 구현을 담당하는 경우가 많으며 Amazon Web Services, Microsoft Azure 및 Google Cloud Platform과 같은 클라우드 서비스 공급자에 대한 숙련도가 불가피합니다.

응용 통계 및 수학에 대해 배울 수 있는 방법

통계적 방법은 대부분의 데이터 과학 인터뷰가 추론 및 기술 통계에 초점을 맞추는 데이터 과학의 필수적인 부분입니다. 수학 및 통계는 알고리즘 작동 방식을 더 잘 이해할 수 있는 길을 원활하게 해줍니다.

따라서 데이터 과학 로드맵의 이 단계에서는 다음을 마스터하는 데 집중해야 합니다.

기술 통계 : 데이터를 설명하는 데 사용되는 위치 추정치(평균, 중앙값, 최빈값, 트리밍 통계 및 가중 통계) 및 변동성에 대해 알아봅니다.
추론 통계 : 이 형태의 통계에는 비즈니스 메트릭 정의, A/B 테스트, 가설 테스트 설계, 신뢰 구간, p-값 및 알파 값을 사용하여 수집된 데이터 및 실험 결과 분석이 포함됩니다.
선형 대수 및 단일 및 다변량 미적분학 : 이 과목은 기계 학습에 사용되는 그래디언트, 손실 함수 및 옵티마이저를 더 잘 이해하는 데 도움이 됩니다.

기계 학습 및 AI에 대해 학습하여 마무리

Data Science 로드맵의 끝이 다가오면서 데이터 과학에 크게 의존하는 두 가지 분야인 인공 지능과 머신 러닝 에 대해 학습하여 여행을 마무리할 때입니다. 이러한 항목은 세 가지 범주로 나뉩니다.

강화 학습 : 이 분야는 자기 보상 시스템을 구축하는 데 도움이 됩니다. 강화 학습을 이해하고 싶다면 보상을 최적화하는 방법, Deep Q-networks를 생성하는 방법, TF-Agents 라이브러리를 사용하는 방법 등을 배우십시오.
지도 학습 : 이 분야는 회귀 및 분류 문제를 다룹니다. 단순선형회귀, 로지스틱회귀, 다중회귀, KNN, 다항회귀, naive Bayes, 트리모형, 앙상블모형 등을 공부했다면 도움이 될 것입니다. 평가 지표에 대해 학습하여 연구를 마무리하십시오.
비지도 학습 : 비지도 학습은 클러스터링 및 차원 감소와 같은 애플리케이션을 특징으로 합니다. 계층적 클러스터링, K-평균 클러스터링, PCA 및 가우시안 혼합에 대해 자세히 알아보세요.