# MSAISCHOOL
m1 macbook에서 GPU 가속
MPS(Multi-Process Service) mps가 torch에 활성화 되어있는지 확인하기 cuda 대신 mps 사용
통계 기반 데이터 분석 Basic - 상관 분석
상관 분석 두 변수 간의 관계를 살펴보기 위한 방법 중 하나이며, 두 변수가 서로 어떤 관련성을 가지고 있는지 그리고 관련성이 어느 정도인지를 분석하는 방법 ex) 고등학교에서 수학 공부시간과 수학 시험 성적 사이에서는 어떤 관계가 있을까? 수학 공부 시간이 늘어날수록 성적이 올라가는 것일까? 이러한 질문에 대한 답을 찾기 위해 상관 분석을 사용함 두 변수 간의 선형적인 관계를 분석함, 따라서 두 변수 간의 관계가 비선형적일 경우 상관 분석을 적용하기 어려움 상관 계수는 -1부터 1까지의 값을 가지며 0에 가까울수록 두 변수 간의 상관 관계가 약함을 나타냄 lab12 출력 두 변수 간의 상관 계수는 약 0.68로 양의 상관 관계가 있다고 해석 됨 식사 금액이 높을수록 팁이 많아짐 regplot() 함수를 활용하여 산점도와 회귀선을 동시에 시각화 출력 >![](https://velog.velcdn.com/images/rea
통계 기반 데이터 분석 Basic - 가설검정
가설 검정 어떤 가설이 옳은지 틀렸는지를 검증하는 과정 일반적으로 데이터를 수집하고 분석하여 추론하는 과정에서 사용 가설 검정 필요성 정확한 결정을 내리기 위해 필요한 과정 우리가 가지고 있는 주장이나 가설이 진실에 근접한지, 혹은 틀린 것인지를 판단할 수 있음 귀무 가설 검증하고자 하는 가설로 일반적인 상황을 나타내는 가설 "검정하려는 주장이 틀렸다" 는 것을 입증하기 위해 세우는 가설 어떠한 인과 관계나 차이가 존재하지 않는다는 가정을 말함 귀무 가설은 연구자가 반드시 입증해야 할 가설로 이를 기각하는 것이 주요 목표 ex) "약을 복용한 환자의 회복력이 개선되었다" 는 주장을 검정하기 위해 귀무 가설은 "약을 복용한 환자와 복용하지 않은 환자의 회복력에 차이가 없다"로 세울 수 있음 귀무 가설을 기각하기 위해 사용되는 유의수준은 보통 0.05 또는 0.01로 설정됨 (p.121) 대립 가설 귀무 가설의 반대되는
통계 기반 데이터 분석 - 이진 데이터, 시계열 데이터, 공간 데이터
데이터의 종류 이진 데이터 두 가지 값 중 하나만을 가지는 데이터 ex) 시험에 합격 했는지 여부, 제품이 결함이 있는지 여부 등 머신 러닝에서 중요한 역할을 함 분류 문제를 해결하는 경우 예측하고자 하는 대상이 이진 데이터인 경우가 많음 비율, 오즈비, 로그 오즈비 등의 측정 지표를 사용하여 분석할 수 있음 lab03 출력 출력 > 시계열 데이터 일정 시간 간격으로 측정된 데이터 ex) 매일 측정된 주식 시장의 주가, 1시간 간격으로 기록된 기온, 5초 간격으로 기록된 심전도 데이터... 시간에 따른 패턴이나 추세, 주기성 등을 파악하고 예측하는 것이 중요함 시계열 분해, 이동평균, 지수 평활법, ARIMA 등이 있음 최근
통계 기반 데이터 분석 - 이산형 데이터
이산형 데이터 정수 값으로 이루어진 데이터 (ex : 동전 던지기, ...) 이산형 변수는 가능한 값이 한정되어 있으며 정수 형태로 측정 공장에서 제품 불량률, 인구 통계학에서 가구 수 등과 같은 다양한 분야에서 사용됨 범주형 데이터와 유사한 면이 있으며 범주형 데이터와 함께 분석하면 더욱 의미 있는 결과를 도출 할 수 있음 lab07 데이터 : college_data.csv >[23 16 22 60 38 17 37 30 21 44 9 83 19 14 24 25 20 46 12 36 42 15 50 53 18 34 39 28 26 11 67 45 76 5 48 10 87 71 49 32 40 8 47 29 75 27 13 35 1 31 6 55 33 3 58 70 68 56 78 77 41 4 90 43 51 89 7 57 95 52 96 2 65 85 86 62 54 66 79 74 80 81] <class 'n
통계 기반 데이터 분석 - 연속형 데이터
환경 세팅 1. anaconda 설치 > https://www.anaconda.com/download 2. 가상환경 생성(python 버전 설정) 3. 가상환경 실행 4. 가상환경에 jupyter notebook 설치 jupyter notebook 이 설치 될 때 ipykernel이 자동으로 받아지지만 설치 되지 않았다면 따로 install 해줘야함 5. 가상환경에 kernel 연결 IPykernel은 주피터 노트북과 주피터 인터랙티브 컴퓨팅 프레임워크를 위한 파이썬 커널이다. 이 커널을 사용하면 노트북 환경에서 파이썬 코드를 실행하고 상호작용할 수 있다. IPykernel은 사용자 인터페이스(주피터 노트북 또는 주피터랩 등)와 파이썬 커널 간의 통신을 담당함. 통계기반 데이터 분석 수업 전체적인 흐름 >1. 통계 개념 간단 소개 데이터 파트 가설 감정 상관 분석 분포 모
DP-900 Azure의 관계형 데이터의 기본 사항 살펴보기
관계형 데이터 개념 살펴보기 관계형 테이블 데이터는 테이블에 저장 테이블은 행과 열로 구성 모든 행은 열이 같음 각 열에 데이터 형식이 할달됨 표준화(정규화) 각 엔터티를 자체 테이블로 구분 (중복방지) 각 불연속 특성을 자체 열로 구분 기본 키를 사용하여 각 엔터티 인스턴스(행)를 고유하게 식별 외래키 열을 사용하여 관련 엔터티를 연결 SQL(Structured Query Language) 관계형 데이터베이스와 함께 사용할 수 있는 표준언어 표준은 ANSI 및 ISO에 의해 유지 관리 대부분의 RDBMS(Relational DataBase Manage System) 시스템은 표준 SQL 독점 확장을 지원 데이터 정의 언어(DDL) 테이블 엔터티를 (CREATE ALTER DROP RENAME) 데이터 컨트롤 언어(DCL) 사용자에게 권한을 줌 (GRANT DENY REVOKE) 데이터 조작 언
DP-900 데이터 기본 사항 살펴보기
핵심 데이터 개념 데이터란? 정보를 기록하는데 사용되는 값 - 종종 하나 이상의 속성을 가진 엔터티 정형 데이터(구조적 데이터) 형식에 맞춰 저장함(DB, CSV...) 비정형 데이터(비구조적 데이터) 정해진 틀이 없이 다양한 형태로 존재(사진, 오디오...) 반구조적 데이터 형식이 갖춰져있지만 완전히 정형화 되어있지 않음(JSON,...) 데이터가 어떻게 저장되는가? 1. file 구분된 텍스트 JSON XML : BLOB : ex) 1010101111 2. Database 관계형 DB table 로 구성되어있고 table의 관계를 저장함 data record를 저장하는 중간 system ex) oracle, mySQL ... > 정규화: 엔터티를 나누고 관계를 맺어줌(중복을 제거하기 위해) 비관계형 DB key-value 로 구성되어있음