ML

로지스틱 회귀의 손실함수 로지스틱 회귀의 손실함수는 다음과 같이 생겼다. $$ L(w) = -\frac{1}{m} \sum_{i=1}^{m}[y^{(i)}log(\sigma(z^{(i)})) + (1-y^{(i)})log(1-\sigma(z^{(i)}))] $$ w:

모델이 과대적합이 되었을 때 우리는 norm을 통해 이를 해결한다. norm이 이를 해결하는 원리가 무엇인지 알아보자.모델이 과도하게 훈련 데이터에만 적합되어 있는 것을 뜻한다. 즉, 모델을 일반적인 상황이 아닌 특수 상황에 과도하게 적합된 상태를 뜻한다.위 그림을 보

머신러닝에 사용하는 다양한 분류 모델들에 대해서 얘기해 보겠다.SVM(Support Vector Machine)이라 불리는 이 분류 모델은 클래스를 구분하는 hyper-plane(초평면)과 이 hyper-plane에 가장 가까운 훈련 샘플 사이의 거리로 정의한다.이러한

표준화 평균=0, 분산=1로 만든다. MinMaxScaler() $$ x{norm}^{(i)} = \frac{x^{(i)}-x{min}}{x{max}-x{min}} $$ 정해진 범위의 값이 필요할 때 유용하게 사용된다. 표준화는 이상치에 덜 민감한 반면, 최소-최대 스케일 변환은 이상치 정보가 유지...

해당 내용은 머신러닝 교과서 with 파이썬, 사이킷런, 텐서플로의 4장 내용을 기반으로 작성되었다.isnull().sum()등을 이용하여 누락된 값을 확인한다.누락된 값이 있는 샘플(행)이나 특성(열)을 제거한다.제거하면 데이터가 너무 적어질 수 있으니 대체를 시도하

이 글은 머신러닝 교과서 with 파이썬, 사이킷런, 텐서플로의 5장 내용을 기반으로 작성되었다.차원 축소를 하는 이유는 다양하다. 저장 공간을 줄이고 계산 효율을 높이고, 차원의 저주 문제를 감소시키는 등의 역할을 한다. 또한 중요한 특성만을 추출하여 변환 및 투영을

해당 내용은 머신러닝 교과서 with 파이썬, 사이킷런, 텐서플로의 장 내용을 기반으로 작성되었다.우리는 모델을 훈련시킬 때 데이터를 전처리한 후에 학습시킨다. 그럼 테스트 데이터셋이나 검증 데이터셋을 모델에 넣을 때도 같은 전처리 과정을 거쳐야 한다.매번 같은 과정을

다수결 투표 기반 모델(보팅) -> 최빈값을 선택랜덤하게 복원추출하여(배깅) 과대적합 감소앞선 모델의 오차를 학습하여 강력 모델 구축(부스팅)앙상블 모델은 거의 항상 단일 모델보다 정확도가 높다.모델 여러 개의 예측값을 가중치를 곱해서 앙상블 결과를 얻는다. 각각의 모

자연어 처리(Natural Language Processing, NLP)의 하위 분야인 감성 분석(sentiment analysis)에 대해서 알아보는 장이다. 영화 리뷰를 읽고 각 리뷰가 긍정인지 부정인지 구별하는 예측기를 구축하자. 텍스트나 단어 같은 범주형 데

선형 회귀 모델에 대해 알아보자.보스턴 집 가격 예측 문제를 예시로 들어서 설명하겠다.데이터 셋을 상관관계나 산점도를 그려 분석한다.사이킷런의 LinearRegression()을 사용해 모델링한다.경사하강법으로 모델의 파라미터 최적화를 시킨다.선형 회귀 모델은 이상치에

레이블이 없는 데이터들을 분석하여 비슷한 데이터들끼리 그룹으로 묶을 것이다. 이를 군집으로 묶는다하여 클러스터링(clustering)이라 한다. k-평균 알고리즘을 이용하여 클러스터 중심 찾기 상향식 방법으로 계층적 군집 트리 만들기 밀집도 기반의 군집 알고리즘을 사

딥러닝은 인공 신경망을 효과적으로 학습시키기 위한 머신러닝의 하위분야이다. 아래 내용을 소개하겠다.다층 신경망 개념역전파 알고리즘이미지 분류를 위한 다층 신경망 훈련인공 신경망은 뇌가 어떻게 복잡한 문제를 푸는지에 대한 가설과 모델을 기반으로 만들어졌다. 초기 연구는

복잡한 수학이나 구현 과정을 텐서플로우에서 이미 구현해 놓았다. 이를 사용하는 법을 알아보자.텐서플로우의 함수나 여러가지 기능들은 어느정도 생략하겠다. 사용하면서 익히는 것이 가장 좋다.Keras는 Tensorflow의 Wrapper이다. 텐서플로우 내의 구현된 ker

합성곱 신경망은 컴퓨터 비전을 위한 머신러닝 분야를 크게 발전시켰다.CNN(Convolutional Neural Network)는 뇌의 시각 피질이 물체를 인식할 때 동작하는 방식에서 영감을 얻었다고 한다.CNN은 low-level feature을 추출하는 것부터 시작

데이터 간의 순서가 중요한 데이터를 시퀀스 데이터라고 한다. 시퀀스 데이터를 처리해주기 위해서는 RNN(Recurrent Neural Network) 모델을 사용해서 처리해야 한다.Sequence 데이터(순차 데이터)는 말 그대로 데이터들 간의 의존성(순서)이 있는 데