# overfitting
데이터 기반 학습 - 2
데이터 학습 방법에 대한 세번째 글 입니다. 모형 검증(Validation), 성능 지표(Performance Metric) 선택, 하이퍼 파라미터의 결정과 최적 모형을 선택하는 방법에 대해 알아보도록 하겠습니다.
Problem Setting and Regularization
training을 하기 위해서 결정해야 할 것들이 정말 많지만 각 hyperparameter 사이에 dependency가 있기 때문에 guess가 매우 어렵다. 그렇기 때문에 실제로 machine learning은 굉장히 반복적인 작업이다. Dataset 좋은 cho
[밑바닥부터 시작하는 딥러닝] 4. 신경망 학습 part1 - 데이터, 손실 함수
💡 학습이란? 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 신경망이 학습할 수 있도록 해주는 지표에는 손실함수가 있다 > 학습의 목표 : 손실 함수의 결괏값을 가장 작게 만드는 가중치 매개변수를 찾는 것 데이터로부터의 학습 신경망의 특징은 데
신경망 학습 개요
신경망과 다른 기계학습 방법론 간의 중요한 차이점을 알아보며, 훈련 데이터와 시험 데이터를 구분해 사용하는 이유를 모델의 범용성과 과적합의 관점에서 알아본다.
loss_Fun Bug를 잡자! Regularization
<SVM loss 구하는 공식> SVM loss를 사용하여 Loss=0 인 Weight 값을 구했다면 과연 Loss=0일 때 Weight 값이 유일한 값일까?!만약! Loss=0일 때 $Weight^2$ 을 한다면 Loss 값은?!즉, weight 를 제곱하여
모두를 위한 딥러닝 시즌 1 ML lec 7
저번 시간에 Cost 함수에 대해 배우고 Gradient descent은 못하고 지나쳤는데 이번 강의는 이에 대해 배운다. 우리는 Gradient descent 함수를 Cost 함수를 정의하고 값을 최소화하기 위해 사용한다.
Over fitting vs. Under fitting
과대적합일정 epoch 동안 validation set이 최고점을 찍고 감소하는 경향과소적합test set의 성능이 향상될 여지가 있을 때 발생원인모델이 너무 단순규제가 너무 많을 때충분히 오래 훈련하지 않은 경우과대적합 및 과소적합 방지적절한 epoch로 훈련과대적합
[인사이드 머신러닝] Bias-Variance Trade-Off
좋은 모델이란 무엇인가? 이 질문에 답하기란 생각보다 쉽지 않다. 그렇지만 좋은 모델들이 공통적으로 갖추어야할 공통적인 덕목(?)이 있는데 그것은 바로 다음과 같다.현재 주어진 데이터, 즉 훈련 데이터를 잘 설명할 수 있다.미래에 주어질 데이터, 즉 테스트 데이터도 잘
[ML] Overfitting, Underfitting
🤚 참고 아직 ML에 입문한지 한달밖에 안된 머린이가 복습을 위해 '자신만의 언어로' 정리한 글입니다.🤚목표는 일반화의 관점에서 오버피팅과 언더피팅을 설명해보자! 이다.무턱대고 이렇게 말하면 조금 막막한 감이 없잖아 있지만, 흐름에 따라 한번 개념들을 알아가보면,
모두를 위한 딥러닝 1: Lecture 7 Application & Tips : Learning Rate , data Processing, Overfitting, Training/Test Data Set
Large Learning Rate : 큰 step으로 경사하강법을 함 ( Overshooting 발생 - 큰값으로 증가, 발산)Small Learning Rate : 너무 작은 step으로 경사하강법을 함 ( takes too long, stops at local m
Drop-Out :: Overfitting의 새로운 해결방안
Fitting 이란? 모델의 학습 적합도를 의미한다. 충분한 학습이 되지 못해, 적합도가 떨어지는 모델을 Underfitting이 된 상태라고 의미하며, 너무 train dataset에 과적합되어있는 경우를 Overfitting이라고 한다.Overfitting의 문제
Tips for DeepLearning
Maximum Liklihood Estimation ( MLE ) : 최대가능도 추정이라고 하며, 실제 Observation을 가장 잘 설명하는 파라미터(theta)를 찾아내는 과정을 말함. 즉, 가장 잘 설명하는 파라미터 값을 의미. 예) 압정이 떨어졌을 때, 뒷면으
과적합(Overfitting) / 과소적합(Underfitting)
테스트데이터에서 만들어내는 오차를 일반화 오차라 부른다.훈련데이터에서와같이 테스트데이터에서도 좋은 성능을 내는 모델은 일반화가 잘 된 모델이라고 부른다.모델이 너무 훈련데이터에 과하게 학습(과적합)을 하지 않도록 하는 많은 일반화 방법들이 존재한다.모델이 훈련데이터에만