# overfitting

16개의 포스트
post-thumbnail

데이터 기반 학습 - 2

데이터 학습 방법에 대한 세번째 글 입니다. 모형 검증(Validation), 성능 지표(Performance Metric) 선택, 하이퍼 파라미터의 결정과 최적 모형을 선택하는 방법에 대해 알아보도록 하겠습니다.

2022년 4월 28일
·
0개의 댓글
post-thumbnail

Problem Setting and Regularization

training을 하기 위해서 결정해야 할 것들이 정말 많지만 각 hyperparameter 사이에 dependency가 있기 때문에 guess가 매우 어렵다. 그렇기 때문에 실제로 machine learning은 굉장히 반복적인 작업이다. Dataset 좋은 cho

2022년 4월 17일
·
0개의 댓글
post-thumbnail

[밑바닥부터 시작하는 딥러닝] 4. 신경망 학습 part1 - 데이터, 손실 함수

💡 학습이란? 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 신경망이 학습할 수 있도록 해주는 지표에는 손실함수가 있다 > 학습의 목표 : 손실 함수의 결괏값을 가장 작게 만드는 가중치 매개변수를 찾는 것 데이터로부터의 학습 신경망의 특징은 데

2022년 3월 6일
·
0개의 댓글
post-thumbnail

신경망 학습 개요

신경망과 다른 기계학습 방법론 간의 중요한 차이점을 알아보며, 훈련 데이터와 시험 데이터를 구분해 사용하는 이유를 모델의 범용성과 과적합의 관점에서 알아본다.

2022년 1월 17일
·
0개의 댓글
post-thumbnail

loss_Fun Bug를 잡자! Regularization

<SVM loss 구하는 공식> SVM loss를 사용하여 Loss=0 인 Weight 값을 구했다면 과연 Loss=0일 때 Weight 값이 유일한 값일까?!만약! Loss=0일 때 $Weight^2$ 을 한다면 Loss 값은?!즉, weight 를 제곱하여

2022년 1월 14일
·
0개의 댓글
post-thumbnail

모두를 위한 딥러닝 시즌 1 ML lec 7

저번 시간에 Cost 함수에 대해 배우고 Gradient descent은 못하고 지나쳤는데 이번 강의는 이에 대해 배운다. 우리는 Gradient descent 함수를 Cost 함수를 정의하고 값을 최소화하기 위해 사용한다.

2021년 12월 29일
·
0개의 댓글
post-thumbnail

Over fitting vs. Under fitting

과대적합일정 epoch 동안 validation set이 최고점을 찍고 감소하는 경향과소적합test set의 성능이 향상될 여지가 있을 때 발생원인모델이 너무 단순규제가 너무 많을 때충분히 오래 훈련하지 않은 경우과대적합 및 과소적합 방지적절한 epoch로 훈련과대적합

2021년 11월 16일
·
0개의 댓글

[인사이드 머신러닝] Bias-Variance Trade-Off

좋은 모델이란 무엇인가? 이 질문에 답하기란 생각보다 쉽지 않다. 그렇지만 좋은 모델들이 공통적으로 갖추어야할 공통적인 덕목(?)이 있는데 그것은 바로 다음과 같다.현재 주어진 데이터, 즉 훈련 데이터를 잘 설명할 수 있다.미래에 주어질 데이터, 즉 테스트 데이터도 잘

2021년 9월 27일
·
0개의 댓글
post-thumbnail

[ML] Overfitting, Underfitting

🤚 참고 아직 ML에 입문한지 한달밖에 안된 머린이가 복습을 위해 '자신만의 언어로' 정리한 글입니다.🤚목표는 일반화의 관점에서 오버피팅과 언더피팅을 설명해보자! 이다.무턱대고 이렇게 말하면 조금 막막한 감이 없잖아 있지만, 흐름에 따라 한번 개념들을 알아가보면,

2021년 8월 15일
·
0개의 댓글
post-thumbnail

모두를 위한 딥러닝 1: Lecture 7 Application & Tips : Learning Rate , data Processing, Overfitting, Training/Test Data Set

Large Learning Rate : 큰 step으로 경사하강법을 함 ( Overshooting 발생 - 큰값으로 증가, 발산)Small Learning Rate : 너무 작은 step으로 경사하강법을 함 ( takes too long, stops at local m

2021년 6월 28일
·
0개의 댓글

딥러닝 overfitting

Artificial Neural Network

2021년 6월 10일
·
0개의 댓글
post-thumbnail

Drop-Out :: Overfitting의 새로운 해결방안

Fitting 이란? 모델의 학습 적합도를 의미한다. 충분한 학습이 되지 못해, 적합도가 떨어지는 모델을 Underfitting이 된 상태라고 의미하며, 너무 train dataset에 과적합되어있는 경우를 Overfitting이라고 한다.Overfitting의 문제

2021년 5월 17일
·
0개의 댓글
post-thumbnail

Tips for DeepLearning

Maximum Liklihood Estimation ( MLE ) : 최대가능도 추정이라고 하며, 실제 Observation을 가장 잘 설명하는 파라미터(theta)를 찾아내는 과정을 말함. 즉, 가장 잘 설명하는 파라미터 값을 의미. 예) 압정이 떨어졌을 때, 뒷면으

2021년 5월 10일
·
0개의 댓글

과적합(Overfitting) / 과소적합(Underfitting)

테스트데이터에서 만들어내는 오차를 일반화 오차라 부른다.훈련데이터에서와같이 테스트데이터에서도 좋은 성능을 내는 모델은 일반화가 잘 된 모델이라고 부른다.모델이 너무 훈련데이터에 과하게 학습(과적합)을 하지 않도록 하는 많은 일반화 방법들이 존재한다.모델이 훈련데이터에만

2021년 5월 5일
·
0개의 댓글