# Loss

7개의 포스트
post-thumbnail

[딥러닝]Loss is Null 해결방법

오늘은 딥러닝 모델을 만들다 보니까.. Loss가 Null이 발생했다...1.너무 높은 Learning rate를 낮춘다.내 경우에는 Learning rate 같은 경우에는 0.001로 했다가 0.0001까지 내려갔지만 효과 없었고..2.Optimizer를 변경Opti

2022년 4월 17일
·
0개의 댓글
post-thumbnail

review - Noise contrastive estimation

2-1 define the estimator: pdf: objective function to optimize\-> h는 regression function with sigmoid2-2 connection to supervised : by comparing betwee

2021년 12월 31일
·
0개의 댓글
post-thumbnail

reveiw-understanding contrastive loss

contrastive loss is a hardness-aware loss function.(hardness-aware : 애매하지 않고 딱 구분되게 분류할 수 있도록 만들어 주는 것 - inter 멀고 intra에서 가깝고)temperature controls the

2021년 12월 31일
·
0개의 댓글
post-thumbnail

why CEE for classification and MSE for regression

DNN loss 조건Train data에서의 Loss 총합은 개별데이터 loss 합과 같아야 한다.DNN 출력 값으로 loss 계산하고 중간 단계에서 하지 않는다.Maximum-Likelihood 관점에 따라정확한 y값보다 y를 평균으로하는 분포를 찾고 싶다.( 분포

2021년 12월 31일
·
0개의 댓글

loss function in keras

https://durian9s-coding-tree.tistory.com/m/2손실 함수는 값을 예측하려할 때 데이터에대한 예측값과 실제의 값을 비교하는 함수로 모델을 훈련시킬 때 오류를 최소화 시키기 위해 사용되며, 주로 회귀(regression)에서 사용한

2021년 8월 30일
·
0개의 댓글
post-thumbnail

[딥러닝] Norm, Loss, Regularization

1. Norm Norm은 벡터의 크기(길이)를 측정하는 방법(함수)이다. 즉, 두 벡터 사이의 거리를 측정하는 방법이다. 그림 1 위 식에서 p는 Norm의 차수를 의미한다. p=1 이면 L1 Norm이고, p=2 이면 L2 Norm이다. n은 해당 벡터의 원소

2021년 7월 31일
·
0개의 댓글