# Loss

[CS] 네트워크 - 네트워크 성능
📌 네트워크 성능 지표 > 이상적으로,,! 인터넷 서비스는 데이터의 손실 없이 우리가 원하는 만큼의 많은 데이터를 이동시킬 수 있다. 하지만 이것은 현실에서는 불가능 ➡️ 두 종단 시스템 간에 throughput을 제한하여 종단 시스템 간에 delay를 야기시키며

[CS231n] Lecture 3: Loss Function and Optimization 정리
Stanford University CS231n Lecture 3

cross entropy
이번 포스트에서는 개인적으로 딥러닝에서 가장 중요하다 생각하는 loss function, optimizer중 loss function의 cross entropy를 설명하려합니다. cross entropy를 알기 전 먼저 정보이론에 대해 알고 가겟습니다. 컴퓨터는 전기

[딥러닝]Loss is Null 해결방법
오늘은 딥러닝 모델을 만들다 보니까.. Loss가 Null이 발생했다...1.너무 높은 Learning rate를 낮춘다.내 경우에는 Learning rate 같은 경우에는 0.001로 했다가 0.0001까지 내려갔지만 효과 없었고..2.Optimizer를 변경Opti
.png)
review - Noise contrastive estimation
2-1 define the estimator: pdf: objective function to optimize\-> h는 regression function with sigmoid2-2 connection to supervised : by comparing betwee
.png)
reveiw-understanding contrastive loss
contrastive loss is a hardness-aware loss function.(hardness-aware : 애매하지 않고 딱 구분되게 분류할 수 있도록 만들어 주는 것 - inter 멀고 intra에서 가깝고)temperature controls the
.png)
why CEE for classification and MSE for regression
DNN loss 조건Train data에서의 Loss 총합은 개별데이터 loss 합과 같아야 한다.DNN 출력 값으로 loss 계산하고 중간 단계에서 하지 않는다.Maximum-Likelihood 관점에 따라정확한 y값보다 y를 평균으로하는 분포를 찾고 싶다.( 분포
loss function in keras
https://durian9s-coding-tree.tistory.com/m/2손실 함수는 값을 예측하려할 때 데이터에대한 예측값과 실제의 값을 비교하는 함수로 모델을 훈련시킬 때 오류를 최소화 시키기 위해 사용되며, 주로 회귀(regression)에서 사용한

[딥러닝] Norm, Loss, Regularization
1. Norm Norm은 벡터의 크기(길이)를 측정하는 방법(함수)이다. 즉, 두 벡터 사이의 거리를 측정하는 방법이다. 그림 1 위 식에서 p는 Norm의 차수를 의미한다. p=1 이면 L1 Norm이고, p=2 이면 L2 Norm이다. n은 해당 벡터의 원소