# adam

14개의 포스트
post-thumbnail

[혼공머신] 7-2. 심층 신경망

홍 선배🗣️ "오 인공신경망이 역시 좋네~ 신경망은 층 더 많이 쌓을 수도 있다며?"

2023년 2월 14일
·
0개의 댓글
·
post-thumbnail

[혁펜하임의 AI DEEP DIVE] 체험단 후기

안녕하세요 양콩공입니다 !!!!!!!! 인사를 드린 포스팅은 처음인 것 같아요😊 저는 작년에 빅데이터 개발자 과정 국비를 수강하면서 마지막에 추천 시스템 딥러닝 공모전에 참여하게 되었습니다! 🤞그때 딥러닝 관련 기초 개념들에 대해 국비 교육으로 이해하기에는 한계가

2023년 2월 7일
·
0개의 댓글
·
post-thumbnail

CS231 7강. Training Neural Networks II (1)

지난 6강에서는 TNN(Training Neural Network 첫번째 시간으로써 다양한 활성화 함수들을 배웠습니다. Sigmoid는 10여년 전에 신경망을 훈련할 때 꽤 인기가 있었던 활성화 함수로써 각광을 받았지만 입력값이 -∞ 또는 ∞로 갈수록 기울기 소실 문제

2022년 8월 22일
·
0개의 댓글
·
post-thumbnail

Optimizers: SGD with Momentum, NAG, Adagrad, RMSProp, AdaDelta, and ADAM

최적의 예측 모델을 만들기 위해서는 실제값과 예측값의 error를 나타내는 cost function $J(\\theta)$가 최소가 되어야 한다. Cost function을 최소화시키는 최적의 파라미터를 찾기 위해 여러 Optimizer가 고안되고 있으며, 가장 기본적

2022년 7월 15일
·
0개의 댓글
·
post-thumbnail

Optimization Algorithms

temperature의 값을 나타냈을 때 값들에 noise가 섞여있다. noise를 없애는 가장 쉬운 방법은 average를 사용하는 것이다.식에 곱해진 0.9는 smoothness의 강도를 결정한다. 이전 단계에서 smooth된 data에 smoothness를 적용하

2022년 4월 18일
·
0개의 댓글
·
post-thumbnail

[Error] cannot import name 'Adam' from 'keras.optimizers'

cannot import name 'Adam' from 'keras.optimizers' 해결

2022년 3월 29일
·
0개의 댓글
·
post-thumbnail

[DL] 인공신경망 학습

순전파, 역전파, 경사하강법, 옵티마이저

2022년 3월 6일
·
0개의 댓글
·

Ai_D68

기울기값을 얼만큼 경사하강법에 적용할 지 결정하는 hyperparameter 입니다. 학습률(learning rate)를 조절하여 기울기 값을 조정할 수 있습니다. 그 결과, 모델 성능을 효율적으로 개선할 수 있습니다.(global minima를 효율적으로 찾을 수

2022년 2월 24일
·
0개의 댓글
·
post-thumbnail

Optimization Methods

이전에는 Gradient Descent를 사용해서 parameter를 업데이트하고 Cost Function을 최소화했다. 이번에는 다른 Optimization Method를 통해 속도를 높이고 비용을 최소화하는 알고리즘을 배워보자.언제나 그랬듯, package먼저 다운

2021년 8월 27일
·
0개의 댓글
·

Optimizer 3

Gradient descent가 발전해온 방향은 크게 두 가지가 있다. 첫 번째는 물리법칙을 따르는 방법. 두 번째는 학습을 거듭할수록 일정비율로 학습률을 줄여서 global minima를 지나가지 않게 하는 방법이다.

2021년 7월 7일
·
0개의 댓글
·