# SGD
Optimizer(옵티마이저)
💡 손실 함수에 손실 점수에 따라 가중치를 조절해주는 역할을 한다.손실 함수를 줄여나가면서 학습하는 방법은 어떤 옵티마이저를 사용하는 지에 따라 달라진다. ✔️ 종류 1. 경사하강법(Graient Descent) : 기울기가 0에 가까워지는 점을 찾는다.
2-3. Stochastic Gradient Descent
Advanced Mathematics for AI (Week 2) #GD #SGD #BatchGradientDescent
[혁펜하임의 AI DEEP DIVE] 체험단 후기
안녕하세요 양콩공입니다 !!!!!!!! 인사를 드린 포스팅은 처음인 것 같아요😊 저는 작년에 빅데이터 개발자 과정 국비를 수강하면서 마지막에 추천 시스템 딥러닝 공모전에 참여하게 되었습니다! 🤞그때 딥러닝 관련 기초 개념들에 대해 국비 교육으로 이해하기에는 한계가
경사하강법
• 모형의 비용함수를 최소화하는 파라미터를 찾아내는 것• 계산 복잡도가 낮은 모형으로 시간 비용을 줄이는 것• 여러 종류의 문제를 최적의 해법으로 찾아내는 일반적인 최적화 알고리즘• 기본적으로, 비용 함수를 최소화하기 위해 반복해서 파라
[일상] SGD하게 산에서 내려온 이야기
velog 를 구글에 검색해보면 가장 먼저 보이는 소개 글이 '개발자들을 위한 블로그' 다. 개발자를 위한 플랫폼이지만 에세이를 쓰지 말란 말은 없었다. 하지만 기술 개발 이야기가 가득한 이 곳에 에세이를 쓰는게 맞나 싶어 고민하던 찰나, '굉장히 잘 연결시킬 수 있는
파이썬 머신러닝 완벽 가이드 - 6. Regression(1) (경사하강법, 평가지표, 선형회귀)
: 여러 개의 독립 변수와 한 개의 종속 변수 간의 상관관계를 모델링 하는 기법: 주어진 피처와 결정 값 데이터 기반에서 학습을 통해 최적의 회귀계수(Regression coefficients)를 찾아내는 것회귀계수: 독립변수 값에 영향을 미치는 Wn선형 회귀 : 실제
CS231 7강. Training Neural Networks II (1)
지난 6강에서는 TNN(Training Neural Network 첫번째 시간으로써 다양한 활성화 함수들을 배웠습니다. Sigmoid는 10여년 전에 신경망을 훈련할 때 꽤 인기가 있었던 활성화 함수로써 각광을 받았지만 입력값이 -∞ 또는 ∞로 갈수록 기울기 소실 문제
[D&A 운영진 ML 스터디] 2주차 2차시
모델이 어떻게 작동하는지 알면 적절한 모델, 올바른 알고리즘, 하이퍼파라미터 탐색, 디버깅, 에러 예측이 효율적으로 가능선형 회귀 - 두 가지 방법으로 훈련 가능train set에 가장 잘 맞는 파라미터를 해석적으로 구함경사 하강법 이용$\\hat y = \\theta
Ch 06-4. SGD, ALS로 Matrix Factorization 완벽 이해
본 포스팅은 Fastcampus 강의를 수강하며 일부 내용을 정리한 글임을 밝힙니다. 보다 자세한 내용은 아래 강의를 통해 확인해주세요. 참고 : Fastcampus 딥러닝을 활용한 추천시스템 구현 올인원 패키지 Online
Optimizers: SGD with Momentum, NAG, Adagrad, RMSProp, AdaDelta, and ADAM
최적의 예측 모델을 만들기 위해서는 실제값과 예측값의 error를 나타내는 cost function $J(\\theta)$가 최소가 되어야 한다. Cost function을 최소화시키는 최적의 파라미터를 찾기 위해 여러 Optimizer가 고안되고 있으며, 가장 기본적
Classification: 분류와 알고리즘
Classification > Classification is a process of categorizing a given set of data into classes. It can be performed on both structured or unstructured
Optimizer 1
Gradient descent가 발전해온 방향은 크게 두 가지가 있다. 첫 번째는 물리법칙을 따르는 방법, 두 번째는 학습을 거듭할수록 일정비율로 학습률을 줄여서 global minima를 지나가지 않게 하는 방법이 그것이다.