# SGD

18개의 포스트
post-thumbnail

Optimizer(옵티마이저)

💡 손실 함수에 손실 점수에 따라 가중치를 조절해주는 역할을 한다.손실 함수를 줄여나가면서 학습하는 방법은 어떤 옵티마이저를 사용하는 지에 따라 달라진다. ✔️ 종류 1. 경사하강법(Graient Descent) : 기울기가 0에 가까워지는 점을 찾는다.

2023년 5월 10일
·
0개의 댓글
·
post-thumbnail

2-3. Stochastic Gradient Descent

Advanced Mathematics for AI (Week 2) #GD #SGD #BatchGradientDescent

2023년 3월 22일
·
2개의 댓글
·
post-thumbnail

[혁펜하임의 AI DEEP DIVE] 체험단 후기

안녕하세요 양콩공입니다 !!!!!!!! 인사를 드린 포스팅은 처음인 것 같아요😊 저는 작년에 빅데이터 개발자 과정 국비를 수강하면서 마지막에 추천 시스템 딥러닝 공모전에 참여하게 되었습니다! 🤞그때 딥러닝 관련 기초 개념들에 대해 국비 교육으로 이해하기에는 한계가

2023년 2월 7일
·
0개의 댓글
·
post-thumbnail

경사하강법

• 모형의 비용함수를 최소화하는 파라미터를 찾아내는 것• 계산 복잡도가 낮은 모형으로 시간 비용을 줄이는 것• 여러 종류의 문제를 최적의 해법으로 찾아내는 일반적인 최적화 알고리즘• 기본적으로, 비용 함수를 최소화하기 위해 반복해서 파라

2022년 12월 21일
·
0개의 댓글
·

[일상] SGD하게 산에서 내려온 이야기

velog 를 구글에 검색해보면 가장 먼저 보이는 소개 글이 '개발자들을 위한 블로그' 다. 개발자를 위한 플랫폼이지만 에세이를 쓰지 말란 말은 없었다. 하지만 기술 개발 이야기가 가득한 이 곳에 에세이를 쓰는게 맞나 싶어 고민하던 찰나, '굉장히 잘 연결시킬 수 있는

2022년 11월 6일
·
0개의 댓글
·
post-thumbnail

파이썬 머신러닝 완벽 가이드 - 6. Regression(1) (경사하강법, 평가지표, 선형회귀)

: 여러 개의 독립 변수와 한 개의 종속 변수 간의 상관관계를 모델링 하는 기법: 주어진 피처와 결정 값 데이터 기반에서 학습을 통해 최적의 회귀계수(Regression coefficients)를 찾아내는 것회귀계수: 독립변수 값에 영향을 미치는 Wn선형 회귀 : 실제

2022년 10월 5일
·
0개의 댓글
·
post-thumbnail

CS231 7강. Training Neural Networks II (1)

지난 6강에서는 TNN(Training Neural Network 첫번째 시간으로써 다양한 활성화 함수들을 배웠습니다. Sigmoid는 10여년 전에 신경망을 훈련할 때 꽤 인기가 있었던 활성화 함수로써 각광을 받았지만 입력값이 -∞ 또는 ∞로 갈수록 기울기 소실 문제

2022년 8월 22일
·
0개의 댓글
·

[D&A 운영진 ML 스터디] 2주차 2차시

모델이 어떻게 작동하는지 알면 적절한 모델, 올바른 알고리즘, 하이퍼파라미터 탐색, 디버깅, 에러 예측이 효율적으로 가능선형 회귀 - 두 가지 방법으로 훈련 가능train set에 가장 잘 맞는 파라미터를 해석적으로 구함경사 하강법 이용$\\hat y = \\theta

2022년 7월 31일
·
0개의 댓글
·

Ch 06-4. SGD, ALS로 Matrix Factorization 완벽 이해

본 포스팅은 Fastcampus 강의를 수강하며 일부 내용을 정리한 글임을 밝힙니다. 보다 자세한 내용은 아래 강의를 통해 확인해주세요. 참고 : Fastcampus 딥러닝을 활용한 추천시스템 구현 올인원 패키지 Online

2022년 7월 30일
·
0개의 댓글
·
post-thumbnail

Optimizers: SGD with Momentum, NAG, Adagrad, RMSProp, AdaDelta, and ADAM

최적의 예측 모델을 만들기 위해서는 실제값과 예측값의 error를 나타내는 cost function $J(\\theta)$가 최소가 되어야 한다. Cost function을 최소화시키는 최적의 파라미터를 찾기 위해 여러 Optimizer가 고안되고 있으며, 가장 기본적

2022년 7월 15일
·
0개의 댓글
·
post-thumbnail

Classification: 분류와 알고리즘

Classification > Classification is a process of categorizing a given set of data into classes. It can be performed on both structured or unstructured

2022년 5월 28일
·
0개의 댓글
·
post-thumbnail

경사하강법과 미분

미분의 간단한 정의와 경사하강법에서 왜 미분이 필요한지 아라보자! SGD의 기초적 개념도 아라보쟈

2022년 1월 18일
·
0개의 댓글
·

SGD vs ALS in MF

Matrix Factorization에서 SGD 방식과 ALS 방식의 차이점을 소개합니다.

2021년 12월 25일
·
0개의 댓글
·

Optimizer 1

Gradient descent가 발전해온 방향은 크게 두 가지가 있다. 첫 번째는 물리법칙을 따르는 방법, 두 번째는 학습을 거듭할수록 일정비율로 학습률을 줄여서 global minima를 지나가지 않게 하는 방법이 그것이다.

2021년 7월 7일
·
0개의 댓글
·