# Gradient Descent
PyTorch 익히기 - Linear Regression & Gradient Descent
Pytorch를 간단히 다루어본 적이 있는데, 앞으로의 연구에 익숙하게 활용하기 위해 Pytorch 내용을 정리해보려 한다.
Stochastic Gradient Descent
딥러닝의 중요한 포인트.Gradient descent, Stochastic gradient descent, mini batch stochastic gradient descent.Q. Gradient Descent 알고리즘이 뭐에요?A. Gradient descent 알
Gradient Descent 모델 구현
나이를 기준으로, 키를 예측하는 선형 예측 회귀 모델을 생성하자. 목표: 오차함수로, MSE를 사용하고 오차를 줄이기 위해 Gradient Descent를 사용하자. 모델 구현의 편의를 위해, Feature Vector(나이)의 차원은 1D로 사용한다. 사용될 데이터는
목적함수(Objective Function)
KeywordsObjective FunctionMSEIndependent Variable, Dependent Variable Regression 신경망의 학습능력을 평가하는 지표이다. 출력층의 예측값 (가중치+편향)과 실제값의 차이를 수학적으로 접근하는 기법이다. Th
minibatch stochastic gradient descent에서 sampling without replacement여야 하는가에 대한 고찰 [작성중]
고찰
Python 경사하강법(BGD), 확률적경사하강법(SGD), 미니배치 구현하기
BGD(Batch Gradient Descent):전체 학습 데이터를 기반으로 계산예를들어 피처가 100개라고 생각하면 뉴럴네트워크에서 weight의 개수가 기하급수적으로 증가한다. 이를 GD로 계산하는데는 많은 computing자원이 소모된다. 이를 극복하기 위해 S
Gradient Descent (경사하강법)과 기초 수학
Keywords Gradient Descent (경사하강법)은 예측값과 타겟값의 차이를 최소 또는 0으로 만들기위해 사용되는 테크닉중 하나이다. (머신러닝의 기본은 최적값, Optimization을 하는 과정) 아래 키워드는 Gradient Descent를 이해하기위
Logistic Regression (Notation, Cost Function, Gradient Descent)
Binary Classification classification의 결과가 0 또는 1인 것을 의미한다. 예를 들면 사진 하나를 보여주고 이 사진이 고양이이면 1, 고양이가 아니면 0을 뱉는 classification model은 binary classificatio
경사하강법
Chapter 1 sigmoid는 어디에서나 미분이 가능하다. -34 $w1x1 +w2x2 + b$ 는 $[w1, w2,b]\cdot[x1,x2,1]$ 로 표현될 수 있다. 컴퓨터에서는 내적계산이 용이하므로 이러한 특성을 잘 활용하면 좋다. -36 픽셀마다 중요도
4일차 gradient descent
\*20210914 11시 줌 강의, 업로드 동의를 받았습니다. 오차 (error): 용어(차이를 작게) 에러를 최소화 시키고 싶다 -> gradient descent(경사하강법)를 사용하는 이유에러-cost function error=cost=distance 같은 언
Optimization Methods
이전에는 Gradient Descent를 사용해서 parameter를 업데이트하고 Cost Function을 최소화했다. 이번에는 다른 Optimization Method를 통해 속도를 높이고 비용을 최소화하는 알고리즘을 배워보자.언제나 그랬듯, package먼저 다운
[인사이드 머신러닝] 다중회귀모델 (Multiple Linear Regression Model)
앞의 두 포스트1\. \[인사이드 머신러닝] 단순회귀모델: 회귀계수의 추정2\. \[인사이드 머신러닝] 단순회귀모델: 회귀선의 적합도 평가
AI Tech - Optimization
용어에 대해 명확한 개념을 잡고 넘어가자.Gradient Descent줄어들었을 때, optimal에 이를 것이라 기대하는 loss function parameter로 , loss function을 편미분한 값으로 학습local minimum을 찾는다.imageGene