# Backpropagation
[Study Material] Basic of Deep Learning
해당 자료는 제가 BOAZ 19기로 활동할 당시 20기 학습자료로 사용했던 PPT 내용입니다.Deep Learning의 기본에서부터 CNN의 역사까지 다룬 내용이며, 목차는 다음과 같습니다.Introduction to deep learningSeveral optimiz
[Dream to Control] 용어 정리
아래의 링크를 통해 공부하고, 때로는 그대로 옮겨 적었습니다. 아래의 작가님들에게 무한한 감사를 드립니다! 🙇🏼♂️ 지능적인 에이전트 Model-Free vs Model Based 환경과 상호작용 월드모델 지능적인 에이전트(artificial agent) 자신의
[CS231n] Lecture 4: Introduction to Neural Networks 정리
Stanford University CS231n Lecture 4
back propagation
오차 역전파 법은 딥러닝에서 학습을 수행하는데 있어 반 필수적인 방법이다.backpropagation은 가중치 파라미터에 대한 loss function의 기울기를 손쉽게 구할 수 있도록 해준다.여기까지가 일반적으로 알고있는 사항이다.그렇지만 여기서 수식적으로 back
cs231n_오차역전파
이번에 리뷰할 것은 오차역 전파(BackPropagation)이다.딥러닝에서 중요한 개념이며 모르면 딥러닝의 전반 과정을 이해할 수 없다고 생각한다. 왜 중요한지를 알기 위해서 언제 쓰이는지를 알아야한다.오차역전파는 학습 과정에서 사용한다. 딥러닝도 학습이라는 뜻인데,
[HUFSTUDY] 신경망 학습
+) 코드잇 강의 바로가기 > 본 정리내용은 코드잇 강의를 공부하며 함께 정리한 내용입니다! 더 정확하고 자세한 내용을 공부하기 위해서는 "코드잇 머신러닝 실전 강의를 참고해주세요!" 신경망 경사하강법 > 경사하강법이란? 경사하강법은 특정 값에서 미분값을 이용하여
Vanishing Gradient는 무엇인가?
레이어를 깊이 쌓았을 때 Vanishing/Exploding Geadient 문제가 발생하여 모델의 구혐을 방해하는 문제가 생긴다.신경망은 보이는 층(Visuble layer)와 숨겨진 층(Hidden layer)로 구성되어 있다.보이는 층은 입력층(Input laye
Logistic Regression (Computation Graph)
Computation Graph model을 perceptron이라고 하는데 logistic regression에서는 loss function의 gradient를 통해 w와 b를 찾아야 한다. 코드로 gradient method를 구현할 때에는 최대한 효율적으로 계산
😄 Lecture 04 | Introduction to Neural Networks
본 글은 Hierachical Structure의 글쓰기 방식으로, 글의 전체적인 맥락을 파악하기 쉽도록 작성되었습니다. > 또한 본 글은 CSF(Curation Service for Facilitation)로 인용된(참조된) 모든 출처는 생략합니다. Introduc
Derivative of conv layer
MLP에서 backward pass를 리뷰한 것을 활용해서 conv lyaer가 내부적으로는 어떻게 돌아가는지 알아보면 좋을 것 같다는 생각에서 시작했다. 레쓰고.
Stanford University CS231n - Lecture 4 :: Backpropagation and Neural Networks
Review Last lecture (Lecture 3) 모델을 분류하는 방법 1) scores function : w와 x의 값으로 노드의 score 값을 연산 2) SVM loss : score function을 통해서 각 값이 얼마나 특정 클래스에 대해 적합한
1.1 Artificial intelligence, machine learning and deep learning
AI ML Learning representation from data The "deep" in deep learning Understanding how deep learning works, in 3 figures What deep learning has ac
AI Tech 1주차 - DAY 3
선형모델과 활성함수를 합성한 함수 $d$개의 변수 $x_1, ..., x_d$ \* $w\_{ij}$ 연산 => $p$개의 선형모델 $o_1, ..., o_p$이때, 선형모델로 출력된 값은 확률벡터가 아닌 경우가 많기 때문에, 특정 벡터가 어떤 class 에 속할 확률
Neural network
행렬의 역할을 아주 잘 활용한 전형적이 예시가 NN이다.X 행렬에서 데이터를 모아둔다. W에서는 X의 데이터를 다른 차원으로 보내주는 역할을 한다.b 행렬은 y 절편을 열벡터에 한꺼번에 더해주는 역할을 한다.본래 (X, d) 차원이었던 X 행렬은 (n, p) 차원으로