# activation function
[ML] Logistic Regression
본 포스팅은 "혼자 공부하는 머신러닝" 책을 보고 제작함 어떤 생선인지 맞추는 문제라고 가정. 예를 들어, 도미 광어 우럭 세 종류의 생선이 있다고 하면 [z0, z1, z2]로 표현 가능 이 때 z는 확률 따라서, z값을 0~1 사이의 값으로 변환 시켜줘야 함. 이를 위해서 시그모이드 함수 사용 시그모이드'(미분 한다는 뜻 ㅋ) = 시그모이드...
[배경지식] MLP(part1)
MLP(part1) MLP(Multi Layor Perceptron)는 딥러닝의 기본 중 기본이 되는 구조입니다. 해당 포스팅에서는 이러한 MLP에 구조을 쉽고 자세하게 리뷰 보도록 하겠습니다. 0. Perceptron 이란? > Multi Layor Perc
[CS231n] Lecture 6: Training Neural Networks I 정리
Stanford University CS231n Lecture 6
[딥러닝] Activation function
Hidden layer(은닉층) activation function Hyperbolic tangent function Hidden layer에서 사용 sigmoid 보단 gradient vanishing이 개선되었지만 relu 가 더 많이 쓰임 Relu func
Neural Network 활성화 함수(Activation Function)
활성화 함수의 사용 이유: 활성화 함수는 이전 층의 output값을 함수에 적용시켜 다음 층의 뉴런으로 신호를 전달한다. 활성화 함수가 필요한 이유는 모델의 복잡도를 올리기 위함인데 모델의 복잡도를 올리는 이유는 비선형 문제를 해결하기 위해서이다. perceptr
선형 회귀에서 배우는 학습의 구성요소
PyTorch 스터디 교재 : Dive Into Deep Learning 진행 방식 해당 주차의 스터디 범위 학습 정해진 순번대로 발표 (개인적 목표: 매회 발표 자원하기!) 스터디 과정에서 학습 내용을 정리하였다. Ch 3.1 3.1. 선형 회귀(Linear
Swish function
어떤 연구에서는 Swish, 또 다른 연구에서는 SiLU로 불린다. activation function 연구는 활발하게 이루어지지만 어떤 과제에서 잘 되는 함수가 다른 과제에서는 잘 안 되는 게 많아서 자주 쓰이는 건 한정적이다.
1.3 Why deep learning? Why now?
The two key ideas of deep learning for computer vision, convolutional neural networks and backpropagation were already well understood in 1989. The Lo
Activation Function(활성화 함수)
Activation Fuction 공부해야만 하는거야🤨❔ Deep Learning 관련 공부를 하다보면 대부분 activation function는 relu, Optimizer는 adam, loss(cost) fuction categorical_crossentropy
딥러닝 - 활성함수 (Activation function)
퍼셉트론 복습, 활성화 함수의 정의, 활성화 함수 종류 및 구현(계단함수, 시그모이드, ReLU)