# activation function

14개의 포스트

[ML] Logistic Regression

본 포스팅은 "혼자 공부하는 머신러닝" 책을 보고 제작함 어떤 생선인지 맞추는 문제라고 가정. 예를 들어, 도미 광어 우럭 세 종류의 생선이 있다고 하면 [z0, z1, z2]로 표현 가능 이 때 z는 확률 따라서, z값을 0~1 사이의 값으로 변환 시켜줘야 함. 이를 위해서 시그모이드 함수 사용 시그모이드'(미분 한다는 뜻 ㅋ) = 시그모이드...

2023년 3월 28일
·
0개의 댓글
·
post-thumbnail

[배경지식] MLP(part1)

MLP(part1) MLP(Multi Layor Perceptron)는 딥러닝의 기본 중 기본이 되는 구조입니다. 해당 포스팅에서는 이러한 MLP에 구조을 쉽고 자세하게 리뷰 보도록 하겠습니다. 0. Perceptron 이란? > Multi Layor Perc

2023년 3월 10일
·
0개의 댓글
·

[딥러닝] Activation function

Hidden layer(은닉층) activation function Hyperbolic tangent function Hidden layer에서 사용 sigmoid 보단 gradient vanishing이 개선되었지만 relu 가 더 많이 쓰임 Relu func

2022년 5월 14일
·
0개의 댓글
·
post-thumbnail

Neural Network 활성화 함수(Activation Function)

활성화 함수의 사용 이유: 활성화 함수는 이전 층의 output값을 함수에 적용시켜 다음 층의 뉴런으로 신호를 전달한다. 활성화 함수가 필요한 이유는 모델의 복잡도를 올리기 위함인데 모델의 복잡도를 올리는 이유는 비선형 문제를 해결하기 위해서이다. perceptr

2022년 4월 3일
·
0개의 댓글
·
post-thumbnail

선형 회귀에서 배우는 학습의 구성요소

PyTorch 스터디 교재 : Dive Into Deep Learning 진행 방식 해당 주차의 스터디 범위 학습 정해진 순번대로 발표 (개인적 목표: 매회 발표 자원하기!) 스터디 과정에서 학습 내용을 정리하였다. Ch 3.1 3.1. 선형 회귀(Linear

2022년 2월 15일
·
0개의 댓글
·

Swish function

어떤 연구에서는 Swish, 또 다른 연구에서는 SiLU로 불린다. activation function 연구는 활발하게 이루어지지만 어떤 과제에서 잘 되는 함수가 다른 과제에서는 잘 안 되는 게 많아서 자주 쓰이는 건 한정적이다.

2021년 11월 2일
·
0개의 댓글
·
post-thumbnail

1.3 Why deep learning? Why now?

The two key ideas of deep learning for computer vision, convolutional neural networks and backpropagation were already well understood in 1989. The Lo

2021년 9월 17일
·
0개의 댓글
·
post-thumbnail

Activation Function(활성화 함수)

Activation Fuction 공부해야만 하는거야🤨❔ Deep Learning 관련 공부를 하다보면 대부분 activation function는 relu, Optimizer는 adam, loss(cost) fuction categorical_crossentropy

2021년 8월 19일
·
0개의 댓글
·

Activation function

생물이 가진 뉴런은 인공신경망보다 훨씬 복잡하게 작동한다. 그 중 '활성화'에 대한 이야기를 하려고 한다.

2021년 7월 7일
·
0개의 댓글
·
post-thumbnail

딥러닝 - 활성함수 (Activation function)

퍼셉트론 복습, 활성화 함수의 정의, 활성화 함수 종류 및 구현(계단함수, 시그모이드, ReLU)

2021년 6월 24일
·
1개의 댓글
·