# softmax
인공지능 활성화 함수
인공 신경망에서 활성화 함수는 입력값을 변환하여 출력값을 생성하는 함수이다. 활성화 함수에는 선형 활성화 함수와 비선형 활성화 함수가 있다. 인공 신경망에서는 비선형 활성화 함수를 사용하는 것이 일반적이다. 왜냐하면 선형 활성화 함수를 사용할 경우, 여러 층을 쌓아도
logit과 sigmoid와 softmax
logit과 sigmoid 함수는 서로 역함수의 관계이다.logit은 logist + probit의 합성어로, 오즈에 자연로그를 취한 것이다.여기서 오즈(odds)란, 클래스 $C_1, C_2$가 있을 때 $C_2$로 분류될 확률에 대한 $C_1$으로 분류될 확률을 의

CrossEntropyLoss & Softmax
: 필자의 경우, 공부를 하면 할 수록, 기본기에 대한 중요성을 많이 느끼게 되었다. 선형대수학적인 부분과 이에 대한 구현의 필요성을 많이 느꼈다. 그래서 작은 것부터 시작해보려고 한다. (블로그에 수식을 적고 싶은데 귀찮기 때문에 일단 생략)Cross Entropy

[ADsP 합격 노트] 3-5. 정형 데이터 마이닝(2)
뉴런의 활성화 함수Relu 함수 $R(x) = max(0, x)$ softmax 함수 : 표준화지수함수로도 불리며, 출력값이 여러개로 주어지고 목표치가 다범주인 경우 각 범주에 속할 사후확률을 제공하는 함수 $yi = \\frac{exp(z_j)}{\\sum{i=
[D&A 운영진 ML 스터디] 2주차 2차시
모델이 어떻게 작동하는지 알면 적절한 모델, 올바른 알고리즘, 하이퍼파라미터 탐색, 디버깅, 에러 예측이 효율적으로 가능선형 회귀 - 두 가지 방법으로 훈련 가능train set에 가장 잘 맞는 파라미터를 해석적으로 구함경사 하강법 이용$\\hat y = \\theta

PyTorch 익히기 - Logistic Regression & Softmax Classification
Pytorch를 간단히 다루어본 적이 있는데, 앞으로의 연구에 익숙하게 활용하기 위해 Pytorch 내용을 정리해보려 한다.

[밑바닥부터 시작하는 딥러닝] 3. 신경망 part2 - 출력층 설계, MNIST 데이터 인식, 배치
출력층 설계 어떤 문제를 푸느냐에 따라 출력층에서의 활성화 함수가 달라짐 > 기계학습 문제는 분류(classification) 와 회귀(regression) 로 나뉨 분류 : 데이터가 어느 클래스(class)에 속하느냐는 문제 (ex. 사진 속 인물의 성별 분류) 회

회귀(Regression)
지도학습의 경우 문제가 두 가지 분류(Classification)와 회귀(Regression) 문제로 나뉜다.분류는 입력 데이터의 특성(feature)을 이용해 해당 데이터의 클래스(label)를 추론하는 것회귀는 입력 데이터의 특성(feature)을 통해 연관된 다른

활성화 함수(activation function)
딥러닝 네트워크에서 노드에 들어오는 값들에 대해 바로 다음 레이어로 전달하지 않고 비선형 함수를 주로 통과 시킨 후에 전달한다. 이 때 사용하는 비선형 함수를 활성화 함수(activation function)이라고 한다.비선형 함수를 사용하는 이유는 멀티퍼셉트론을 경우
Reuters News Classification (로이터 뉴스 분류하기)
이번 글에서는 kears.datasets안에 있는 reuters 데이터에 대해 분류해 보겠다.불러온 데이터셋을 트레이닝 세트와 테스트 세트로 나눠주자.모양을 확인해보자.8982개의 훈련용 뉴스 기사, 2246개의 테스트용 뉴스 기사,46개의 카테고리를 확인할 수 있다.
Python Basics with Numpy
sigmoid_derivative(x)=f(x)(1-f(x))(length, height, 3)를 넣으면 벡터값(length x height x3, 1)을 리턴해주는 함수axis = 1, keepsdim =1 에 대한 설명은 여기 참고하면 도움이 된다.

AI Tech 1주차 - DAY 3
선형모델과 활성함수를 합성한 함수 $d$개의 변수 $x_1, ..., x_d$ \* $w\_{ij}$ 연산 => $p$개의 선형모델 $o_1, ..., o_p$이때, 선형모델로 출력된 값은 확률벡터가 아닌 경우가 많기 때문에, 특정 벡터가 어떤 class 에 속할 확률

선형 회귀와 로지스틱 회귀
이번 포스팅에서는 선형회귀(Linear Regression)와 로지스틱 회귀(Logistic Regression)에 대해 알아보려 한다. 회귀(Regression) 회귀분석(Regression Analysis) 이란 통계학에서 전통적으로 많이 사용되던 분석 방법이다.

Softmax Regression
softmax regression이란 : 함수를 통해 분류해야 되는 정답지(클래스)의 총 개수를 k라고 할 때, k차원의 벡터를 입력 받아서, 각 클래스에 대한 확률을 추정하는 회귀방식. Softmax Regression를 활용할 수 있는 상황 _ 1. binary

iris classification with ZERO SCIKIT_LEARN
hands-on 서적을 참고한 글입니다.목표사이킷런 (scikit-learn) 을 사용하지 않고softmax로 붓꽃 분류를 해보자.(데이터셋 임포트를 위한 sklearn 사용은 제외)github 레포지토리colab 링크편향 특성을 추가한다. (1로 초기화)sklearn

Multinomial Logistic Regression - [Softmax 함수, Cross Entropy ]
다항 로지스틱 회귀(Multinomial Logistic Regression)는 종속변수가 범주 형이면서 3개 이상의 범주를 가질때, 적용할 수 있는 Logistic Regression 모델입니다.