# ReLU

21개의 포스트

[머신러닝] RNN

RNN이란? >* RNN(Recurrent Neural Network)은 입력과 출력을 시퀀스 단위로 처리하는 시퀀스(Sequence) 모델 순환 신경망(Recurrent Neural Network)은 시퀀스(seqence) 데이터를 사용 시퀀스 데이터란 시계열 데이터라고도 한다. 시점에 따라 데이터가 달라지는 것을 의미 텍스트와 같이 순서에 의미가 있는 데이터도 시퀀스 데이터 즉, 특정 시점의 데이터를 한 번에 수집하는 것이 아닌 시간의 흐름에 따라 데이터도 점차 수집하는 것을 의미 전체 데이터 셋을 구성하는 각 데이터 포인트의 수집 시점이 서로 다름 다른 신경망들과 다른점 순환 신경망은 출력된 결과가 다음 시점에서 사용됨. 출력 결과를 기억했다가 사용하는 방법 완전 연결 신경망이나 합성곱 신경망은 입력 데이터를 사용한 후 그 결과가 다시 입력층으로 돌아가진 않음 이를 피드포워드(feedforward) 신경

2023년 5월 22일
·
0개의 댓글
·

활성화 함수

활성화 함수 종류 이진 계단 함수(Binary step function) 임계점을 설정하고 그 임계점을 넘으면 (혹은 ) 넘지 않으면 (혹은 )를 출력한다. 선형 활성화 함수 (Linear actiavation function) 선형 함수는 직선 함수를 의미한다. 굴곡 없이 곧게 뻗은 직선을 생각하면 좋다. 예를들어 함수처럼 곧은 직선 함수를 생각하면 된다. 선형 함수는 여러번 사용된다고 하더라도 다른 하나의 선형 함수 로 표현이 가능하기 때문에 그 한계가 명확하고 비선형적인 특성을 지닌 데이터를 예측하지 못한다. 비선형 활성화 함수 (None-linear activation function) 비선형 활성화 함수를 사용하면 역전파(back-propagation) 알고리즘을 사용할 수 있고, 다중 출력과 비선형적 특성을 지닌 데이터도 소화할 수 있다. 시그모이드(sigmoid) 함수 대표적인 **

2023년 5월 11일
·
0개의 댓글
·

인공지능 활성화 함수

활성화 함수란 인공 신경망에서 활성화 함수는 입력값을 변환하여 출력값을 생성하는 함수이다. 활성화 함수에는 선형 활성화 함수와 비선형 활성화 함수가 있다. 인공 신경망에서는 비선형 활성화 함수를 사용하는 것이 일반적이다. 왜냐하면 선형 활성화 함수를 사용할 경우, 여러 층을 쌓아도 결국 선형 변환이 되므로 복잡한 비선형 함수를 표현할 수 없기 때문이다. 선형 활성화 함수 선형 활성화 함수는 입력값에 대해 일정한 비율로 변환되는 함수이다. 즉, 입력값과 출력값 사이에 선형적인 관계가 존재하는 것이다. 예를들어 f(x) = 2x와 같은 함수가 선형 활성화 함수이다. 비선형 활성화 함수 비선형 활서오하 함수는 비선형적인 형태를 가지며, 신경망이 복잡한 비선형 함수를 근사할 수 있도록 도와준다. 대표적인 비선형 활성화 함수로는 ReLU, 시그모이드, 소프트맥수 등이 있다. ReLU ReLU는 Rectified Linear Unit의 약자로, 딥러닝에서 가장

2023년 3월 25일
·
0개의 댓글
·
post-thumbnail

[LGaimers] 딥러닝 - (3) CNN

합성곱 신경망의 동작 원리 및 이를 통한 이미지 분류 LGAimers의 주재걸교수님 강의를 바탕으로 작성한 글입니다. 사용한 이미지는 강의 자료이며 개인 공부를 위한 포스팅입니다. 1. Various neural network architectures -> Fully Connected neural network : 앞에서 배운 멀티레이어 퍼셉트론에서 각 레이어의 입력 노드 -> 가중치 -> 출력노드의 형태로 연결된 네트워크 -> ConvNets or CNN : 이번에 배울 합성곱 신경망 (CV 분야에서 주로 사용하는 네트워크 종류) -> RNN : sequence data나 시계열 데이터 등에 사용되는 네트워크 2. 활성화 함수와 활성화 지도 -> how ConvNet works? ![](https://velog.velcdn.com/images/g

2023년 1월 24일
·
0개의 댓글
·
post-thumbnail

[LGaimers] 딥러닝 - (2) Training NN

Deep learning을 학습하기 위한 구체적인 기법들 Gradient descent Back propagation Gradient vanishing & batch normalization 1. 어떻게 학습하는가? -> 최적화하고자 하는 파라미터 W(learnable parameter, 가중치)를 gradient descent하여 학습시킨다. Loss function이 최소화가 되도록! loss function에 대해서 각각의 파라미터들에 대한 미분 값을 구하고, 그 미분값을 사용해 현재 주어진 파라미터 값을 가지고 미분 방향의 -방향으로 learning rate를 곱해서 파라미터를 업데이트한다. 그러나 original gradient descent의 방식으로는 왔다갔다하면서 수렴하기 때문에 불필요한 반복 횟수가 생길 수 밖에 없다. 그래서 여기에서 변형하는 다양한 알고리즘들 (GD, momentum, ada

2023년 1월 22일
·
0개의 댓글
·
post-thumbnail

[ADsP 합격 노트] 3-5. 정형 데이터 마이닝(2)

인공신경망 분석 뉴런의 활성화 함수 Relu 함수 $R(x) = max(0, x)$ softmax 함수 : 표준화지수함수로도 불리며, 출력값이 여러개로 주어지고 목표치가 다범주인 경우 각 범주에 속할 사후확률을 제공하는 함수 $yi = \frac{exp(zj)}{\sum{i=1}^{L} exp(zj)}, j=1, …, L$ 가중치의 초기값과 다중 최소값 문제 역전파 알고리즘은 초기값에 따라 결과가 많이 달라지므로 초기값의 선택은 매우 중요 가중치가 0이면 시그모이드 함수는 선형이 되고 신경망 모형은 근사적으로 선형모형이 됨 초기값이 0이면 반복하여도 값이 전혀 변하지 않고, 너무 크면 좋지 않은 해를 주는 문제점을 내포하고 있어 주의 필요 학습모드 온라인 학습 모드

2022년 12월 13일
·
0개의 댓글
·
post-thumbnail

딥러닝과 인공신경망: 활성화 함수의 역전파 구현하기

신호를 다음 뉴런으로 보내기 위해, 활성화 함수를 거친다. 즉 신호는, 활성화 함수를 거쳐서 순전파 되기때문에, 활성화 함수 또한 역전파를 거친다는 의미를 지닌다. 이번 포스팅은, 신호를 활성화 함수에 전달하여, 순전파와 역전파가 어떻게 작동하는지 알아보도록 한다. ReLU 계층 구현하기 수식 ReLu 활성화 함수는 순전파시 입력 신호 x가 0보다 크면, 자기 자신을 다음 노드로 전달하고, 0보다 작거나 같으면 0을 전달한다. $y=\begin{cases}x, {(x >0) } \\ 0, (x \le 0) \end{cases}$ 역전파시, 활성화함수의 입력신호인 x에 대한 y 미분값은, 1 (x가 0보다 클때) 또는 0 (x가 0보다 작을때)이 된다. ${\sigma y

2022년 8월 3일
·
0개의 댓글
·
post-thumbnail

[딥러닝] 활성화 함수 간단 정리 ! (시그모이드, 소프트맥스, ReLU)

오늘은 딥러닝에 꼭 필요한 활성화 함수에 대해 알아보려고 합니다 ! 딥러닝을 하면서 사용하는 활성화 함수는 크게 3가지 있습니다. sigmoid,softmax,ReLu 가 그 3가지에요! 우선, 시그모이드 함수부터 알아봅시다! 시그모이드 시그모이드 함수의 생김새는 다음과 같습니다. 함수식은 다음과 같습니다. 시그모이드 함수는 입력값이 커지면 커질수록 1에 수렴하고, 작아지면 작아질수록 0에 수렴합니다. 시그모이드 함수를 미분하면, 양 쪽으로 향할수록 변화값이 거의 없습니다. 따라서, 오류역전파

2022년 7월 6일
·
0개의 댓글
·

딥러닝(Deep Learning)

★ 딥러닝(Deep Learning) ㄴ선형회귀로 풀어야 하는 문제 외 비선형으로 풀어야 하는 문제들이 있어 이들을 층(layer)으로 쌓아올려 딥하게 학습시킨 모델 ㄴDeep neural networks, multilayer Perceptron 등으로 불림 ★ XOR 문제(논리게이트) AND : 입력값들 중에 하나라도 1이면 1출력 OR : 입력값들 중에 하나라도 0이면 0출력 ㄴ 게이트를 이용해 많은 문제를 풀었으며 머신러닝에도 적용하면 생각하는 기계를 만들 수 있다고 판단 ㄴ 이걸 이용해서 수식화한게 "퍼셉트론(Perceptron)" XOR : 입력값이 같으면 0출력 다르면 1출력 ㄴ AND와 OR로는 선형회귀로 나타내지나, XOR은 불가능해서 퍼셉트론을 여러층으로 붙여 해결코자 함 역전파(backpropagation) : 에러 발생시 뒤로 돌아가게 문제점을 수정하도록 하는 설계 ㄴ XOR문제를 해결하는 설계 가능 및 수정하는 과정을 통해 딥러닝이 가능

2022년 5월 17일
·
0개의 댓글
·
post-thumbnail

Activation Functions

Activation Functions logistic regression에서 linear transformation 결과에 적용한 non-linear transformation인 sigmoid함수가 activation function에 해당된다. activation function은 미분만 가능하다면, 즉 gradient 계산만 가능하다면 어떤 non-linear function도 사용가능하다. 근래에 sigmoid 함수는 주로 output layer에만 사용되고 hidden layer에서는 사용되지 않는 추세이다. Sigmoid ![](https://images.velog.io/images/coral2cola/post/837746f8-626c-4421-9d32-86b38e063fdb/image

2022년 4월 16일
·
0개의 댓글
·

Titanic - Machine Learning from Disaster (Pytorch)

Kaggle Titanic 예제 kaggle을 처음 시작하며 대표예제인 Titanic 문제를 풀어보았습니다. 아직 입문이기에 EDA를 적용하거나 복잡한 모델을 구현하진 못하였고, 이론으로만 막연하게 이해하고있던 모델을 코드로 끝까지 구현하는데에 집중해서 데이터 전처리에 엄청난 편의성이 적용되었습니다. Pytorch를 사용하여 2개의 FC hidden layer를 갖는 모델을 구현하였습니다. 각 hidden layer는 512개의 뉴런을 갖고, 다른 특징으로는 다음이 있습니다. activation : ReLU optimizer : Adam learning rate : 0.01 loss function : CrossEntropyLoss epochs : 500 Overview 주어진 문제는 타이타닉 승객들의 data를 학습하여, test data에 있는 승객들의 생존 여부를 예측하는 모델을 만드는 것이 목표입니다. 주어진 train data는 다

2022년 3월 13일
·
0개의 댓글
·
post-thumbnail

[Aiffel] 아이펠 33일차 개념 정리 및 회고

1. 딥러닝 개념 정리 1) 퍼셉트론 레이어를 이루고 있는 각각의 노드를 퍼셉트론이라고 칭함 |신경세포|퍼셉트론| |:-:|:-:| |신경세포 구조|퍼셉트론의 구조| |가지돌기|입력 신호| |축삭돌기|출력 신호| |시냅스|가중치| |세포 활성화|활성화 함수| 2) 활성화 함수 (1) 기본 정리 의미 어떤 조건을 만족시킨 여부와 관련 특정 조건을 만족시킬 경우 '활성화'시킴 사용 이유 **딥러닝 모델의 표현력(representation capacity, expressivity)을 향상시키

2022년 2월 13일
·
0개의 댓글
·
post-thumbnail

분류기의 학습 과정 내부 살펴보기

분류기의 학습 과정 내부 분석 mnist 데이터 불러오기 mnist 샘플 데이터셋 다운로드 & 압축풀기 훈련데이터, 검증데이터 폴더 와 라벨이 적힌 csv가 있다. 각 폴더 안에는 숫자별로 폴더가 나뉘어져 있고, 그 안에는 수많은 숫자 이미지 파일이 담겨져 있다. threes에는 숫자 3의 훈련데이터가 리스트 형태로 담겨있고, 이중에 하나를 불러와서 이미지로 확인해본다. Image는 파이썬 영상 처리 라이브러리(python Imaging Library)에서 제공하는 이미지를 열고 조작할때 사용하는 클래스이다. 컴퓨터는 이미지를 숫자로 인식하고, 이미지는 넘파이 배열 혹은 파이토치 텐서를 이용하여 숫자로 변환된다. 판다스 데이터프레임을 통해서 숫자의 값에 따라 그

2021년 12월 7일
·
0개의 댓글
·
post-thumbnail

활성화 함수(activation function)

활성화 함수 딥러닝 네트워크에서 노드에 들어오는 값들에 대해 바로 다음 레이어로 전달하지 않고 비선형 함수를 주로 통과 시킨 후에 전달한다. 이 때 사용하는 비선형 함수를 활성화 함수(activation function)이라고 한다. 비선형 함수를 사용하는 이유는 멀티퍼셉트론을 경우, 선형함수로 값을 계속 전달하면 계속 똑같은 선형함수 식이 된다. 예를 들면, $$ h(x) = cx $$ 라는 선형 활성화 함수를 사용하고, 3개의 레이어를 쌓은 멀티 퍼셉트론이 있다고 하자. 이 경우를 식으로 나타내면 $$ y(x) = h(h(h(x))) $$ $$ y(x) = c(c(cx))) = ccc*x = c^3x $$ 결국 같은 선형 함수가 된다. 즉, 은닉층이 없는 네트워크로 표현하게 된다. 따라서 뉴럴 네트워크에서 층을 쌓는 혜택을 얻고 싶다면 활성화 함수로 비선형 함수를 사용해야한다. 비선형 활성화 함수에는 다양한 종류가 있다. 1. 시그모이드 함수(Sigmoid

2021년 12월 3일
·
0개의 댓글
·
post-thumbnail

합성곱 신경망(ConvNet, Convolutional Neural Network)

Intro 현재 ConvNet 기반의 모델은 단순 이미지 인식을 넘어 Object Detection, Semantic Segmentation 까지 딥러닝 알고리즘 중 가장 활발히 연구되고 성과를 내고 있는 분야이다. 우선 각 분야별 적용되고 있는 주요 모델을 간단히 살펴보면 아래와 같다. > | Classification | Image Detection | Semantic Segentation | > |--|--|--| > | VGG Net | RCNN | FCN | > | GoogLeNet | Fast RCNN | DeepLab | > | ResNet | Faster RCNN | U-Net | > | MobileNet | YOLO | ReSeg | > | ShuffleNet| SDD | | 이 글에서는 위의 훌륭한 모델들이 가장 기본으로 하는 ConvNet의 구조 및 학습 방법에 대해 간단히 알려보려고 한다. 합성곱 신경망(Convolutional

2021년 7월 18일
·
0개의 댓글
·
post-thumbnail

모두를 위한 딥러닝 시즌 1 :: ML lec 10

Sigmoid, ReLU Activation Function Activation Function : 특정 값을 넘어가거나 도달하면, 그 값을 출력시켜주는 것. Multi Layer Program Input Layer : 입력값을 전달해주는 Layer Hidden Layer: 숨겨진 Layer을 뜻하고 출력 Layer와 입력 Layer 사이의 모든 Layer을 의미한다. Output LAyer: 원하는 출력형태로 출력해주는 Layer Vanishing Gradient Problem 문제점: 여러 Layer로 이루어진 모델이 Back Propagati

2021년 7월 12일
·
0개의 댓글
·
post-thumbnail

[딥러닝] 성능향상(활성함수)

활성함수의 역할 입력값과 가중치를 곱해주고 활성함수를 위한 b(bias)를 더해준 값을 활성함수에 입력함 활성함수는 입력에 가중치가 곱해서 나온값의 정도를 결정해서 다음으로 넘겨줌! 활성함수의 종류 ![](https://images.velog.io/images/peterpictor/post/f8d7128a-2047-4f2e-8b23-73c67ddc8659/%E1%84%89%E1%85%B3%E1%84%8F%E1%85%B3%E1%

2021년 7월 7일
·
0개의 댓글
·
post-thumbnail

딥러닝 - 활성함수 (Activation function)

인공신경망의 목표는 데이터에서 발견할 수 있는 복잡한 관계를 학습할 수 있는 강력한 알고리즘과 데이터 구조를 만드는 것 !! 퍼셉트론 복습 x1과 x2라는 두 신호를 입력받아 y를 출력하는 퍼셉트론이다. 여기서 b는 편향을 나타내는 매개변수로, 뉴런이 얼마나 쉽게 활성화되느냐를 제어한다. w1과 w2는 각 신호의 가중치를 나타내는 매개변수로, 각 신호의 영향력을 제어한다. 아래 그림은 편향을 명시한 퍼셉트론이다. 이 퍼셉트론의 동작은 x1, x2, 1이라는 3개의 신호가 뉴런에 입력되어 각 신호에

2021년 6월 24일
·
1개의 댓글
·
post-thumbnail

신경망이란 무엇인가? | 1장 딥러닝에 대하여 영상을 보고 셀프 기록

딥러닝과 머신러닝의 차이를 구글링하는 도중에 신경망이란 무엇인가라는 유튜브 영상에까지 이르렀다. 처음 보았던 영상은 Backpropagation(역전파)에 대한 내용이였는데, 예전 선형대수 시간에 배웠던 것을 훨씬 더 쉽고 이해하기 쉽게끔 그래픽과 함께 가르쳐 주는 영상이였다. 하지만... 경사하강법이 나오고 뭐.. 나오고 예전에 까먹었었던 선형대수 개념이 나오길래 이 재생목록의 첫 번째 영상부터 차근히 보고자 결심했다. 신경망은 우리 인간의 뇌를 기반으로 만들어진 것이다. 뉴런에 0~1까지의 데이터가 담긴다고 가정한다. 뭐 상세한 내용은 나중에 정리할거고 일단 지금 기록하고 싶은것은 시그모이드 함수 이거다 시그모이드 함수란 로지스틱 방정식의 한 종류로 숫자를 주어주면 0과 1사이의 값으로 만들어준다. 매우 작은 음수는 최대한 0에 가깝고, 0 주변의 값은 증가하며, 매우 큰 양수는 최대한 1에 가깝게 표현되는 함수이다. ![](https://images.ve

2021년 5월 31일
·
0개의 댓글
·
post-thumbnail

RELU Function

Sigmoid > Sigmoid Function이란? 로지스틱 함수에서 선형예측 결과를 확률로 변환하는 함수로, 0과 1 사이의 값으로 값을 변환해준다. 문제점: Sigmoid 함수를 사용하면 gradient 함수를 이용해서 back propagation을 진행할때, sigmoid함수를 미분을 해야한다. 이때, 아래 그래프에서 파란색 부분이외에 빨간색부분을 보면 기울기가 0에 가까워질 수 있다. 즉 계속 back propagation을 진행하게 되면, activation function * gradient미분값이 되어 초반의 gradient값이 점차 소멸될 가능성이 크다. ![](https://images.velog.io/images/uonmf97/post/3f342

2021년 5월 17일
·
0개의 댓글
·