비선형 예측 함수

• 컴퓨터 비전과 같은 분야에선 예측함수로는 올바른 분석이 어려움
• 따라서 굉장히 복잡한 비선형 가설 예측함수가 필요함
• 하지만 굉장히 복잡한 다항식으로 이를 다 처리하기엔 연산량, 파라미터 개수가 너무 많음

생물학적 뉴런과 두뇌의 특징

• 생물학적 뉴런들은 전기화학적 신호를 통해 정보를 주고 받음
• One Learning Algorithm : 사람의 뇌는 근본적으로 동일한 알고리즘을 이용하여 모든 기능을 수행, 학습한다는 가설
• 생물학적 뉴런의 구조
• Dendrite : 다른 뉴런 세포에서 입력 신호를 받아들임
• Cell Body : 다른 뉴런에 전달하고자 하는 신호를 만듦
• Synapse : 전달하고자 하는 정보를 저장하는 영역
• axon : 출력 신호를 발생시킴
  

인공뉴런 모델의 수학적 표현

• 인공신경망 : 사람 두뇌기능을 흉내낼 수 있는 기계장치

여러가지에 입력(트징 값)에 가중치(파라미터)를 곱한 값을 하나로 모으고(net) 이 것을 activation function에 통과시켜 출력값을 얻어내는 모델을 여러 개 겹침

신경회로망 모델 표현

• Single Layer Neural Network : 입력층과 출력층만 존재

• Multilaer Neural Network : 하나 또는 그 이상의 hidden layer도 존재

• Forward Propagation : 들어오는 신호가 중간층을 거쳐 출력층에 도달하는 과정

• 여러 Hidden Layer를 가진 신경회로망을 다층신경망이라고 함

• 다층 신경망에서의 특정한 노드를 표현하기 위해 표현법 정의가 필요, 다음과 같이 표현
  

• Hidden layer가 많을 수록 분류 경계선을 정교하게 만들 수 있음 -> 표현 성능 우수

• 복잡한 문제 해결을 위해, 신경망을 사용해 복잡한 분류경계선을 만들 수 있음.

신경회로망의 비용함수

• 신경회로망도 선형회귀, 로지스틱 회귀와 마찬가지로 비용함수를 최소화하는 파라미터를 찾아내는 것이 관건.
• 비용함수를 수학적으로 나타내기 위해서 한 몇 가지 정의
  • L : 입력층을 포함한 신경만의 Layer 수
  • S(I) : Layer I층의 유닛 수(bias 유닛 미포함)
  • binary classification에선, output layer 의 유닛 개수는 1개
  • K개의 class를 갖는 multi class classification에선 K개 뉴런
  • Feedforward : 신호가 한 방향으로만 이동한다는 의미(입력 -> hidden -> 출력)
  • 오차는 각 뉴런이 뱉는 출력 값과 실제 값의 차이

오차역전파 학습 알고리즘의 원리

• 오차역전파(Backpropagation) : 신경 회로망의 파라미터를 최적화하는 학습 알고리즘 중 1
• 신경망에 입력 신호를 넣고, 출력 값을 얻은 뒤, 실제 값과 비교해서 오차를 반대 방향으로 전파하는 방법
• 모든 학습 샘플에 대해서 두 가지 단계(Forward, Backward)를 반복시킴
• 신경 회로망 모델에서도 경사 하강법을 이용해서 최적 파라미터를 구할 수 있음

신경회로망 파라미터의 최적 값 계산

• 우선 주어진 입력을 신경망을 통과시키며 출력을 도출함(Forward Pass)
• 도출된 출력과 실제 값을 비교해서 델타를 이전 레이어로 역전파시켜나감(Backward)

Quiz

1. __를 통하여 새로운 지식을 습득할 수 있으며, 아주 복잡하고 대규모의 ____ 문제들을 해결할 수 있다.

정답 : 학습, 비선형

2. 다층 신경망은 사람의 __를 모방한 __ 알고리즘이다.

정답 : 두뇌, 지도학습

3. 오차 역전파 학습 알고리즘은 forward pass와 backward propagation 두 단계로 수행된다. Forward pass는 주어진 입력에 대한 네트워크의 _을 계산하는 과정이며, backward propagation는 네트워크의 실제 출력과 원하는 출력 사이의 ____을 이용하여 가중치를 업데이트 한다.

정답 : 출력, 오차

4. 다층 신경망에 관한 다음 설명 중에서 올바른 것을 모두 고르시오

a. 다층 신경망의 비용함수는 예측오차의 제곱의 합으로 정의될 수 있다.
b. 네트워크의 오차는 중간층에서 계산될 수 있다.
c. 데이터 분류를 위한 신경망에서 출력층의 뉴런의 개수는 보통 부류의 개수와 동일하다