# MIni-Batch Gradient Descent
[DL] 인공신경망
15. 인공신경망 15-1. 인공신경망 (ANN : Artificial Neural Network) : 인간 두뇌 신경의 연결 구조를 모방해 데이터를 네트워크 구조를 거쳐서 처리하도록 만든 시스템 PE(Processing Element) : 인공 신경 세포를 노드 혹은 유닛으로 나타내는 단 15-2. 인공신경망의 구성 15-2-1. 처리 요소 노드(Node) 자신에게 입력되는 값들과 각 값의 가중치(Weight)를 받아들인다. 입력값(input)과 가중치를 결합해 합계를 구한다. 내장된 함수를 구한 합계에 적용해 출력값(Output)을 산출해 내보낸다. 활성함수 (Activation Function) : 임계값을 별도로 설정하는 대신에 내장된 함수를 사용해 출력값을 산출 15-2-2. 처리 요소의 결합과 계층의 결합 
Optimization Methods
이전에는 Gradient Descent를 사용해서 parameter를 업데이트하고 Cost Function을 최소화했다. 이번에는 다른 Optimization Method를 통해 속도를 높이고 비용을 최소화하는 알고리즘을 배워보자. 언제나 그랬듯, package먼저 다운받아준다. Packages Gradient Descent 가장 간단한 최적화 방법이다. 아래의 파라미터 업데이트 공식을 이용해서 파라미터를 업데이트 해 주는 함수를 만들어보자. 이것의 변형으로는 Stochastic Gr