# Neural Net

developerkerry

신경망과 다른 기계학습 방법론 간의 중요한 차이점을 알아보며, 훈련 데이터와 시험 데이터를 구분해 사용하는 이유를 모델의 범용성과 과적합의 관점에서 알아본다.

iissaacc

Back propagation에서 구현한 신경망으로 MNIST를 분류해보자.

iissaacc

"parameter 4개로 코끼리 모양도 구현하겠다. 5개로는 코도 움직일 걸?" - 폰 노이만

iissaacc

많은 교재와 강의에서 back prop을 정리할 때 node차원에서만 바라보는 게 아쉬웠다. 그러면 scratch로 신경망을 구현할 때 back prop에서 막히고 만다. 나는 동적인 신경망을 만들고 싶었다. 그래서 조금은 더 깊게 파봤다.

iissaacc

인공신경망 학습기법에 관한 연구가 활발해지면서 학습속도를 개선하고 100개 넘는 레이어를 쌓는 일도 쉽게 할 수 있게 되었다. 가중치를 어떻게 초기화하냐에 따라 gradient vanishing/exploding을 막으면서 학습을 진행할 수 있다.

iissaacc

생물이 가진 뉴런은 인공신경망보다 훨씬 복잡하게 작동한다. 그 중 '활성화'에 대한 이야기를 하려고 한다.

iissaacc

한국어로 경사하강법. gradient descent를 처음 들었을 때 딱 이런 느낌이었다. 어딘가에서 조금씩 내려간다고.

uonmf97

최종 목표 : 우리가 수행해야 하는 일들 중 복잡한 일들, 생각이 많이 필요한 일들을 처리하기 위해 인공지능을 개발. 인간의 뇌구조를 이용한 Deep Neural Net을 만들려고 함 문제점: 뇌가 매우 복잡하게 연결되어있음, 연결된 부분들을 보면 Neuron이라고 불