해석적 미분과, 컴퓨터에서 해석적 미분과 근사한 미분값을 얻기 위해 사용하는 수치 미분, 특정 매개 변수를 함수의 최솟값 방향으로 조정하기 위해 사용하는 편미분에 관해 이야기하며, 신경망에서 기울기가 가지는 의미와 함수의 최솟값을 찾기 위해 사용되는 경사법을 소개한다.
미니 배치와 미니 배치 학습의 개념을 설명하고, 미니 배치의 평균 교차 엔트로피 오차를 전체 학습 데이터에 대한 평균 교차 엔트로피 오차의 근삿값으로 사용할 수 있음을 설명한다.
예측 정확도를 매개 변수 갱신의 지표로 사용하지 않는 이유를 소개하며 손실 함수의 필요성을 설명한다. 이어 평균 제곱 오차(Mean Squared Error, MSE)와 교차 엔트로피 오차(Cross-Entropy Error, CEE) 손실 함수를 소개한다.
신경망과 다른 기계학습 방법론 간의 중요한 차이점을 알아보며, 훈련 데이터와 시험 데이터를 구분해 사용하는 이유를 모델의 범용성과 과적합의 관점에서 알아본다.
신경망을 이용해 MNIST 데이터셋의 데이터를 가지고 추론 처리를 구현해 본다. 신경망의 학습에 대해서는 다루지 않고, 이미 학습된 모델의 가중치와 편향을 그대로 가져와 추론 처리만을 해볼 것이다.
행렬곱을 적절히 활용하면 신경망의 동작을 단 몇 줄의 코드로 나타낼 수 있다. 행렬곱을 활용해 3층짜리 신경망을 구현해 보자.
단층 퍼셉트론, 다층 퍼셉트론, 신경망의 차이를 활성화 함수의 관점에서 알아보며, Step Function, Sigmoid Function, ReLU에 관해서도 알아본다. 또한 뉴런으로 층을 쌓는 혜택을 보고 싶다면 비선형 함수를 사용해야 함을 설명한다.
딥러닝을 구현할 때 사용되는 배열/행렬 등 연산을 numpy.array의 메서드를 통해 쉽게 처리할 수 있도록 도와주는 Python 라이브러리, Numpy와 그래프 그리기, 데이터 시각화를 지원하는 matplotlib 라이브러리에 대해 알아본다.
주로 인터프리터 방식 언어에서 프로그램 실행 속도 향상을 위해 도입하는 JIT 방식 컴파일에 대해 간단히 알아봅니다.
모든 동물의 ANIMAL_TYPE, NAME, SEX_UPON_INTAKE를 ANIMAL_ID순으로 정렬하되, NAME이 NULL인 경우 "No name"으로 표시되도록 하라는 문제이다.
IS NULL, IS NOT NULL, IFNULL() 함수에 대해 간단히 알아봅시다.