1. 스터디 참여
인공지능 동아리
초과 학기가 시작됐다.
조금 늦은 감이 있지만 딥러닝 스터디를 시작하기로 했다.
일단 인공지능 공부하는 동아리에 들어갔는데 인원이 50여 명 정도로 꽤 많았다.
동아리 내부에서 자율적으로 그룹을 꾸려 스터디를 시작하는 형식이다.
나는 밑바닥부터 시작하는 딥러닝 3권 스터디를 하기로 했다.
사실 1, 2권 내용을 완벽하게 모르지만 '어떻게든 되겠지'라는 마음으로 시작했다.
3월 5일에 첫 미팅을 가지고 앞으로의 방향성을 의논했다.
2주에 한 번 모임을 가지고 그 때까지 과제를 구현하기로 했다.
3월 20일이 첫 과제 모임이다.
이 책은 크게 5가지 파트로 되어있다. DeZero 프레임워크 구현을 목표로 한다.
교재 커리큘럼
중요할 걸로 예상되는 내용 : ▶
제1고지 미분 자동 계산
__1단계 상자로서의 변수
__2단계 변수를 낳는 함수
__3단계 함수 연결
__4단계 수치 미분
▶5단계 역전파 이론
▶6단계 수동 역전파
▶7단계 역전파 자동화
__8단계 재귀에서 반복문으로
__9단계 함수를 더 편리하게
__10단계 테스트
제2고지 자연스러운 코드로
__11단계 가변 길이 인수(순전파 편)
__12단계 가변 길이 인수(개선 편)
__13단계 가변 길이 인수(역전파 편)
__14단계 같은 변수 반복 사용
__15단계 복잡한 계산 그래프(이론 편)
__16단계 복잡한 계산 그래프(구현 편)
__17단계 메모리 관리와 순환 참조
__18단계 메모리 절약 모드
▶19단계 변수 사용성 개선
▶20단계 연산자 오버로드(1)
▶21단계 연산자 오버로드(2)
▶22단계 연산자 오버로드(3)
▶23단계 패키지로 정리
__24단계 복잡한 함수의 미분
제3고지 고차 미분 계산
__25단계 계산 그래프 시각화(1)
__26단계 계산 그래프 시각화(2)
▶27단계 테일러 급수 미분
__28단계 함수 최적화
__29단계 뉴턴 방법으로 푸는 최적화(수동 계산)
▶30단계 고차 미분(준비 편)
▶31단계 고차 미분(이론 편)
▶32단계 고차 미분(구현 편)
__33단계 뉴턴 방법으로 푸는 최적화(자동 계산)
__34단계 sin 함수 고차 미분
__35단계 고차 미분 계산 그래프
__36단계 고차 미분 이외의 용도
제4고지 신경망 만들기
__37단계 텐서를 다루다
__38단계 형상 변환 함수
__39단계 합계 함수
__40단계 브로드캐스트 함수
__41단계 행렬의 곱
▶42단계 선형 회귀
▶43단계 신경망
__44단계 매개변수를 모아두는 계층
__45단계 계층을 모아두는 계층
__46단계 Optimizer로 수행하는 매개변수 갱신
▶47단계 소프트맥스 함수와 교차 엔트로피 오차
▶48단계 다중 클래스 분류
▶49단계 Dataset 클래스와 전처리
__50단계 미니배치를 뽑아주는 DataLoader
▶51단계 MNIST 학습
5고지는 GPU 연산이 들어가서 안 할 예정이다.
2. 계획/다짐
현재 python 수업이랑 리눅스 수업을 듣고 있기 때문에
수업에서 배운걸 리마인드하기에도 좋은 것 같다.
부전공을 늦게 시작해서 조급해지기도 하지만, 오히려 기초를 다지기에도 좋다고 생각한다.
다행인 점은 학교 수업이 생각했던 것보다는 괜찮아서 다른 활동을 할 에너지가 있는 것 같다.
