[Intel] 3주차 회고록

Intel AI For Future WorkForce 3주차 회고록

주된 내용

이번주는 아주 그냥 CNN을 질릴때까지 사용해 보았다. 처음 들었을 때 막막 하기만 했던 Affine 계층의 이론을 다시금 빠삭하게 잡고 구현하며 이해가 되었던 것처럼, 혼자서 CNN을 공부하다가 이번주도 직접 돌려보니까 이해하기가 좋았던 것 같다.

CNN ?

CNN의 구성은 아래와 같다.

from keras.models import Sequential
from keras.layers import Dense, Conv2D, MaxPooling2D, Flatten

model = Sequential() # 모델 객체 생성
model.add(Conv2D(128, (3, 3), activation="relu", input_shape=(32, 32, 3))
model.add(MaxPooling2D((2, 2))
model.add(Conv2D(64, (3, 3), activation="relu")
model.add(MaxPooling2D((2, 2))
model.add(Flatten())
model.add(Dense(64, activation="relu")
model.add(Dense(4, activation="softmax")

각 층이 어떤 연산을 수행하는지, 연산을 수행하는 과정은 어떠한지, Flatten 층이 어떤 의미였는지, 그 이하 계층들은 어떤 의미를 하는지 등등.. 에 대한 지식들이 확립되니까 쌓여있던 무언가가 해소되는 느낌이었다. 저번 교육과정에서는 그저 막연하게만 잡혀있던 애매한 지식이었는데 이제는 어느정도 나의 것이 된 것 같다.

객체 탐지와 연동

교수님께서는 웹 캠을 가져오셔서 웹 캠으로 직접 데이터를 수집하고 학습하는 과정과, 로봇 팔에도 학습시키는 과정들을 보여주셨다. 확실히 흥미가 좀 떨어지는 분야라서 그런지 자세히 듣지는 못했지만, 쓸 일이 있다면 언젠간 코드를 뜯어서 사용해봐야지.

혼자서 공부했던 것들

솔직히 지금 발표 끝나고 나서 글을 작성하고 있는데 제정신이 아니다. 새벽 4시반까지 전이학습, 앙상블과 싸우다가 패배하고서, 발표가 끝나고 나니까 잠이 막 쏟아지지는 않는다(?)

일단 나름 혼자서 공부했던 것들을 정리해보자.

내용	설명
전이학습	사전에 훈련된 모델을 기반으로 내가 가진 문제에 적용하여 해결하는 행위
미세 조정(fine tuning)	그저 완전연결계층의 가중치만 업데이트 하는 행위라고 생각했는데, 전혀 아니었다. 사전 학습된 모델의 최상위 일부 몇 층(3, 4층 모두 시도해보았지만 효과는그닥...) 까지 동결을 해제해서 조정하는 행위를 일컫는다. 논문 읽느라 토하는줄 알았다
앙상블 학습	머신러닝에서는 RandomForest로만 알고 있었던 앙상블 학습이었지만, 내가 찾아본 내용은 사전 훈련된 모델들을 여러 개 붙여서 학습 효율을 증대하는 성능 개선 기법 이라고 한다. 물론 성공하진 못했다. 영어 자료 싫어.. 언제쯤 습관 들여지나.. 사실 RandomForest도 같은 원리이다. 무수히 많은 양의 의사 결정 트리를 생성하여 좋은 효율을 내는 것이기에.. Model Chaining이라고도 한다

이거 세 개 하는데 왜 그렇게 힘든지..

미니 프로젝트

7/28일 발표날 새벽 4시 반에 잠들게 한 원인(정확히는 미세 조정이랑 전이학습 때문이긴 하다.).. 내가 들었던 피드백은 아래와 같다.

• 1. 모델 성능 개선도 좋지만 해당 주제가 잘 해결될 수 있을 문제인지 판별하는 능력도 중요하다.
• 2. 데이터가 굉장히 중요하다..

물론 데이터가 굉장히 중요함은 엄청나게 깨달았다. 이 전부터도 그래왔고... 역시 데이터 사이언티스트라는 직무가 괜히 따로 있는게 아니구나 싶었다. 수치형 컬럼들에서 인사이트 도출하려면 ... 벌써 어지럽다

빅데이터 분석 기사... 준비해봐...?

발표 코드

https://github.com/LeeHeonWoo1/Intel/blob/master/CNN/dog_emotion_classification/dog_emotion_classification.ipynb

굉장해 엄청나 한 분량으로 인해 링크로 첨부..!

그래도 새벽 4시까지 구르면서 재밌었다. 강화학습이니 전이학습이니 도통 모르겠었던 것들이 하나 둘 씩 알아듣기 시작하니까 하루하루가 재밌다.

느낀점

• 데이터는 굉장해 .. 엄청나 ..
• 어려운것도 일단 부딪혀 보면 언젠간 이해할 수 있는 날이 오지 않을까?
• 이번엔 기간이 3일정도 밖에 되지 않아 정신없이 이것저것 해봤었지만 앞으로는 대강적인 프로젝트 flow를 작성해서 누구든지 피드백을 들어보고 실행으로 옮겨야겠다.
• 아직까지 의문스러운 부분은 많다. 하지만 이제 3주차다. 앞으로 교수님한테 질문 많이해야지 :)