23.07.17(MON)
- 랩실 청소 + 자리이동
- school of ai RL
- RNN, LSTM 공부23.07.18(TUE)
- 순례길 기록
- Journal meeting(BO with discrete variables, diffusion)
- LSTM, Attention 공부
- 3분 딥러닝 ~4챕터Explore(observe = 해당 hyper params로 모델을 한 번 돌려보는 것) the point that acquisition function is max -> find the point that makes cost function have max value
problem of BO in discrete space
- naive BO : normal BO method + round the suggested point
-> it could evaluate the previousl tried point repeatedly
최적의 횟수로 최적의 하이퍼파라미터를 탐색하는 방법
횟수는 줄였지만 observation cost가 크다면 그것도 부담스러울 수 있음
원래 model과 유사한 분포의 가벼운 model을 찾는 방법?
- Attention
structure, parameter가 fix되어 있더라도 함께 들어오는 input들이 무엇인지에 따라 다른 가중치가 발생한다는 점이 신기했는데, 이러한 유연성으로 신경망잉 더욱 고도화되었단 생각이 들었고, 마치 생명체의 진화 과정을 엿본 것 같아서 정말 재미있었다.
23.07.19(WED)
- 어제 지운형 Journal 복습
- attention 논문(절반), related columns 정리
랩런치
23.07.20(THU)
- SNN 회의(10시반~12시)
- cs285 1강 part1
- progress meeting + 인턴 AI 스터디 (2시반~7시)23.07.21(FRI)
- Word2Vec 정리 - 'Attention is all you need' paper review 완료
- 강화학습 논문 세미나 영상
23.07.22(SAT)
- 3분 딥러닝 책 완료 + book review
- 직문수 1,2강 정리23.07.23(SUN)
- 블로그 정리
- 확률론 공부 - 이항/기하/포아송/지수분포 etc...피드백
1. 정리하는 데 너무 많은 시간 투자(attention, 수학 등) -> 완전히 새롭거나 헷갈리는 개념만.
2. 저번주와 마찬가지로 task들이 산만함. 꾸준히 할 것 정하기 (cs285, 공돌이 수학 공부)
Todo :
ERC 모델 기능 추가 + api 작업
강화학습 논문 발표 준비
SNN slayer 라이브러리 분석
CS285 + 공돌이 수학 정리노트 공부
