공부 일지

[Going Deeper - NLP]

• BERT pretrained model 제작
  • 일반적인 10M 정도의 작은 파라미터 사이즈의 BERT 모델을 만들기
  • pretrained model이 어떻게 만들어지는지를 경험
  • 수백 MB 수준의 코퍼스 기반으로 pretrain 을 진행
  • Tokenizer 준비
  • 데이터 전처리 (1) MASK 생성
  • 데이터 전처리 (2) NSP pair 생성
  • 데이터 전처리 (3) 데이터셋 완성
  • BERT 모델 구현
  • pretrain 진행
  • 프로젝트 : mini BERT 만들기

[애자일소다 기업과제 설명회]

• 강화학습

회고

• 이제 GoingDeeper(NLP)과정도 얼마 남지 않았다.
• NLP를 얼른 정리해가며 익히고 곧 하게 될 아이펠 최종 해커톤 준비에 들어가야한다!
• Fighting!!!