Aiffel 양재 2기 - 72일차(2022.04.12)
공부 일지
[Going Deeper - NLP]
- BERT pretrained model 제작
- 일반적인 10M 정도의 작은 파라미터 사이즈의 BERT 모델을 만들기
- pretrained model이 어떻게 만들어지는지를 경험
- 수백 MB 수준의 코퍼스 기반으로 pretrain 을 진행
- Tokenizer 준비
- 데이터 전처리 (1) MASK 생성
- 데이터 전처리 (2) NSP pair 생성
- 데이터 전처리 (3) 데이터셋 완성
- BERT 모델 구현
- pretrain 진행
- 프로젝트 : mini BERT 만들기
[애자일소다 기업과제 설명회]
회고
- 이제 GoingDeeper(NLP)과정도 얼마 남지 않았다.
- NLP를 얼른 정리해가며 익히고 곧 하게 될 아이펠 최종 해커톤 준비에 들어가야한다!
- Fighting!!!