부스트캠프 AI NLP 18주차

오늘은 하루 종일 BERT 논문을 리뷰했다. 트랜스포머 논문보다 수월하게 읽혔다. 우선 BERT에서는 구조적인 설명이 비교적 적어졌다. 그리고, 트랜스포머 기반으로 설계된 모델이기 때문에 트랜스포머 배경지식이 많이 필요했다. 아직 구조를 이해하는 속도가 느려서 이번 논

BERT 논문 리뷰를 마무리했다. 실험을 정말 다양하게 했다고 느꼈다. 다운스트림 테스크 유연성이 좋아서 실험이 다양했던 것 같다. 처음 BERT를 배울 때, \[CLS] 토큰을 그냥 분류 토큰 정도로 받아들였다. 논문에서는 \[CLS] 토큰이 문장 전체를 압축하는(a

최근에 생각이 참 많아진다. 생각이 많을 때마다 하나 씩 풀어내고 싶어서 글을 쓴다. 글을 쓰면서 드는 생각은 1. 내가 완벽하다고 느끼는 생각에도 허점이 많구나 2. 이런 생각이 얼마나 유용할까? 이다. 오늘 회고는 부스트캠프에서 일어난 일이 아닌, 왜 개발자가 되기

기업 해커톤 지망 순위를 정하는데 애를 먹었다.모두 네이버 클라우드를 1순위로 지목했다. 나도 마찬가지였다. 하지만, 클로바 스튜디오를 확인해보니 이야기가 달라졌다. 클로바 스튜디오는 노코드 툴에 가까웠다. 모두 노코드 툴 기반 모델링에서 할 수 있는 작업은 많지 않다

빠르게 밀린 과제와 퀴즈를 해결했다. 아쉬웠다. 시간이 부족하다고 하기에는 너무 게을렀다. 지친 것도 사실이고, 몸과 마음이 그렇게 말하고 있다. 밀린 강의와 할 일은 쌓여서 나중에 해야 할 일로 남아있다. 다시 힘을 얻고 싶은데, 휴식 텀이 짧다. 1월 10일이 오기