10:00 ~ 13:00

강의 내용을 1강부터 꼼꼼히 보고 있다. 프로젝트에서 Exact Match를 모델 평가 기준으로 두는 이유가 궁금했다. 내 생각에는 Exact Match가 평가지표가 된 모델은 범용성이 떨어질 것 같다.

• 추가: 조교님으로 부터 다음과 같은 답변을 받았다

  1. EM이 명확하고, 분석하기 쉬움.
  2. 서비스 측면에서 빠르게 대규모 퀄리티 확인 가능.
     * generative AI 패러다임에서는 qualitative measure가 어려움. → F1, Rouge, BLEU 등 스코어 사용
     * gen AI 패러다임: AI 기반 evaluation 사용 (FLASK, Prometheus)

13:00 ~ 16:00

과제를 수행하면서 HuggingFace 라이브러리의 Trainer 메소드 함수 여럿이 나왔다. 그 동안 이해했다고 생각했는데, 피어세션 때 더 뜯어보니 잘 이해하고 있지 않았다. 내일 피어세션까지 함수가 정확히 어떻게 동작하는지 알아오기로 했다. 프로젝트 베이스라인 코드도 비슷해서 많이 도움될 것 같다.

16:00 ~ 19:00