프로젝트 막바지에 할 일이 엄청 많아져서 늦은 회고를 쓴다.
기록은 짧게, 그리고 꾸준히! 제발...

10:00 ~ 13:00

다른 팀원들이 Reader 모듈 전반적으로 보완하고 있기에 나는 방향을 바꿔서 Reader 모델을 아예 Llama2로 대체하는 시도를 했다. 근데 무척이나 오래 걸렸다.. 10:30분에 시작했는데 점심 먹도록 종료가 안 됨..

그 사이에 랩업 리포트 초안을 작성하고 내가 실험한 내용과 제안한 내용을 정리했다. 팀원별로 맡은 역할을 태그해서 공간을 마련해줬다. 작성하면서 새삼 이전 프로젝트에 비해 많이 성장했다는 것을 깨달았다! 고통스럽긴 했는데, 편안한 성장은 없으니깐 :) 고통마저 즐길 수 있기를!

13:00 ~ 16:00

Llama2로 Reader 대체 결과가 나왔다. 솔직히 현재 프로젝트는 Token Classification이라 LLM을 사용하는게 어불성설이긴 하다. 그래도 무모한 실험 한 번 해보고 싶었다. Closed-book ODQA 모델에서 LLM을 지식 저장소 역할로 하는데 혹시나 했다. 프롬프트를 깎고 또 깎았다. 일단 Tree-of-Thoughts 기법을 활용했다. 가장 큰 문제는 정확한 답변으로 추론하긴 했으나, 영어로 출력돼 EM과 F1 score가 매우 낮았다. 0.05 정도 됐다...

이거 잘 깎으면 어찌저찌 나오겠는데?라는 희망으로 재귀 함수로 만들어 재실험을 진행했다. 하지만, 너무 오래걸렸고, 정확도도 눈으로 보기에 오히려 하락했다. LLM 가설을 폐기하고 역시 안 되는 작업에는 이유가 있다는 것을 새삼 느끼게 됐다. 무모한 도전으로 나는 많은 지식과 인사이트를 얻었다! 마음껏 무모해질 수 있어서 다행이다. 직장이었으면 많이 혼났을 것 같다.

중간에 간단하게 코드 리뷰를 진행했다. 다른 팀원들 현황이 공유가 안 돼 현황 공유를 재촉한 면도 있었지만 그와 별개인데 코드 리뷰를 너무 등한시 했었다. 그러나 다른 팀원들이 코드 리뷰를 더 해줬으면 좋았을 것 같다. 다들 부끄럼이 많다... 그냥 물어봐도 되는데... 저 질문 받는거 좋아해요. 바빠서 문제이지만...

16:00 ~ 19:00

오늘 실험을 전부 기록했다. 기록을 하면서 인사이트를 자세히 제시하고 향후 랩업 리포트를 보완에 용이하도록 정리했다. 근데 쓰면서도 찔린 게 너무 직관적이고 주관적인 해석이 대다수였다. 어떻게 하면 정량적인 평가지표를 삼을 수 있을까?