부스트캠프 AI NLP 15주차

키워드 추출 실험을 어느 정도 진행했다. 문제와 연관된 키워드를 뽑고 그 중 위키피디아 페이지가 존재하는 비율이 7:3 정도 있었다. 꽤 많은 단어를 모았다고 생각했다. 현재 유효한 데이터가 1600개 정도이고, 데이터 하나 당 5개 키워드를 뽑았으니, 총 8000개

결국 밤을 샜다. reasoning부터 이를 기반으로 키워드 추출, 위키피디아 문서 크롤링 시도까지 했다. 돌고 돌아서 결과가 훨씬 좋아졌긴 하지만, 시간이 무척 촉박했다. 배우는 과정이라고 하지만, 너무 돌아가다보니 좀 화가 나기도하고 짜증나기도 한다. 그렇다고 내가

우선 기존 실험(키워드 별 위키피디아 문서)에 Reasoning을 추가해 시도했다. 하지만 위키피디아 문서 중에 60000자 분량 문서가 있고, 문서 간 길이 격차가 커 실험을 중단했다. gpt 4o mini가 16000 토큰을 제한으로 두고 있으니, 문서 별 요약이

오늘 19:00가 리더보드 마감일이지만, 모델 학습이 20시간 넘게 걸리기 때문에 할 수 있는게 별로 없었다. 우선 프로젝트를 진행하면서 쌓아온 실험과 문제 해결 과정을 정리하기로 했다. 나는 주피터 노트북으로 실험을 진행했는데, 실험 결과와 발전 과정은 노션에 기록했

어제 밤에 코드 정리를 하다가 LCEL(LangChain Expression Language)를 처음 알게 됐다. 정확히는 | 연산자로 체인을 구성하는 건 얼추 알고 있었지만, 여러 개 파이프라인을 하나로 이어 붙이는 방법은 몰랐다. 실험 모듈을 하나의 파이프라인으로