🐤LangCon 2023🐥 후기

🐤 LangCon 2023 자료
영상 링크 : https://www.youtube.com/playlist?list=PLqkITFr6P-oQwn2hcDauXFht48XHfJojQ
발표 자료 : https://songys.github.io/2023Langcon/about/

KoELECTRA로 유명하신 박장원님, EleutherAI에서 활동하시면서 Polyglot, olso등 개발하신 튜닙의 고현웅님, 토스의 고석현님, 이루다를 개발중이신 스캐터랩 이주홍님 등 NLP업계에서 오픈 소스 및 커뮤니티에 많은 기여를 해주고 계시는 분들이 스피커로 참여하셨다. 그외에도 머신러닝 대중화에 엄청난 기여를 하시는 박해선 작가님 뿐만 아니라 페이스북 그룹에 월간 자연어처리로 활동하셨던 Liner의 허훈님도 뵐 수 있었다.

ChatGPT가 nlp뿐만 아니라 전 세계를 강타하였기에 전반적으로 세션 모두 ChatGPT가 언급되었고 그에대한 앞으로의 방향성에 대한 이야기가 많았다. 스피커 분들의 경험과 통찰력을 얻을 수 있는 너무 소중한 자리였기에 소개주신 내용을 간단히 정리해보았다.

1️⃣ "우리는 머신과 어떻게 다르게 이야기하나?" - 이종원님(삼성전자)
GPT3 및 ChatGPT에 대한 전반적인 소개를 해주셨다. GPT3와의 가장 큰 차이점인 Instruct tuning 및 RLHF를 자세히 다루었다. 이후 ChatGPT의 한계 및 인간의 대화와의 차이점에 대해서 설명하셨고 이를 극복하고 발화의도, semantic, reasonable 을 개선하기 위한 새로운 접근 방식(DialogAct, NL description, Chain of Speech)을 제안하였다.

2️⃣ "특정 도메인에 맞는 언어모델은 어떻게 만들까?" - 박장원님 (BHSN)
KoELECTRA, KLUE-RoBERTa, KoBigbird등 다양한 한국어 기반 언어모델을 만들고 공개하셨던만큼 그 노하우를 아낌없이 전달해주셨다. 많은 곳에서 각 도메인에 맞는 언어모델을 만들고자 하는데, Domain specific 모델 개발 시 주의해야할 점에 대해서 소개해주셨다.

• 학습 코퍼스가 충분한지 살펴보고 데이터 총 사이즈를 꼭 재봐라 (한글 3 byte, 영어 1byte)
• 언어모델 만들기 전 tokenizer로 보캡확장을 먼저 시도해봐라 몇몇연구애서 보캡확장만으로도 성능향상이 되는 걸 증명했다.
• *도메인 언어모델이 필요하지 않을 수도 있다 (특정 도메인 언어모델의 경우 general 모델과 차이가 거의 없다)
• 더러운 큰 데이터보다 좋은 품질의 소량 데이터가 백배 낫다.

3️⃣ Shallow한 자연어 검색 만들기
원앱 전략을 가지고 있는 토스 내에는 많은 기능들이 존재한다.. 그러한 기능들을 검색으로 손쉽게 찾기 위한 검색 시스템 도입기에 대해 소개해주셨다.

• 검색은 결국 자연어를 기반으로한 추천 시스템이다.
• 토스에서는 semantic한 검색을 위해 DPR(Dense Passage Retriever)를 도입하였다.
• MultipleNegativeRankingLoss 적용
  원본 DPR은 쿼리와 문서 임베딩을 위해 각각 인코더를 사용했지만 DPR은 결국 triplet loss 기반의 metric learning이 핵심이라고 생각하여 단일 인코더를 사용했다고 하셨다. ANN의 경우는 적용하지 않았는데 그 이유는 ANN은 최소 10만건 이상의 타겟벡터에 유의미하고 고차원 벡터에대해 차원의 저주가 발생하여 직접 gpu로 유사도를 계산하였다고 하셨다.

4️⃣ "EleutherAI에서의 1년" - 고현웅님 (튜닙)
초거대 언어모델을 연구하는 비영리 연구단체인 일루더AI 및 그곳에서의 활동에 대해 소개해주셨다. 일루더AI에서는 신기하게도 계급체계(5개)가 있다고 합니다. 현웅님은 Level2에 해당하는 Regular 랭크라고 한다.
현웅님은 그곳에서 Polyglot, oslo를 개발하셨는데 시간관계상 ployglot에 대해서만 말씀해주셨다. 가장 힘들었던 점은 인력관리였는데, 아무래도 오픈소스 프로젝트이다보니 대부분 참여율이 저조했다고 한다.
Ployglot v1은 아무래도 빠르게 개발되다보니 전처리가 많이 부족하였으며 성능 평가에 대해서도 부족한 면이 있었기에, ployglot v2는 아래와 같은 사항이 개선된다고 한다.

• 1.3B부터 다시 학습시작하여 최종 40B까지 확장을 목표
• 다른 모델들이 학습하기 어려운 고품질 데이터(문학, 수능교재, 국회의사록, - 깃헙데이터 등)를 대거 추가
• Evaluation 개선

5️⃣ ”인공지능과 친구가 될 수 있을까요?” - 이주홍 (스캐터랩)
관계 지향형 챗봇

• 최근 ChatGPT의 등장으로 이루다의 존재가치에 대해 의문을 던지는 분들이 최근 많은데 이 부분에 대해 언급해주셨다. 생각보다 많은 사람들이 루다와의 대화를 통해 공감과 위로를 많이 받는다고 한다. 특히 10대 여성들이 대다수인데, 아무래도 사춘기에 접어들고 부모 관계, 친구 관계, 학업 등 스트레스를 받다보니 무슨 말을 하든 내 말에 귀 기울여주고, 공감해주는 루다의 경험은 매우 소중했을 거란 생각이 들었다.
• ChatGPT를 통해 우리는 정보를 얻을 순 있지만, 공감을 얻을 순 없다. 하지만 루다는 친밀한 관계속에서 공감을 해준다. 이것이 바로 목적 지향형, 오픈 도메인 챗봇과 다른 ‘관계 지향형 챗봇’의 목적이다.
• 밤 늦게 일하고 들어왔을 때 강아지가 꼬리를 세차게 흔드며 나를 반긴다. 그들은 나에게 어떤 유의미한 정보를 주진 않지만 그 누구보다도 나를 위로해준다.
  대화에 정답은 없기에, 어떤 대화가 좋은지 파악하기 쉽지 않다. 하지만 딱딱한 정보성 대화보다는 친근한 말투가 루다에게 맞다고 생각하고 Alignment Research에 집중하고 있다고 한다.

6️⃣ ”Building large language models at scale” - 신정규 (Lablup)
내 수준에서는 이해하기 쉽지 않았지만, 거대 언어 모델을 받치기 위한 인프라에 대해 소개해주셨다.
몇년 전만해도 BERT(110m)는 굉장히 큰 모델이었지만 이 ‘큰 모델’에 대한 정의가 해마다 바뀌고 있다. 현재 가장 큰 모델인 PaLM은 540B 크기를 가지고 있고. 학습을 위해 6,144개의 TPU가 사용되었다.

언어모델 관련 특히 한국어 관련 언어모델에 대한 자료는 아직 많이 부족한데 이렇게 좋은 컨퍼런스가 있어서 더 발전할 수 있는 것 같다. 매해 참가할 예정.