Game & NLP Workshop (at LREC 2022) 구경하기

주요 컨퍼런스들 워크샵들 둘러보면 종종 재밌고 신기한 주제의 워크샵들을 볼 수 있는데 (특히 1회차 워크샵들) 서치하다가 LREC 2022에서 게임이나 게이미피케이션 쪽에서 NLP 주제들을 발굴한 워크샵이 있어서 둘러보았다

무슨 내용의 논문들이 발표되나?

An Analysis of Abusive Language Data Collected through a Game with a Purpose

• 사이버불링이라는 사회문제를 게이미피케이션을 통해 풀어내고자하는 연구. 사이버불링의 주요 타겟이 되는 10대들의 관점을 데이터셋에 반영하기 위해 게이미피케이션을 도입한 연구다.
• 학교를 배경으로한 게임에서 플레이어는 이곳저곳을 돌아디며 두가지 퀘스트를 수행하는데...
• 첫번째 퀘스트는 NPC가 공격적인 대사를 하면 바꿔쓰기
• 두번째 퀘스트는 그래피티가 공격적이면 비누로 지우기
• 이렇게 두가지 퀘스트를 통해 연구팀은 기존의 언어학자들이 한 라벨링 결과와 10대들의 라벨링 결과가 다소 차이가 있다는 걸 발견했는데, 샘플이 70명에서 나온 590개뿐이라 추가 연구가 필요하다고 함 (샘플사이즈 때문에 워크샵에 실린 건가?)

Applying gamification incentives in the Revita language-learning system

• 언어 교육 시스템 내의 참여도 증진을 위한 게이미피케이션에 관련된 논문으로 Revita라는 시스템 내의 게이미피케이션에 대한 소개와 이 요소의 효과를 측정하는 방법를 다룬 논문이다

Less Text, More Visuals: Evaluating The Onboarding Phase in a GWAP for NLP

• Games-with-a-Purpose (GWAP)에서 어떻게 참여도를 높일 수 있을지에 관한 연구. 사용자 경험 분석 쪽 연구였다.
  

How NLP Can Strengthen Digital Game Based Language Learning Resources for Less Resourced Languages

• 게이미피케이션 요소를 도입해서 사라져가는 아일랜드 언어 교육에 사용하고자 한 논문
  

Generating Descriptive and Rules-Adhering Spells for Dungeons & Dragons Fifth Edition

• 유명한 TRPG 게임 중에 던전 앤 드래곤에서 스펠 시스템이라는 게 있다. 대략 캐릭터 스킬 같은 설명글인데, 요즘 잘되는 텍스트 모델을 사용해서 이 스펠을 자동생성해보려는 연구다.
• 우선 데이터셋은 554개 + 2,598개의 기존 스펠을 수집해서 사용 (http://dandwiki.com, https://www.kaggle.com/code/josephstreifel/dnd-spells/data). 이중에서 50개는 별도로 떼서 성능평가용으로 사용했다
• 실험에 사용한 모델은 n-gram 기반 모델, lstm 기반 모델, GPT-2 기반 모델로 BLEU Score 기준으로 GPT-2가 제일 좋은 성능을 보였고, 유저 스터디에서도 사람이 만든것과 GPT-2가 만든게 별 차이가 없었다.

보면서 느낀점들

• 게임을 통해 데이터셋을 확보하려는 Games-with-a-Purpose라는 분야가 꽤나 오래전 부터 있었더라. 논문 내 대부분의 연구들이 이 분야의 논문들. 워크샵 주관자인 Hikaru Yokono 저자분은 찾아보니 마인크래프트 클라이언트 개조해서 대화 데이터셋을 잘 만들려는 연구를 하고 있었다.
• 전반적으로 HCI 학회에서 볼법한 논문들이 많았다
• 마지막 논문은 구현도 간단해 보여서 한번 해볼까하는 생각이 들었음

관련 링크

https://gamesandnlp.com/