Story Generation 스터디 리소스 정리 (2022 Summer)

Jiwon Kang·2023년 2월 24일

Generation NLP 논문읽기

Story Generation Study (2022 Summer)

목록 보기

2/2

글을 열면서

아직 해결되지 않은 연구주제들에 치여 연 스토리 제너레이션 세미나 발표자료들을 정리한 글
당시 노션으로 페이지를 하나 만들어서 스터디원 모집과 리소스 관리를 했는데, 그 자료를 벨로그에도 아카이빙해두려 한다.

DSAIL@SKKU
Summer Seminar - Story Generation
2022.

운영목표

Story Generation이라는 넓은 범위의 주제를 어떻게 기술적으로 정의하고, 풀어가는지를 알아봅니다
Generation에 기반한 Novel한 아이디어를 접하고, Novel한 아이디어를 생각해내봅시다
Story는 event, actor, narrative로 구성되는 줄글을 의미합니다.

운영계획

발표자료: velog 기술블로그를 만들어서, 작성한 블로그 글을 바탕으로 발표를 진행합니다. 슬라이드+대본을 따로 만드는 번거로움을 줄이고, 추후 자신의 스터디를 아카이빙하기 위함입니다.
NLP 기반 모델을 주로 봅니다. 대화 형태의 모델이 포함될 수 있지만, 대화가 초점인 스터디는 아닙니다.
익숙하지 않은 생성 Task들에서 Evaluation이 어떻게 진행되는지도 중요하게 확인해봅시다.
특별한 이유가 없는 한 2020년 이후의 논문들에 초점을 맞춥니다.
논문은 게재 날짜 기준으로 발표합니다. 연구의 흐름을 시간 순서대로 파악하기 위함입니다.
1회 스터디에서는 논문 세개를 각자 다른 사람이 발표하며, 이 논문 세개를 정리해서 코멘트를 해줄 메타리뷰 1명도 발표합니다. 메타리뷰어는 그날 발표의 사회자를 맡고, 발표를 정리해주는 역할도 겸합니다.
발표시간은 15-30분으로 진행합니다.

논문 선정 기준

Automatic Story Generation: A Survey of Approaches에 인용된 논문 혹은 인용된 논문 저자의 최신 논문
ACL, EMNLP, NAACL, ICCV, CVVR, IJCAI, AAAI 등 탑 컨퍼런스에 실린 논문 위주로 살펴봐주세요.

1. [6/29] Fundamental of Text Generation (hosted by Jiwon Kang)

Generation에 사용되는 여러 기술을 짚고 넘어가면 좋겠지만, 가장 많이 보이는 GPT를 읽어보는 시간을 지닙시다. 이외에 관련 도메인은 knowlege graph, commensense 등이 있습니다.
- 강미경: GPT-1 - Improving Language Understanding by Generative Pre-Training (2018) [⭐️blog link]
- 이다은: GPT-2 - Language Models are Unsupervised Multitask Learners (2019)
- 손세정: GPT-3 - Language Models are Few-Shot Learners (2020) [⭐️blog link]
- Meta Review: 강지원

2. [7/6,20] Story Generation & Story Completion (hosted by Jiwon Kang)

스토리 생성 테스크 관련 연구들을 살펴봅니다. 아래 논문들은 추가 검수 후 변경될 수 있습니다.
- 스토리 생성 테스크는 기본적으로 조건이 걸려있는 생성 테스크!
- 그럴싸하게 만드는것, 스토리는 기본적으로 long dependecy라는 점이 해당 task의 주요 챌린지로 등장함
Readling List
- 인용많음 - [commonsense] A Corpus and Cloze Evaluation for Deeper Understanding of Commonsense Stories (NAACL, 2016) [⭐️blog link]
  - TL;DR: 스토리 생성 및 commonsense 연구에서 자주 쓰이는 평가방법 중 하나인 Story Cloze Test을 제안한 논문. 해당 테스트는 스토리 엔딩 완성 테스크를 multiple-choice task로 규정함
- 인용많음 - [event] Event Representations for Automated Story Generation with Deep Neural Nets (AAAI, 2018) [⭐️blog link]
  - TL;DR: event라는 개념을 도입해서, Open story generation을 문제를 해결하고자 한 논문, 추후 event라는 개념은 후속 연구들에도 등장함
- [Storyline planing] Plan-and-write: Towards better automatic storytelling (AAAI, 2019) [⭐️blog link]
  - TL;DR: 주어진 title에 스토리 플롯을 나타내는 storyline을 추가해서 스토리를 생성하는 방법론을 제안
  - 후속연구: A Character-Centric Neural Model for Automated Story Generation
- 인용많음 - Strategies for structuring story generation (ACL, 2019) [⭐️blog link]
  - TL;DR: 순차적인 텍스트 생성 테스크와는 다르게, 주어진 stroy prompt에 대한 스토리 작성 과정을 entity를 이용해서 decomposition하여 짧은 이야기를 생성하는 방법을 제안
- [event] Story Realization: Expanding Plot Events into Sentences. (AAAI, 2020) [⭐️blog link]
  - TL;DR: 앙상블 방식을 추가한 위의 event 논문의 후속연구.
- [Stroy ending generation task] Toward Better Storylines with Sentence-Level Language Models (ACL, 2020) [⭐️blog link]
  - TL;DR: 이제서야 LM이 등장합니다. 스토리 생성 테스크를 간단하게 바꿔서 주어진 문장에 대해 LM이 다음문장으로 제공하는 여러 후보군 중에서 가장 좋은 문장을 선택하는 문제로 바꿈.
- [Stroy ending generation task] Story Ending Generation with Incremental Encoding and Commonsense Knowledge. (AAAI, 2019)
  - TL;DR: Story Cloze model(NAACL, 2016)을 생성모델 내부로 가져와서 story ending generation을 위한 모델을 제안함. 모델에는 LSTM, knowledge graph, graph attention 등의 모듈들이 사용됨.
- [Story ending generation] Story ending generation with multi-level graph convolutional networks over dependency trees (AAAI, 2021)
  - TL;DR: dependency tree를 이용한 story ending generation task 수행
- Outline-Conditioned Generation with Dynamic Plot State Tracking (EMNLP, 2020)
- [commonsense] Automated storytelling via causal, commonsense plot ordering (AAAI, 2021)
  - TL;DR: 주어진 플롯라인에서 그래프를 생성해서 이를 바탕으로 스토리를 만들어내는 TASK 제안 및 수행

3. [7/27,8/3] Text Generation with Condition (hosted by Jiwon Kang)

스토리 생성 테스크에서 특정 조건(gender, user input data… )이 포함된 논문들을 살펴봅니다.
Readling List
- A Character-Centric Neural Model for Automated Story Generation (AAAI, 2020) [⭐️blog link]
  - TL;DR: Seq2seq 구조에 캐릭터 임베딩, 간단한 MLP 구조의 액션 predicting 모듈을 추가해서 스토리가 각 캐릭터를 고려해서 진행되도록하는 모델을 설계함.
- MEGATRON-CNTRL: Controllable story generation with external knowledge using large-scale language models. (EMNLP, 2020) [⭐️blog link]
  - TL;DR: seq2seq에서 키워드와 사전지식을 더해서 생성하는 텍스트를 제어하는 방법을 제안함
- Stylized Story Generation with Style-Guided Planning (EMNLP Finding, 2021) [⭐️blog link]
  - TL;DR: 주어진 emotion과 event를 조건으로 스토리를 생성하는 모델을 제안한 논문
- Inducing Positive Perspectives with Text Reframing (ACL, 2022)**
  - TL;DR: 스토리 제너레이션보다는 텍스트 스타일 트랜스퍼에 가까움. 심리학적 연구배경에서 출발해서 주어진 텍스트를 긍정적으로 바꿔쓰는 모델을 제안
- Generating Biographies on Wikipedia: The Impact of Gender Bias on the Retrieval-Based Generation of Women Biographies (ACL, 2022)
- Genre-Controllable Story Generation via Supervised Contrastive Learning(WWW, 2022)
  - TL;DR: 트랜스포머 모듈을 기반으로 특정 장르에 대한 스토리를 만들어내는 알고리즘을 제안. 평가를 다양하게 함.
- Reinforce Learning: How to Motivate Your Dragon: Teaching Goal-Driven Agents to Speak and Act in Fantasy Worlds (NAACL, 2021)

Visual storytelling은 일련의 이미지가 주어졌을 때, 그에 상응하는 Stories for Images in Sequence를 생성하는 태스크입니다.
Readling List
- Visual storytelling (NAACL, 2016)
  - TL;DR: Visual Storytelling의 개념을 처음으로 제안하였으며, 대부분의 후속논문에서 사용하는 VIST Dataset을 제안한 논문.
- [Graph-based representations][Storytelling from an Image Stream Using Scene Graphs] (AAAI, 2020)
  - TL;DR: high-quality story를 생성하기 위하여, 기존 연구의 이미지 임베딩 방식처럼 CNN을 통해 추출한 이미지 피처를 그대로 사용하는 것이 아닌, grapg-based sementic embedding 방식을 제안하는 논문. 각 오브젝트들의 visual relationships을 포함하는 scene graph를 생성
- [Bridging the visual gap][Hide-and-Tell: Learning to Bridge Photo Streams for Visual Storytelling] (AAAI, 2020)
  - TL;DR: Input으로 주어지는 Sequence in Image 중, missing part로 인해 발생한 visual gap을 연결하도록 하는, 자연스러운 narrative를 갖는 story를 생성하는 것
- [Clip-art dataset][AESOP: Abstract Encoding of Stories, Objects, and Pictures] (ICCV, 2021)
  - TL;DR: Story generation 혹은 Visual generation을 할 수 있는 새로운 clip-art Dataset을 제안하는 논문입니다.
- [Diversity incresing][Commonsense knowledge aware concept selection for diverse and informative visual storytelling](https://ojs.aaai.org/index.php/AAAI/article/view/16184) (AAAI, 2021)
  - TL;DR: 생성되는 story의 다양성을 증진시키기 위하여 새로운 모듈을 제안하는 연구입니다. 이 과정에서 commonsense knowledge graph 를 활용하게 됩니다.
- [Human ranking dataset&metric][Learning to Rank Visual Stories from Human Ranking Data] (ACL, 2022)
  - TL;DR: 기존에 널리 쓰이던 VIST 데이터셋에서, 사람이 평가한 ranking results를 적용한, 새로운 데이터셋(VHED)와 메트릭(Vrank)을 제안하는 논문입니다.

5. [8/17] Text Generation with Human-AI System → SKIP

발표자가 관심분야를 직접 선택합니다.
Example papers
- Understanding Iterative Revision from Human-Written Text (ACL 2022)
- Read, Revise, Repeat: A System Demonstration for Human-in-the-loop Iterative Text Revision (ACL Workshop 2022)
- Generating Fact Checking Briefs (EMNLP, 2020)
- Choose Your Own Adventure: Paired Suggestions in Collaborative Writing for Evaluating Story Generation Models (NAACL, 2021)
- The style-content duality of attractiveness: Learning to write eye-catching headlines via disentanglement (AAAI, 2021)
- Cue Me In: Content-Inducing Approaches to Interactive Story Generation (AACL, 2021)

6. [8/24] Expand Text Generation System with Your Reserach Interest: 포스트모텀

스터디 회고와 자신의 주제에 적용할만 한 아이디어 소개를 참여자 모두가 진행합니다. 발표는 10분 정도.
Example Papers for Educational QA System
- Educational Question Generation of Children Storybooks via Question Type Distribution Learning and Event-Centric Summarization (ACL, 2022)
- Fantastic Questions and Where to Find Them: FairytaleQA – An Authentic Dataset for Narrative Comprehension (ACL, 2022)
- It is AI’s Turn to Ask Humans a Question: Question-Answer Pair Generation for Children’s Story Books (ACL, 2022)

포스트모텀 (updated: 2023/2/24)

텍스트 생성 자체는 쉽지만 특정 플롯이라는 세계관, 캐릭터 등이라는 조건 안에서 만드는게 엔지니어적으로 챌린지한 일인듯
2023년 ChatGPT 공개 이후 (너무 잘되고! 미국 출판사에 이걸로 쓴 소설이 넘쳐나고!) 이 스터디와 연구주제를 생각보니 이 연구주제에 대해 한번 더 생각해봐야하는 시점이라고 생각함