Abstract

• goal: abstractive summarization system의 수행결과를 human annotation 결과랑 비교해서 long document에 대해 얼마나 잘했는지 평가해본다.
• result: 비교해보니까 ROUGE result에서는 굿이었음. 그러니까 relevant한 요약을 한다는건데, factual에서는 저조함.
• suggestion: factual consistency metrics 방향 제시

Introduction

• A robust abstractive summarization system 조건
  • (i) models that can generate high-quality summaries
  • (ii) evaluation metrics that can critically assess the relevance and factuality of a summary
• 지난 연구 한계
  • 짧은 문장에 대해서만 요약하는 테스크 수행. 또는 long dialogue

---

후기

• SOTA 모델 보는 것도 좋은데, 이런 분석 연구도 읽을 기회 없으니까 같이 보는 거 너무 좋은 것 같다.