Modifying Memories in Transformer Models

Modifying Memories in Transformer Models
arXiv 2020

분야 및 배경지식

• Factual Knowledge
  • 대량의 데이터셋으로 학습한 Language Model은 구조화되지 않은, non-symbolic 지식창고(knowledge base)로써의 역할 수행 가능
  • LAMA probing method는 BERT와 같은 사전학습된 모델이 factual knowledge를 잘 저장하고 있음을 증명
  • 하지만 일반적인 KB와는 달리 LM은 구조화되어 있지 않기 때문에 querying, inferring, updating 등이 어려움
• Memory Augmented Model
  • edit factual knowledge explicitly
  • factual knowledge를 증진시키기 위해 explicit long-term memory를 활용하는 연구들이 대두
  • 하지만 이러한 방식은 explicit한 메모리와 Transformer 모델의 implicit한 memory에 모순이 생길 경우 성능이 현저히 떨어지며, 수정되지 않은 사실들에 대해 낮은 성능을 보여주는 등의 단점을 가짐

문제

• 모델 내에 implicit(함축적인, 내재적인)하게 저장된 사실적 지식(factual knowledge)을 효율적으로 수정하는 것은 어려움
• 변화하는 세상에서 모델의 지식은 끊임없이 더해지고, 수정되고, 삭제되어야 함

해결책

Constrained Fine-tuning (modification of implicit knowledge)

• 수정될 사실들(modified facts)에 대해서 기존의 모델을 fine-tune
• 동시에 수정되지 않은 사실들(unmodified facts)에 대한 불필요한 수정/개입을 막기 위해 weight에 explicit constraint(제약)을 사용함
• L∞ norm 사용
  • 지식 수정에 있어서 stable result
• 트랜스포머의 일부 블록에 대해서만 fine-tuning
  • 전체 모델을 fine-tuning하는 게 아니라, 트랜스포머의 초기 블록 및 마지막 블록을 fine-tuning
  • initial and final Transformer blocks, 어느 레이어가 가장 적합할지는 모델의 초기 상태와 수정할 fact의 수에 따라 달라질 수 있음
• unmodified facts(수정되지 않을 사실들) 또한 Fine-tuning 과정에서 사용할 수 있으나, 성능에 큰 차이는 없음

의의

• 트랜스포머가 기억하고 있는 사실적 지식의 효율적이고, 신뢰성 있는 수정에 대한 첫 번째 논문 (implicit modification)
• explicit한 방법으로 memory를 수정하는 모델(예: FaE, kNN-LM) 또한 implicit memory와 explicit symbolic memory 사이의 일관성 결여로 지식을 업데이트할 때 잘못된 예측을 할 수 있음을 밝힘 (modifying implicit knowledge is essential for successfully update model!)

한계

• 수정된 사실들의 수가 늘어날수록, 성능이 저하됨
• 새로운 문제 정의와 해결책 제시가 섞여있어, 논문의 concreteness가 떨어짐 (때문에 학회에서 rejected)