(PERHAPS) BEYOND HUMAN TRANSLATION: HARNESSING MULTI-AGENT COLLABORATION FOR TRANSLATING ULTRA-LONG LITERARY TEXTS(TRANS AGENT)

개요

• 문제: 기존 기계 번역은 다양한 도메인에서 높은 품질을 보이지만, 문학 번역은 복잡한 언어적 특징과 문화적 뉘앙스 등으로 여전히 도전 과제로 남아 있음.
• 제안:
  • 문학 번역을 위해 설계된 다중 에이전트 프레임워크 TRANSAGENTS.
  • 번역 출판 프로세스를 반영하여 번역 품질을 개선.
• 평가 전략:
  1. MHP (Monolingual Human Preference): 단일 언어 독자의 관점에서 번역 선호도 평가.
  2. BLP (Bilingual LLM Preference): 고급 LLM(GPT-4)을 사용하여 번역본과 원문을 직접 비교.
• 결과:
  • D-BLEU 점수가 낮아도, 평가자와 LLM 모두 TRANSAGENTS의 번역을 사람이 작성한 번역보다 선호.
  • 특히 도메인 지식이 필요한 번역에서 높은 성능.

---

서론

• 현황:
  • 최근 기계 번역은 놀라운 성능을 보였으나, 문학 번역은 복잡한 표현과 문화적 요소로 인해 여전히 어려움.
• 접근 방식:
  • LLM 기반 다중 에이전트 시스템을 활용한 집단 지성을 통해 번역 품질을 향상.
• TRANSAGENTS 소개:
  • CEO, 수석 편집자, 번역가, 현지화 전문가, 교정자 등으로 구성된 팀이 협력.
  • 협업 전략:
    1. Addition-by-Subtraction Collaboration: 정보 수집과 중복 제거를 통해 번역 품질 개선.
    2. Trilateral Collaboration: 액션, 비판, 판단의 세 단계로 구성된 협업 체계.

---

방법론

다중 에이전트 시스템 설계

• 구성원:
  • CEO: 번역 프로젝트 전반 관리 및 팀 구성.
  • 수석 편집자: 번역 품질 관리 및 지침 제공.
  • 주니어 편집자: 세부적인 수정 및 다른 팀원과의 소통.
  • 번역가: 텍스트를 원어에서 대상 언어로 번역.
  • 현지화 전문가: 번역된 텍스트를 문화적 맥락에 맞게 조정.
  • 교정자: 최종 문법 및 언어 오류 수정.
• 프로필 생성:
  • 30개의 가상 에이전트 프로필 생성.
  • 성별, 국적, 학력, 경력, 전문 분야를 세심히 반영하여 실제 번역 환경의 다양성 구현.

협업 전략

1. Addition-by-Subtraction Collaboration:
   • 두 에이전트가 정보 수집과 중복 제거 역할을 나눠 번역 품질을 향상.
   • 반복적인 대화 과정을 통해 최적의 번역 결과 도출.
2. Trilateral Collaboration:
   • Action: 번역 작업 수행.
   • Critique: 작업 결과를 검토하고 피드백 제공.
   • Judgment: 최종 평가를 통해 추가 수정 여부 결정.

번역 워크플로우

• 단계:
  1. 번역
  2. 현지화
  3. 교정
  4. 최종 검토
• 번역 단계:
  • 번역가 → 주니어 편집자 → 수석 편집자 순으로 번역 및 수정 진행.
• 현지화 및 교정 단계:
  • 번역된 텍스트를 문화적 맥락에 맞게 조정하고 언어 오류 수정.
• 최종 검토:
  • 서사적 일관성과 품질 확인.

---

실험 및 데이터셋

1. 모델:
   • LLAMA 7B 모델을 번역 태스크에 맞게 파인튜닝.
   • 평가 모델로 GPT-4와 Google 번역 사용.
2. 데이터셋:
   • WMT2023 테스트 세트 활용.
   • 20편의 웹소설에서 각 소설의 연속된 20개 챕터로 구성된 240개 챕터 번역.

---

결과

• TRANSAGENTS 성능:
  • D-BLEU 점수는 낮지만, 번역 선호도 평가(MHP 및 BLP)에서 높은 점수 기록.
  • 도메인 지식이 요구되는 번역에서 특히 높은 품질.
  • 현대적 장르에서는 일부 한계가 발견됨.

---

결론 및 한계

• 결론:
  • TRANSAGENTS는 문학 번역의 복잡성을 효과적으로 처리하며, 기존 번역 시스템 대비 높은 선호도를 기록.
• 한계:
  • 자동 평가 지표(D-BLEU)와 인간 평가 결과의 불일치.
  • 일부 번역에서 내용 생략 문제 발생.

---

향후 연구 방향

1. 평가 방법 개선:
   • 문학 번역 평가의 주관성을 보완하기 위한 정교한 평가 지표 개발.
2. 협업 전략 최적화:
   • 에이전트 간의 협업 메커니즘 개선.
3. 인간-모델 협업 강화:
   • 인간 번역가와 LLM의 효과적인 협업 구조 설계.