ACE(Assistant for Coaching nEgotiation)는 negotiation 기술 향상을 지원하는 인공지능 기반 시스템이다. ACE는 LLM을 기반으로 사용자의 negotiation 실수를 식별하고, 실시간으로 피드백을 제공하며, negotiation 전략 개선을 돕는다.
주요 내용
-
ACE 시스템의 구조 및 기능
- 사용자는 negotiation 시나리오와 목표를 설정하고, 시뮬레이션 negotiation을 진행한 뒤, Turn-Based Feedback과Holistic Feedback을 받는다.
- 주요 피드백 요소:
- first offer, strong counteroffer, including rationale, strategic closing등을 포함한 negotiation의 핵심 요소에 대한 평가
- 발화에서의 언어적 및 수치적 오류 식별 및 수정.
- 시스템은 GPT-4 기반 모델을 활용하며, 실수 탐지와 피드백 생성에 수학적 공식과 개인화된 접근 방식을 사용한다.
- 파일럿 연구 결과
- ACE를 활용한 피드백으로 연구 참가자들의 negotiation 성과와 가격 negotiation 능력이 개선되었다.
- 참가자들은 ACE 피드백이 유용하며, 자신의 negotiation 기술 향상에 긍정적 영향을 미쳤다고 평가했다.
- 모델 성능 및 오류 탐지
- GPT-4와 GPT-4o는 다른 모델들보다 높은 정확도로 negotiation 실수를 탐지했다.
- 가격 추출 작업에서 특히 우수했지만, 숫자 관련 항목에서는 약간의 한계가 있었다.
- 대체 피드백 접근법
- 제로샷 방식의 피드백(이전 데이터를 활용해 개선점을 제시)도 테스트되었으며, 단순한 negotiation에서는 효과적이었다.
- 사용자 실험 및 피드백
- 참가자들은 negotiation 후 feedback을 통해 자신의 전략과 실수를 파악하여 자신의 negotiation 스타일을 더 잘 이해할 수 있었다.
결론
ACE는 negotiation 훈련에 효과적인 도구로, 사용자들이 실수를 개선하고 negotiation 능력을 향상하도록 돕는다. 이 연구는 LLM의 교육 및 훈련 도구로서의 가능성을 보여준다. 그러나 실제 교육 시스템에 적용하기 위해서는 추가적인 사용자 테스트가 필요하다.
NLP 공부하는 사람