KLUE 란 ?

- ❓ KLUE

: KLUE(Korean Language Understanding Evaluation)란, 한국어 모델의 성능을 평가하기 위한 일련의 데이터셋. 8가지의 다양하고 대표적인(representative) Task를 포함함.

• 사이트: https://klue-benchmark.com/
• 논문: https://arxiv.org/pdf/2105.09680.pdf

  [3장] KLUE Benchmark
  3.1 Topic Classification (TC)
  3.2 Semantic Textual Similarity (STS)
  3.3 Natural Language Inference (NLI)
  3.4 Named Entity Recognition (NER)
  3.5 Relation Extraction (RE)
  3.6 Dependency Parsing (DP)
  3.7 Machine Reading Comprehension (MRC)
  3.8 Dialogue State Tracking (DST)

[AI Network KR - [AI 모델 탐험기] #11 한국어 자연어 이해 벤치마크 데이터 셋, KLUE]

• https://medium.com/ai-networkkr/%EB%AA%A8%EB%91%90%EC%9D%98-ai-%ED%95%9C%EA%B5%AD%EC%96%B4-%EC%9E%90%EC%97%B0%EC%96%B4-%EC%9D%B4%ED%95%B4-%EB%B2%A4%EC%B9%98%EB%A7%88%ED%81%AC-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%85%8B-klue-eaeab688f035

- 기존의 GLUE(General Language Understanding Evaluation)

• 11개의 Task 관련
• DeepMind, 워싱턴 대학교에서 구축
  

- 8 Task - 데이터셋 구조 및 평가지표에 대한 소개

토픽 분류 (TC), 의미 유사도 (STS), 자연어 추론 (NLI), 개체명 인식 (NER), 관계 추출 (RE), 의존 구문 분석 (DP), 기계 독해 (MRC), 대화 상태 추적 (DST)로 총 8개의 Task에 대해 평가할 수 있는 데이터 셋

cf. MRC란?

• 기계독해(Machine Reading Comprehension)의 줄임말.
  
  

- [스켈터랩스 Blog - MRC 시리즈]

• https://m.blog.naver.com/skelterlabs/222015644741
  
  

• 💡 현재의 검색 엔진 대신 대화형 인공지능 기반의 검색 엔진을 만드는 데에도 활용될 수 있다..!
• (🤔 대화형 AI시스템과 같은 STT 음성인식을 활용하는 서비스에서도 MRC 기반의 검색 엔진을 활용한다면 더 좋은 검색 결과를 가져다 줄 수 있을 것 같다. 특히, 보통 컴퓨터에서 검색할 때처럼 키워드 위주로 끊어서 질문하지 않고, 구어체로 자연어스럽게 질문하기 때문에)