[Aiffel] 아이펠 68일차 개념 정리 및 회고

1. 개념 정리

용어
N-gram
BLEU

1) 영어 - 스페인어

1. 단어 사전 공유

• 알파벳으로 이루어짐
• 인도유럽어족

2. BLEU (Bilingual evaluation understudy)
   

• 전제: 기계 번역이 전문적인 사람에 의한 번역에 가까울 수록 성능이 좋다.
• NLTK (Natural Language Tool Kit)
• 0~1로 나타내거나 백분율로 나타냄
• 보완
  • N-gram이 0이 나와 BLEU가 너무 커지거나 작아지는 경우
    • SmoothingFunction() 사용: 모든 Precision에 아주 작은 epsilon 값을 더해주는 역할

2) 챗봇

1. 중복 없애기

• set(list()) 사용: 짝이 무너짐. 다른 질문이어도 같은 답변을 하는 경우가 많아서 그 경우를 고려하지 못함
• drop_duplicate(['column명'])을 사용해서 Q열을 기준으로 중복 제거함

2. 회고

이전에 하는 내용이 반복돼서 복습하는 기분이었다. 근데 아직도 트랜스포머가 어떤 구조인진 설명 못한다. going deeper 끝나고 다시 처음부터 복습해야할 거 같다. 근래들어 회고의 대부분 내용이 복습해야할 거 같다여서 좀 그렇긴한데 사실이라 어쩔 수 없다.