언어 모델(Languagel Model)
: 언어라는 현상을 모델링하고자 단어 시퀀스(문장)에 확률을 할당(assign)하는 모델
- 통계를 이용한 방법
- 인공 신경망을 이용한 방법 (GPR, BERT)
1. 언어 모델(Language Model)
: 가장 자연스러운 단어 시퀀스를 찾아내는 모델
ㄴ 이전 단어들이 주어졌을 때 다음 단어를 예측하도록 하는 것
ㄴ 주어진 양쪽의 단어들로부터 가운데 비어있는 단어를 예측하는 것(BERT)
ㅤ
*언어 모델링(Language Modeling)
: 주어진 단어들로부터 아직 모르는 단어 예측
2. 단어 시퀀스의 확률 할당
a. 기계 번역(Machine Translation)
b. 오타 교정(Spell Correction)
c. 음성 인식(Speech Recognition)
3. 주어진 이전 단어들로부터 다음 단어 예측하기
1) 단어 시퀀스의 확률
P(W) = P(w_1, w_2, w_3, w_4, w_5, ... ,w_n)
- w: 하나의 단어
- W: 단어 시퀀스
- n: 단어 개수
2) 다음 단어 등장 확률
P(wn | w_1, ..., w{n-1})
: n-1개의 단어가 나열된 상태에서 n번째 단어의 확률
ex. 다섯번째 단어의 확률
: P(w_5 | w_1, w_2, w_3, w_4)
4. 언어 모델의 간단한 직관
앞에 나온 단어들을 고려하여 후보가 될 수 있는 여러 단어들에 대해서 확률을 예측해보고, 가장 높은 확률을 가진 단어 선택
connecting the dots