Sparse representation
단어의 의미를 나누어 이를 벡터의 차원으로 표현한 것
EX>
1차원: 색; 빨강: 0, 노랑: 1
2차원: 모양; 길쭉: 0, 동글: 1
사과: [[0, 1]], 바나나: [[1, 1]]
Distribution hypothesis
좌우 단어가 '유사'한 단어들은 의미가 비슷하다.
Distributed representation
분포가설 아래, 유사한 맥락에서 나타나는 단어들은 가까운 벡터로 표현하는 것
-> 희소표현과는 다르게 단어 간의 유사도를 표현할 수 있다.
Embedding Layer
컴퓨터용 단어 사전
-n개의 단어를 k차원(embedding size)으로 표현 -> embedding table
https://yjjo.tistory.com/18
https://curt-park.github.io/2017-04-03/why-is-lstm-strong-on-gradient-vanishing/
https://medium.com/analytics-vidhya/understanding-embedding-layer-in-keras-bbe3ff1327ce#:~:text=Embedding%20layer%20is%20one%20of,word%20embeddings%20such%20as%20GloVe.
