https://wikidocs.net/33520
word embedding = 단어를 벡터로 표현하는 방법으로, 단어를 밀집 표현으로 변환
중심단어의 주위의 단어를 예측하도록 학습한다 https://ronxin.github.io/wevi/
고차원의 feature를 저차원으로 embedding 하는 것은 아직까지도 많이 쓰이는 기법입니다. 이 때나온 word2vec을 시작으로 다양한 기법들이 나왔는데요. 최근에는 facebook에서 공개한 data2vec이 이 모든 방법을 집대성한 느낌입니다. 한 번 보시면 좋을 것 같아요. https://ai.facebook.com/research/data2vec-a-general-framework-for-self-supervised-learning-in-speech-vision-and-language/
고차원의 feature를 저차원으로 embedding 하는 것은 아직까지도 많이 쓰이는 기법입니다. 이 때나온 word2vec을 시작으로 다양한 기법들이 나왔는데요.
최근에는 facebook에서 공개한 data2vec이 이 모든 방법을 집대성한 느낌입니다. 한 번 보시면 좋을 것 같아요.
https://ai.facebook.com/research/data2vec-a-general-framework-for-self-supervised-learning-in-speech-vision-and-language/