# cs224n
[CS224N] Lecture 10 - Transformers and Pretraining
Subword modeling, pretraining model(GPT, BERT, T5, GPT-3)에 대해 알아보자
[CS224N] Lecture 9 - Self- Attention and Transformers
Self-Attention과 Transformer에 대해 알아보자
[CS224N] Lecture 7 - Translation, Seq2Seq, Attention
Machine Translation task, Seq2Seq, Attention에 대해 알아보자
[CS224N] Lecture 6 - Simple and LSTM RNNs
Train/evaluate RNN, vanishing/exploding gradient problem, LSTM, 그리고 bidirectional LSTM에 대해 알아보자
[CS224N] Lecture 5 - Recurrent Neural networks (RNNs)
Neural dependency parsers, graph-based dependency parsers, 그리고 RNN에 대해 알아보자
[CS224N] Lecture 4 - Syntactic Structure and Dependency Parsing
Dependency parsing에 대해 알아보자
[CS224N] Lecture 3 - Backprop and Neural Networks
[CS224N] Lecture 3 - Backprop and Neural Networks
[CS224N]Lecture 2 - Neural Classifiers
Word2vec, optimization, co-occurrence matrix, GloVe model of word vectors, evaluating word vectors, word senses에 대해 알아보자
[CS224N] Lecture 1 : Introduction and Word Vectors
딥러닝에서 word vector의 의미와 word2vec에 대해 알아보자
word2vec/GLOVE
Stanford의 cs224n 강의를 보고 복습차원에서 정리하였습니다. 저번 강의에서는 word2vec에 대해서 주요 개념들을 정리하였습니다. 이번 챕터에서는 저번챕터에 이어 word2vec과 Glove에 대해서 알아보겠습니다. word2vec ▶저번시간 내용 ra
word2vec
Stanford의 cs224n 강의를 보고 복습차원에서 정리하였습니다. 언어라는 것은 지식을 전달하는 매개체로서 인간의 발전을 이끌어 왔고 현대에서도 아주 중요한 역할을 해오고 있습니다. cs224n의 강의는 이러한 인간의 언어를 어떻게 하면 컴퓨터가 인간의 언어를 더
NLP_word2vec(1)
자연어 처리에서 우선적으로 고민해야할 문제는 자연어를 어떻게 컴퓨터가 처리할 수 있도록 만드는가이다. 쉽게 말해 자연어 자체를 컴퓨터가 이해할 수 없으니 인코딩해야하는데 어떤 방식을 취하냐이다. 결국 이 인코딩을 word to vector라고 생각해볼 수 있다. 이
CS 224n : Word Vectors
Stanford의 CS 224n의 첫 강의를 들었다.강의의 전반적 차례 이후 WordNet에 대해 시작했다.모든 word를 one hot vector로 구분할 경우 단어끼리의 연관성을 줄 수 없다.(여기서는 similarity)그렇게 나온 아이디어가 word vect
[CS 224n #7] Locating and Editing Factual Associations in GPT (NeurIPS, 2022)
Summary Goal: GPT 안에서 factual association의 evidence를 찾아라! Approach : Where : 어디에서 중요한 역할을 하는지 찾기 위해 CAUSAL EFFECT ANalysis 적용 How : 어떻게 fact를 Storage 하는지 찾기위해 개발한 ROME (Rank-One Model Editing) 이용해...
[CS224n #5] Dense Passage Retrieval for Open-Domain Question Answering (EMNLP, 2020)
background : QA system은 크게 (1) retrieval (2) reading comprehension 으로 이루어져 있음. 이 논문은 (1) retrieval에 집중!기존 open-domain question answering은 sparse vecto
[CS224n #4] Sequence to Sequence Learning with Neural Networks (NeurIPS, 2014)
0. Summary Background : DNN으로 아직 sequences to sequence 다룬 적 없음 Goal : end-to-end approach to sequence learning Method : LSTM encoder-decoder Experimen
Lecture 1. Introduction and Word Vectors 정리
source : https://www.youtube.com/watch?v=rmVRLeJRkl4&list=PLoROMvodv4rOSH4v6133s9LFPRHjEmbmJ&index=1&t=2671sWordNet (thesaurus containing lists o
[CS224n #3] Topic Modeling - LSA/LDA/ BERTopic
0. Summary Topic modeling : corpus 집합에서 통계적 분석 방식을 사용해서 문서의 context를 담고 있는 유의미한 word를 뽑아내고 representation 만들기. DTM : Document-Term Matrix / 문서 단어 행렬 키워드로 보는 Method LSA : #유사도, #토픽 모델링 아이디어 시초 #SVD ...
[CS224n #1] GloVe: Global Vectors for Word Representation (EMNLP, 2014)
BackgroundWord2vec의 한계 : vector space representation learning의 발달에도 아직 regularities가 아직 부족 (Regularity is the quality of being stable and predictable.