# cs224n

95개의 포스트

[CS224N] Lecture 10 - Transformers and Pretraining

Subword modeling, pretraining model(GPT, BERT, T5, GPT-3)에 대해 알아보자

2023년 3월 19일
·
0개의 댓글
·

[CS224N] Lecture 9 - Self- Attention and Transformers

Self-Attention과 Transformer에 대해 알아보자

2023년 3월 16일
·
0개의 댓글
·

[CS224N] Lecture 8 - Attention revisited

Attention에 대해 알아보자

2023년 3월 13일
·
0개의 댓글
·

[CS224N] Lecture 7 - Translation, Seq2Seq, Attention

Machine Translation task, Seq2Seq, Attention에 대해 알아보자

2023년 3월 13일
·
0개의 댓글
·

[CS224N] Lecture 6 - Simple and LSTM RNNs

Train/evaluate RNN, vanishing/exploding gradient problem, LSTM, 그리고 bidirectional LSTM에 대해 알아보자

2023년 3월 12일
·
0개의 댓글
·

[CS224N] Lecture 5 - Recurrent Neural networks (RNNs)

Neural dependency parsers, graph-based dependency parsers, 그리고 RNN에 대해 알아보자

2023년 3월 8일
·
0개의 댓글
·

[CS224N] Lecture 4 - Syntactic Structure and Dependency Parsing

Dependency parsing에 대해 알아보자

2023년 3월 6일
·
0개의 댓글
·

[CS224N] Lecture 3 - Backprop and Neural Networks

[CS224N] Lecture 3 - Backprop and Neural Networks

2023년 3월 3일
·
0개의 댓글
·

[CS224N]Lecture 2 - Neural Classifiers

Word2vec, optimization, co-occurrence matrix, GloVe model of word vectors, evaluating word vectors, word senses에 대해 알아보자

2023년 2월 28일
·
0개의 댓글
·

[CS224N] Lecture 1 : Introduction and Word Vectors

딥러닝에서 word vector의 의미와 word2vec에 대해 알아보자

2023년 2월 27일
·
0개의 댓글
·
post-thumbnail

word2vec/GLOVE

Stanford의 cs224n 강의를 보고 복습차원에서 정리하였습니다. 저번 강의에서는 word2vec에 대해서 주요 개념들을 정리하였습니다. 이번 챕터에서는 저번챕터에 이어 word2vec과 Glove에 대해서 알아보겠습니다. word2vec ▶저번시간 내용 ra

2023년 2월 4일
·
0개의 댓글
·
post-thumbnail

word2vec

Stanford의 cs224n 강의를 보고 복습차원에서 정리하였습니다. 언어라는 것은 지식을 전달하는 매개체로서 인간의 발전을 이끌어 왔고 현대에서도 아주 중요한 역할을 해오고 있습니다. cs224n의 강의는 이러한 인간의 언어를 어떻게 하면 컴퓨터가 인간의 언어를 더

2023년 2월 1일
·
0개의 댓글
·
post-thumbnail

NLP_word2vec(1)

자연어 처리에서 우선적으로 고민해야할 문제는 자연어를 어떻게 컴퓨터가 처리할 수 있도록 만드는가이다. 쉽게 말해 자연어 자체를 컴퓨터가 이해할 수 없으니 인코딩해야하는데 어떤 방식을 취하냐이다. 결국 이 인코딩을 word to vector라고 생각해볼 수 있다. 이

2023년 1월 15일
·
0개의 댓글
·
post-thumbnail

CS 224n : Word Vectors

Stanford의 CS 224n의 첫 강의를 들었다.강의의 전반적 차례 이후 WordNet에 대해 시작했다.모든 word를 one hot vector로 구분할 경우 단어끼리의 연관성을 줄 수 없다.(여기서는 similarity)그렇게 나온 아이디어가 word vect

2022년 12월 5일
·
0개의 댓글
·

[CS 224n #7] Locating and Editing Factual Associations in GPT (NeurIPS, 2022)

Summary Goal: GPT 안에서 factual association의 evidence를 찾아라! Approach : Where : 어디에서 중요한 역할을 하는지 찾기 위해 CAUSAL EFFECT ANalysis 적용 How : 어떻게 fact를 Storage 하는지 찾기위해 개발한 ROME (Rank-One Model Editing) 이용해...

2022년 11월 20일
·
0개의 댓글
·

[CS224n #5] Dense Passage Retrieval for Open-Domain Question Answering (EMNLP, 2020)

background : QA system은 크게 (1) retrieval (2) reading comprehension 으로 이루어져 있음. 이 논문은 (1) retrieval에 집중!기존 open-domain question answering은 sparse vecto

2022년 11월 1일
·
0개의 댓글
·

[CS224n #4] Sequence to Sequence Learning with Neural Networks (NeurIPS, 2014)

0. Summary Background : DNN으로 아직 sequences to sequence 다룬 적 없음 Goal : end-to-end approach to sequence learning Method : LSTM encoder-decoder Experimen

2022년 10월 26일
·
0개의 댓글
·
post-thumbnail

Lecture 1. Introduction and Word Vectors 정리

source : https://www.youtube.com/watch?v=rmVRLeJRkl4&list=PLoROMvodv4rOSH4v6133s9LFPRHjEmbmJ&index=1&t=2671sWordNet (thesaurus containing lists o

2022년 10월 3일
·
0개의 댓글
·

[CS224n #3] Topic Modeling - LSA/LDA/ BERTopic

0. Summary Topic modeling : corpus 집합에서 통계적 분석 방식을 사용해서 문서의 context를 담고 있는 유의미한 word를 뽑아내고 representation 만들기. DTM : Document-Term Matrix / 문서 단어 행렬 키워드로 보는 Method LSA : #유사도, #토픽 모델링 아이디어 시초 #SVD ...

2022년 9월 21일
·
0개의 댓글
·

[CS224n #1] GloVe: Global Vectors for Word Representation (EMNLP, 2014)

BackgroundWord2vec의 한계 : vector space representation learning의 발달에도 아직 regularities가 아직 부족 (Regularity is the quality of being stable and predictable.

2022년 8월 16일
·
0개의 댓글
·