사전 훈련된 언어 모델양방향 언어 모델마스크드 언어모델\-버트 : 2018년에 구글이 공개한 사전 훈련된 모델트랜스포머 사용위키피디아(25억 단어)와 BooksCorpus(8억 단어)와 같은 레이블이 없는 텍스트 데이터로 사전 훈련된 언어 모델레이블이 없는 방대한 데이

트랜스포머 : 2017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 이름처럼 어텐션(Attention)만으로 구현한 모델. RNN을 사용하지 않음. 성능은 R

시퀀스 투 시퀀스 : 이력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 모델ex. 챗봇(질문-대답), 번역기(입력-번역결과), 요약, STT(Speach to Text)내부 : 인코더 + 디코더인코더 : 입력 문장의 모든 단어들을 순차적으로 입력 받은 뒤에 마지막에

합성곱 신경망 : 합성곱층(Convolution layer) + 풀링층(Pooling layer)합성곱층 : 합성곱 연산(CONV)와 그 결과가 ReLU를 지나는 것풀링층 : 합성곱층의 결과가 POOL이라는 구간을 지나가는것 (풀링 연산)다층 퍼셉트론의 한계 : 왼쪽의

임베딩 프로젝터 (enbedding projector) : 데이터 시각화 도구 (구글). 학습한 임베딩 벡터들을 시각화한다.(시각화를 위해서 모델 학습 과정을 끝내고 파일로 저장되어 있어야 함)eng_w2v_metadata.tsv와 eng_w2v_tensor.tsv (

글로브(Global Vectors for Word Representation) : 카운트 기반 + 예측 기반카운트 기반인 LSA와 예측 기반의 Word2Vec을 보완LSA (Latent Semantic Analysis)각 문서에서의 각 단어의 빈도수를 카운트한 행렬을

벡터 또는 행렬의 값이 대부분 0으로 표현되는 방법ex. 원핫 벡터 (정답만 1 나머지 0)한계 : 단어의 개수가 늘어나면 벡터의 차원이 한없이 커진다. (단어 집합이 클수록 고차원 벡터가 됨), 공간적 낭비원핫벡터의 경우 단어가 10000개면 벡터의 차원이 10000

시퀀스 모델 (입출력을 시퀀스 단위로 처리)은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서 다시 은닉층 노드의 다음 계산의 입력으로 보냄.RNN 셀(메모리 셀)은 은닉층에서 활성화 함수를 통해 결과를 내보낸다은닉 상태 (hidden sta