딥러닝 : 신경망으로 데이터 패턴을 학습하는 머신러닝의 한 분야
딥러닝 VS 이전의 머신러닝 : 특징 추출을 스스로 하느냐 VS 사람이 하느냐
전이 학습 : 하나의 문제를 해결하는 과정에서 얻은 지식과 정보를 다른 문제를 풀 때 사용
LLM(Large Language Model) : 딥러닝 기반의 언어 모델
언어 모델(Language Model) : 다음에 올 단어를 예측하는 모델
임베딩(Embedding) : 데이터의 의미와 특징을 숫자로 표현한 것
임베딩으로 표현하면 데이터 사이의 거리를 계산 및 관련성을 구분할 수 있다
트랜스포머 VS RNN : 맥락을 그대로 사용 vs 단어를 순차적으로 하나의 잠재 상태에 압축 (2024년 기준 언어 모델은 트랜스포머를 사용)
gpt1 -> gpt3는 모델과 학습 데이터 셋의 크기 차이인데, 성능이 좋아지는 이유는 학습 데이터를 압축하는 과정에서 공통되고 중요한 패턴만 남기는 손실 압축때문
Chat gpt는 추가적인 기술이 포함된다
지도 미세 조정(supervised fine tuning) : 사용자가 요청 또는 지시한 사항과 그에 대한 적절한 응답을 정리한 데이터셋으로 추가적인 학습을 통해 사용자의 요청 의도에 맞추는 것(정렬)
RLHF : 사용자가 더 선호하는 데이터 셋으로 LLM의 답변을 평가하는 리워드 모델을 만들고 LLM이 더 높은 점수를 받을 수 있도록 추가 학습하는데 이때 강화 학습을 사용하기 때문에 Reinforcement Learning From Human Feedback이라고 부른다
RAG(Retrieval Argumentd Generation): 지도 미세 조정 과정에서 LLM이 기존에 알지 못하는 정보가 포함될 경우 환각 현상을 발생시키는데, 검색 증강 생성 기술은 LLM이 답변할 때 필요한 정보를 미리 추가하여 잘못된 정보를 생성하는 문제를 줄인다
.jpg)