# GPT-3
[논문 리뷰] Language Models are Few-Shot Learners (GPT-3, NeurIPS 2020)
GPT-3 Paper review
GPT-3 vs GPT-3.5 vs ChatGPT
ChatGPT가 세계의 뜨거운 관심을 갖게 된 가운데, 생소한 여러 용어들이 튀어나와 각종 언론이나 블로그를 장식하고 있다. 그런데 GPT-3, GPT-3.5, ChatGPT의 차이는 무엇일까?
논문 분석: Language Models are Few-Shot Learners
저번 스터디때 DALL-E 모델 설명을 들었었는데 VAE 개념이나 GPT-3 개념이 제대로 없어서 이해하는게 쉽지 않았다. 그래서 이번 기회에 GPT-3를 확실히 배우고 DALL-E 같은 복합적 모델을 이해해보고자 한다. Background language model
인공지능 예술가 달리2(DALL-E2)로 그림 그리기
그림 그려주는 인공지능 달리는 지난 2021년 1월 OpenAI에서 공개한 인공지능 시스템으로, 자연어로 그림을 묘사하면 그대로 그려주는 기능을 합니다. 올해는 훨씬 더 정확하고 해상도 높은 이미지를 생성하는 달리2를 공개했죠.
[NLP] Large Language Models are Zero-Shot Reasoners
Large Language Models are Zero-Shot Reasoners 논문 리뷰
What Language Model to Train if You Have One Million GPU Hours?
100만 A100 GPU 시간을 사용할수 있을때 100B+의 모델을 학습하기 위한 가장 좋은 구조와 학습 세팅은 무엇인가?
GPT-3 파인튜닝
Large scale 모델의 전체 파라미터를 튜닝하는 것은 많은 비용을 발생새로운 방법론인 In-context Learning, P-tuning, LoRA을 알아보자Few Shot별도의 gradient update 가 없음 (즉, 학습이 없음)Prompt enginee
GPT-3: 모델
GPT-3의 접근 방법은 기존의 GPT-2의 모델, 학습데이터, 학습 방법 등에서 유사하다. 거기서 확장하여, 모델의 사이즈와 데이터의 사이즈를 확대했으며, 데이터의 다양성을 증가했고, 학습 길이도 증가시켰다.
GPT-3: GPT-3가 보이고 싶은 것
GPT-3는 175억개의 파라미터를 `autoregressive language model` 방식으로 학습하므로써 큰 모델이 in-context learning을 하고, zero, one, few-shot 학습을 통해 파인튜닝만큼의 성능을 실험해보고자 했다.
