# GPT-3

13개의 포스트
post-thumbnail

GPT-3 vs GPT-3.5 vs ChatGPT

ChatGPT가 세계의 뜨거운 관심을 갖게 된 가운데, 생소한 여러 용어들이 튀어나와 각종 언론이나 블로그를 장식하고 있다. 그런데 GPT-3, GPT-3.5, ChatGPT의 차이는 무엇일까?

2023년 2월 16일
·
6개의 댓글
·
post-thumbnail

논문 분석: Language Models are Few-Shot Learners

저번 스터디때 DALL-E 모델 설명을 들었었는데 VAE 개념이나 GPT-3 개념이 제대로 없어서 이해하는게 쉽지 않았다. 그래서 이번 기회에 GPT-3를 확실히 배우고 DALL-E 같은 복합적 모델을 이해해보고자 한다. Background language model

2023년 2월 15일
·
0개의 댓글
·
post-thumbnail

GPT-3 논문 리뷰

Language Models are Few-Shot Learners(2020) 논문을 읽고 내용 요약 및 정리

2022년 9월 20일
·
0개의 댓글
·
post-thumbnail

인공지능 예술가 달리2(DALL-E2)로 그림 그리기

그림 그려주는 인공지능 달리는 지난 2021년 1월 OpenAI에서 공개한 인공지능 시스템으로, 자연어로 그림을 묘사하면 그대로 그려주는 기능을 합니다. 올해는 훨씬 더 정확하고 해상도 높은 이미지를 생성하는 달리2를 공개했죠.

2022년 7월 19일
·
1개의 댓글
·
post-thumbnail

[NLP] Large Language Models are Zero-Shot Reasoners

Large Language Models are Zero-Shot Reasoners 논문 리뷰

2022년 6월 17일
·
0개의 댓글
·
post-thumbnail

What Language Model to Train if You Have One Million GPU Hours?

100만 A100 GPU 시간을 사용할수 있을때 100B+의 모델을 학습하기 위한 가장 좋은 구조와 학습 세팅은 무엇인가?

2022년 6월 12일
·
0개의 댓글
·
post-thumbnail

GPT-3 파인튜닝

Large scale 모델의 전체 파라미터를 튜닝하는 것은 많은 비용을 발생새로운 방법론인 In-context Learning, P-tuning, LoRA을 알아보자Few Shot별도의 gradient update 가 없음 (즉, 학습이 없음)Prompt enginee

2022년 4월 14일
·
0개의 댓글
·
post-thumbnail

GPT-3: 모델

GPT-3의 접근 방법은 기존의 GPT-2의 모델, 학습데이터, 학습 방법 등에서 유사하다. 거기서 확장하여, 모델의 사이즈와 데이터의 사이즈를 확대했으며, 데이터의 다양성을 증가했고, 학습 길이도 증가시켰다.

2020년 6월 24일
·
0개의 댓글
·
post-thumbnail

GPT-3: GPT-3가 보이고 싶은 것

GPT-3는 175억개의 파라미터를 `autoregressive language model` 방식으로 학습하므로써 큰 모델이 in-context learning을 하고, zero, one, few-shot 학습을 통해 파인튜닝만큼의 성능을 실험해보고자 했다.

2020년 6월 19일
·
0개의 댓글
·
post-thumbnail

GPT-3: 사전학습과 파인튜닝 패러다임을 넘어서

GPT-3, 사전학습과 파인튜닝 패러다임을 넘어서

2020년 6월 17일
·
0개의 댓글
·
post-thumbnail

GPT-3: 들어가기 전에

GPT-3 들어가기 전에

2020년 6월 17일
·
1개의 댓글
·