# Language Model

36개의 포스트

OPT: Open Pre-trained Transformer Language Models

OPT: Open Pre-trained Transformer Language Models, arXiv 2022

2023년 9월 15일
·
0개의 댓글
·
post-thumbnail

BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

2023년 7월 6일
·
0개의 댓글
·
post-thumbnail

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv 2018

2023년 7월 4일
·
0개의 댓글
·
post-thumbnail

[GPT] Improving Language Understanding by Generative Pre-Training

Improving Language Understanding by Generative Pre-Training

2023년 7월 4일
·
0개의 댓글
·
post-thumbnail

[Transformer] Attention Is All You Need

Attention Is All You Need, NIPS 2017

2023년 5월 31일
·
0개의 댓글
·

Sparks of Artificial General Intelligence: Early experiments with GPT-4

Sparks of Artificial General Intelligence: Early experiments with GPT-4, arXiv 2023

2023년 5월 30일
·
0개의 댓글
·
post-thumbnail

TempLM: Distilling Language Models into Template-Based Generators

TempLM: Distilling Language Models into Template-Based Generators, arXiv 2022

2023년 5월 23일
·
0개의 댓글
·

Mind the Gap: Assessing Temporal Generalization in Neural Language Models

Mind the Gap: Assessing Temporal Generalization in Neural Language Models, NeurIPS 2021 Spotlight

2023년 5월 15일
·
0개의 댓글
·

LLaMA: Open and Efficient Foundation Language Models

LLaMA: Open and Efficient Foundation Language Models, arXiv 2023

2023년 5월 3일
·
0개의 댓글
·

[T0] Multitask Prompted Training Enables Zero-Shot Task Generalization

Multitask Prompted Training Enables Zero-Shot Task Generalization, ICLR 2022

2023년 5월 1일
·
0개의 댓글
·
post-thumbnail

chatGPT가 어떻게 개발자를 대체하게 될까

코드를 만들어달라고 할 필요도 없다. 언어모델이 비즈니스 로직의 주체가 될 수 있다.

2023년 1월 31일
·
0개의 댓글
·

RoBERTa: A Robustly Optimized BERT Pretraining Approach

RoBERTa: A Robustly Optimized BERT Pretraining Approach, Facebook AI

2023년 1월 25일
·
0개의 댓글
·
post-thumbnail

BLEURT: Learning Robust Metrics for Text Generation

BLEURT: Learning Robust Metrics for Text Generation, ACL 2020

2023년 1월 25일
·
0개의 댓글
·
post-thumbnail

Neural Text Generation with Unlikelihood Training

Neural Text Generation with Unlikelihood Training, ICLR 2020

2023년 1월 16일
·
0개의 댓글
·
post-thumbnail

T0 (V. Sanh et al., 2022, ICLR)

Multitask Prompted Training Enables Zero-Shot Task Generalization 논문 리뷰

2022년 11월 8일
·
1개의 댓글
·
post-thumbnail

SLiC (Zhao et al., 2022, arXiv)

Google의 SLiC 논문 리뷰 (preprint, 2022)

2022년 11월 8일
·
0개의 댓글
·
post-thumbnail

KoGPT 써보기

KoGPT는 2021년 카카오브레인에서 발표한 GPT-3 한국어 버젼이다. 언어모델을 써야하는 일이 있어 써보기로 했다.... 근데 어떻게 쓰는거지?

2022년 6월 29일
·
0개의 댓글
·
post-thumbnail

[Review] Improving Language Understanding by Generative Pre-Training (GPT-1)

DSAIL 스토리 제너레이션 스터디 발표 자료 <GPT-1>

2022년 6월 29일
·
0개의 댓글
·
post-thumbnail

What Language Model to Train if You Have One Million GPU Hours?

100만 A100 GPU 시간을 사용할수 있을때 100B+의 모델을 학습하기 위한 가장 좋은 구조와 학습 세팅은 무엇인가?

2022년 6월 12일
·
0개의 댓글
·