# NLP

1457개의 포스트
post-thumbnail

[논문리뷰] LIMA

LIMA: Less Is More for Alignment Paper Link PDF Link 요약 LLM들은 unsupervised pretraining을 우선적으로 거치고 instruction이나 RL 등을 통해서 fine-tuning 했었다. 근데 LIMA는

약 8시간 전
·
0개의 댓글
·
post-thumbnail

뤼튼테크놀로지스 프롬프톤 참가 후기와 작업일지 (feat. 🏆)

뤼튼 테크놀로지스에서 주최한 프롬프톤의 참여 후기와 작업 과정을 기록한 글

약 19시간 전
·
0개의 댓글
·
post-thumbnail

[boostcamp AI Tech] lv2 Relation Extraction

05.03.(월) 10:00 ~ 2023. 05. 18. (목) 19:00문장 내 개체 간 관계 추출 — 문장의 단어(Entity)에 대한 속성과 관계를 예측하는 모델 만들기KLUE(Korean NLU Benchmark) RE(Relation Extraction) da

어제
·
0개의 댓글
·
post-thumbnail

GPT-4 Technical Report 정리 (현재 상황, 리포트 내용 정리, 읽으면서 있었던 Q&A)

“OpenAI가 성능으로 GPT-4로 보여준 부분도 있지만 저는 MS와의 협력을 보여준 첫번째 사례라는 점이 제일 크다고 생각합니다. 현재 MS는 엔비디아(NVIDIA)와의 협력관계를 맺고 있으며 최신 딥러닝 전용 GPU인 H100을 제공받아 데이터센터를 짓고 있습니다

1일 전
·
0개의 댓글
·
post-thumbnail

[논문 리뷰] Language Models are Unsupervised Multitask Learners

거대 생성모델의 시초가 되는 GPT의 변천 과정을 살펴보기 위해 선택했다.언어 모델이 다운스트림 태스크에서 zero-shot setting 만으로 다양한 분야에서 좋은 성능을 보일 수 있음을 증명하였다.지금까지의 연구는 단일 과제에 특화된 단일 모델을 개발하는데 치중되

1일 전
·
0개의 댓글
·

Simple Unsupervised Keyphrase Extraction using Sentence Embeddings

Input 문서만으로 document embedding을 활용하여 informativeness와 diversity 특성을 지닌 keyphrase를 unsupuervised하게 뽑아주는 EmbedRank, EmbedRank++를 소개하는 논문입니다.

1일 전
·
0개의 댓글
·
post-thumbnail

프롬프트 엔지니어링 결과는 어떻게 평가할까? Text-to-Image의 사례로 알아보기

어떻게 프롬프트 결과물을 평가하지? 이 의문을 Text-to-Image 분야에서 발 빠르게 해결한 논문이 있습니다

2일 전
·
0개의 댓글
·
post-thumbnail

GPT1 : Improving Language Understanding by Generative Pre-Training

unlabeled data 사용어떤 형태의 최적화 목적(optimization objective)가 가장 좋은지 불분명해, transfoer에 유용한 text 표현이 뭔지 알기 어렵다 → LM, machine translation, discourse coherence

2일 전
·
0개의 댓글
·
post-thumbnail

GPT2 : Language Models are Unsupervised Multitask Learners

agnostic task 가능한 LM 을 만들어보자 지도학습 + 비지도학습을 통한 모델 형성은 특정 테스크 수행으 잘하도록 학습이 된다. 하지만, 이는 작은 데이터셋의 변화에도 쉽게 task를 망칠 수 도 있는 위험이 존재한다. 지금까지 모델들은 좁은 범위

2일 전
·
0개의 댓글
·
post-thumbnail

RLHF란?

RLHF에 대해 알아보자

3일 전
·
0개의 댓글
·
post-thumbnail

Instruction Tuning이란?

LLM에 사용되는 Instruction tuning에 대해 알아보자

4일 전
·
0개의 댓글
·
post-thumbnail

[논문 리뷰 | NLP&CV] Transformer(2017) Summary

Transforemr 논문 리뷰입니다 :)

4일 전
·
0개의 댓글
·
post-thumbnail

[LLaMA 관련 논문 리뷰] 02-Scaling Instruction-Finetuned Language Models (Instruction Tuning)

이전 글에 이어서 Instruction Tuning 관련 논문을 리뷰하겠습니다. 오늘 리뷰할 논문은 Instruction Tuning에 CoT prompting을 추가하여 모델의 resoning ability를 증진할 수 있는지 실험한 논문입니다. Scaling In

4일 전
·
0개의 댓글
·

워드 임베딩 (Word Embedding)

텍스트를 컴퓨터가 이해하고, 효율적으로 처리하기 위해서는 컴퓨터가 이해할 수 있도록 적절히 숫자로 변환해야 한다. 따라서 각 단어를 인공 신경망 학습을 통해 벡터화하는 워드 임베딩 방법이 많이 사용되고 있다.워드 임베딩(Word Embedding)은 단어를 벡터로 표현

4일 전
·
0개의 댓글
·
post-thumbnail

개발자를 위한 ChatGPT 프롬프트 엔지니어링 (+) 회고와 봇치봇 실습

DeepLearning.AI의 ChatGPT Prompt Engineering for Developers 강의를 정리하고 회고를 겸한 고토 히토리 봇만들기 실습 (사심가득)

4일 전
·
3개의 댓글
·

Fine-tuning in MT

Fine-tuning in NLP refers to the procedure of re-training a pre-trained language model using your own custom data. As a result of the fine-tuning proc

5일 전
·
0개의 댓글
·
post-thumbnail

GPT 언어 모델 && 논문리뷰 (작성중)

GPT > GPT는 현재 LLM인 ChatGPT와 GPT-4의 근간이 되는 모델로 OpenAi에서 개발하였다. GPT는 언어 생성 모델로 NLP의 대부분 task에서 사용이 가능하다. 아직 GPT2와는 다르게 특정 task를 위해 fine-tuning이 필요하며 특정

5일 전
·
1개의 댓글
·
post-thumbnail

네이버 부스트캠프 5기 9~11주차 주간 회고(KlUE RE 대회)

업로드중..\- 모더레이터 외에도 Github 관리자를 두어 베이스라인 코드의 버전 관리를 원활하게 하고, 같은 분야라도 다른 작업을 진행할 수 있도록 분업을 하여 협업을 진행하였다.팀 협업을 위해 개선점 파악을 위해 지난 NLP 기초 프로젝트 관련한 회고를 진행하였다

5일 전
·
1개의 댓글
·