# NLP
[논문리뷰] LIMA
LIMA: Less Is More for Alignment Paper Link PDF Link 요약 LLM들은 unsupervised pretraining을 우선적으로 거치고 instruction이나 RL 등을 통해서 fine-tuning 했었다. 근데 LIMA는
[boostcamp AI Tech] lv2 Relation Extraction
05.03.(월) 10:00 ~ 2023. 05. 18. (목) 19:00문장 내 개체 간 관계 추출 — 문장의 단어(Entity)에 대한 속성과 관계를 예측하는 모델 만들기KLUE(Korean NLU Benchmark) RE(Relation Extraction) da
GPT-4 Technical Report 정리 (현재 상황, 리포트 내용 정리, 읽으면서 있었던 Q&A)
“OpenAI가 성능으로 GPT-4로 보여준 부분도 있지만 저는 MS와의 협력을 보여준 첫번째 사례라는 점이 제일 크다고 생각합니다. 현재 MS는 엔비디아(NVIDIA)와의 협력관계를 맺고 있으며 최신 딥러닝 전용 GPU인 H100을 제공받아 데이터센터를 짓고 있습니다
[논문 리뷰] Language Models are Unsupervised Multitask Learners
거대 생성모델의 시초가 되는 GPT의 변천 과정을 살펴보기 위해 선택했다.언어 모델이 다운스트림 태스크에서 zero-shot setting 만으로 다양한 분야에서 좋은 성능을 보일 수 있음을 증명하였다.지금까지의 연구는 단일 과제에 특화된 단일 모델을 개발하는데 치중되
Simple Unsupervised Keyphrase Extraction using Sentence Embeddings
Input 문서만으로 document embedding을 활용하여 informativeness와 diversity 특성을 지닌 keyphrase를 unsupuervised하게 뽑아주는 EmbedRank, EmbedRank++를 소개하는 논문입니다.
프롬프트 엔지니어링 결과는 어떻게 평가할까? Text-to-Image의 사례로 알아보기
어떻게 프롬프트 결과물을 평가하지? 이 의문을 Text-to-Image 분야에서 발 빠르게 해결한 논문이 있습니다
GPT1 : Improving Language Understanding by Generative Pre-Training
unlabeled data 사용어떤 형태의 최적화 목적(optimization objective)가 가장 좋은지 불분명해, transfoer에 유용한 text 표현이 뭔지 알기 어렵다 → LM, machine translation, discourse coherence
GPT2 : Language Models are Unsupervised Multitask Learners
agnostic task 가능한 LM 을 만들어보자 지도학습 + 비지도학습을 통한 모델 형성은 특정 테스크 수행으 잘하도록 학습이 된다. 하지만, 이는 작은 데이터셋의 변화에도 쉽게 task를 망칠 수 도 있는 위험이 존재한다. 지금까지 모델들은 좁은 범위
[LLaMA 관련 논문 리뷰] 02-Scaling Instruction-Finetuned Language Models (Instruction Tuning)
이전 글에 이어서 Instruction Tuning 관련 논문을 리뷰하겠습니다. 오늘 리뷰할 논문은 Instruction Tuning에 CoT prompting을 추가하여 모델의 resoning ability를 증진할 수 있는지 실험한 논문입니다. Scaling In
워드 임베딩 (Word Embedding)
텍스트를 컴퓨터가 이해하고, 효율적으로 처리하기 위해서는 컴퓨터가 이해할 수 있도록 적절히 숫자로 변환해야 한다. 따라서 각 단어를 인공 신경망 학습을 통해 벡터화하는 워드 임베딩 방법이 많이 사용되고 있다.워드 임베딩(Word Embedding)은 단어를 벡터로 표현
개발자를 위한 ChatGPT 프롬프트 엔지니어링 (+) 회고와 봇치봇 실습
DeepLearning.AI의 ChatGPT Prompt Engineering for Developers 강의를 정리하고 회고를 겸한 고토 히토리 봇만들기 실습 (사심가득)
Fine-tuning in MT
Fine-tuning in NLP refers to the procedure of re-training a pre-trained language model using your own custom data. As a result of the fine-tuning proc
GPT 언어 모델 && 논문리뷰 (작성중)
GPT > GPT는 현재 LLM인 ChatGPT와 GPT-4의 근간이 되는 모델로 OpenAi에서 개발하였다. GPT는 언어 생성 모델로 NLP의 대부분 task에서 사용이 가능하다. 아직 GPT2와는 다르게 특정 task를 위해 fine-tuning이 필요하며 특정
네이버 부스트캠프 5기 9~11주차 주간 회고(KlUE RE 대회)
업로드중..\- 모더레이터 외에도 Github 관리자를 두어 베이스라인 코드의 버전 관리를 원활하게 하고, 같은 분야라도 다른 작업을 진행할 수 있도록 분업을 하여 협업을 진행하였다.팀 협업을 위해 개선점 파악을 위해 지난 NLP 기초 프로젝트 관련한 회고를 진행하였다