profile
한성대학교 네이버 AI Tech 5기 NLP
post-thumbnail

LLM 튜닝 프로젝트

우선 가지고 있는 GPU 1대로 튜닝을 진행한다.실제 개인이 할수 있는 LLM 프로젝트의 성능을 알아내기 위해 아래 표로 정리한다.기존 모델의 LLM 리더보드 성능8Bit 모델의 LLM 리더보드 성능 (훈련 x)bitsandbytes 4bit 모델 + LoRA SFT

2023년 11월 29일
·
0개의 댓글
·
post-thumbnail

[SLIP 논문 리뷰]SLIP: Self-supervision meets Language-Image Pre-training

Task: Vision-LanguageInput: Image, TextOutput: Image Representation, Text Representation기존의 CLIP, AlIGN의 같은 모델은 각 Encoder의 CLS 토큰을 사용하여 Contrastive Le

2023년 11월 18일
·
0개의 댓글
·
post-thumbnail

[BEiT 논문 리뷰]BEiT: BERT Pre-Training of Image Transformers

BEiT 1. 논문이 다루는 Task Task: Computer Vision Input: Image Output: Image Representation 2. 기존 연구 한계 2-1. Vision Transformers의 데이터 의존성 문제 컴퓨터 비전에서의 Transformer 모델들은 CNN에 비해 더 많은 학습 데이터를 필요로 한다. 이 문제를...

2023년 11월 11일
·
0개의 댓글
·
post-thumbnail

[FILIP 논문 리뷰]FINE-GRAINED INTERACTIVE LANGUAGE- IMAGE PRE-TRAINING

FILIP 1. 논문이 다루는 Task Task: Vision-Language Input: Image, Text Output: Image-Text Retrieval, Zero-shot Image Classification 2. 기존 연구 한계 2-1. Globa

2023년 11월 5일
·
1개의 댓글
·
post-thumbnail

[ALBEF 논문 리뷰]Align before Fuse: Vision and Language Representation Learning with Momentum Distillation

ALBEF 1. 논문이 다루는 Task Task: Vision-Language Input: Image, Text Output: Image-Text Retrieval, Visual Entailment, Visual Question Answering, Natural L

2023년 10월 18일
·
0개의 댓글
·
post-thumbnail

[LLaVA 논문 리뷰](Visual Instruction Tuning)

LLaVA 1. 논문이 다루는 Task Task: Text Generation Input: Image, Text Output: Text 2. 기존 연구 한계 2-1. Text-Only 논문에서는 시작하자마자 인간은 다양한 신호로 세계를 관찰하고 있다는 점을 언급한다. 또한 최근에 나온 모델들인 Flamingo, BLIP-2 같은 모델은 비록 언어에...

2023년 10월 11일
·
1개의 댓글
·
post-thumbnail

[VATT 논문 리뷰](VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text)

Task: Image,Video,Audio ClassificaionInput: Video, Audio, TextOutput: Class

2023년 10월 10일
·
2개의 댓글
·
post-thumbnail

[ImageBind 논문 리뷰](One Embedding Space To Bind Them ALL)

A single image can bind together many experiences – an image of a beach can remind us of the sound of waves, the texture of the sand, a breeze, or eve

2023년 9월 24일
·
6개의 댓글
·
post-thumbnail

[HyperDreambooth 논문 리뷰](HyperDreamBooth: HyperNetworks for Fast Personalization of Text-to-Image Models)

Task: Personalization of Text-to-Image GenerationInput: TextOutput: ImagePersonalization of Text2Image : 텍스트를 기반으로 이미지를 만드는 개인화된 생성 모델기존의 DreamBooth의

2023년 9월 13일
·
1개의 댓글
·
post-thumbnail

[RetNet 논문 리뷰](A Successor to Transformer for Large Language Models)

RetNet(A Successor to Transformer for Large Language Models)

2023년 7월 29일
·
3개의 댓글
·
post-thumbnail

[GPT-2 논문 리뷰](Language Models are Unsupervised Multitask Learners)

[GPT-2] Language Models are Unsupervised Multitask Learners 1. 논문이 다루는 Task Task: Text Generation Input: Text Output:Text Text Generation : 단순한 텍스트

2023년 6월 28일
·
5개의 댓글
·
post-thumbnail

네이버 부스트캠프 5기 14~16주차 주간 회고(ODQA 대회)

1\. 프로젝트 개요 2\. 프로젝트 팀 구성 및 역할 3\. 프로젝트 수행 절차 및 방법 원활한 협업을 위해서는 GitHub 을 사용할 때 반복적으로 수행되는 내용을 자동화하여 시간을 절약해야 한다고 생각했기 때문에 , 프

2023년 6월 27일
·
1개의 댓글
·
post-thumbnail

네이버 부스트캠프 5기 12~13주차 주간 회고(KlUE TC 대회)

프로젝트 개요 프로젝트 팀 구성 및 역할 프로젝트 수행 내용 EDA(Exploratory Data Analysis) 데이터 전처리 및 증강 이전 주어진 데이터의 feature를 파악하여 모델 성능 향상을 위한 방향성 확립을 위해 진행 데이터 중복 및 결측치 존재 여부

2023년 6월 9일
·
1개의 댓글
·
post-thumbnail

KLUE-YNAT 대회 관련 모델 제작 및 배포

KLUE-YNAT의 데이터는 연합뉴스 기사 제목으로 구성된 데이터이다.부스트캠프 Data-Centric에서는 데이터의 일부가 P2G데이터로 구성되있으며 임의로 label을 다르게 추가하였다.이를 원상으로 복구하기 위한 모델을 개발하고 오픈소스로 배포하였다. 또한 데이터

2023년 6월 6일
·
2개의 댓글
·
post-thumbnail

[GPT-1 논문 리뷰](Improving Language Understanding by Generative Pre-Training)

GPT > GPT는 현재 LLM인 ChatGPT와 GPT-4의 근간이 되는 모델로 OpenAi에서 개발하였다. GPT는 언어 생성 모델로 NLP의 대부분 task에서 사용이 가능하다. 아직 GPT2와는 다르게 특정 task를 위해 fine-tuning이 필요하며 특정

2023년 5월 23일
·
1개의 댓글
·
post-thumbnail

네이버 부스트캠프 5기 9~11주차 주간 회고(KlUE RE 대회)

업로드중..\- 모더레이터 외에도 Github 관리자를 두어 베이스라인 코드의 버전 관리를 원활하게 하고, 같은 분야라도 다른 작업을 진행할 수 있도록 분업을 하여 협업을 진행하였다.팀 협업을 위해 개선점 파악을 위해 지난 NLP 기초 프로젝트 관련한 회고를 진행하였다

2023년 5월 23일
·
1개의 댓글
·
post-thumbnail

BERT 문장 토큰 관계 분류 task

주어진 문장의 각 token이 어떤 범주에 속하는지 분류하는 task개체명 인식은 문맥을 파악해서 인명,기관명,지명 등과 같은 문장 또는 문서에서 특정한 의미를 가지고있는 단어 또.는 어구(개체)등을 인식하는 과정을 의미한다.품사란 단어를 문법적 성질의 공통성에 따라

2023년 5월 22일
·
1개의 댓글
·