- 전체보기(18)
- DeiT(4)
- CNN(3)
- NLP(3)
- transformer(3)
- VISION(2)
- LLaMA(2)
- 파이토치(2)
- Distillation(2)
- instruction tuning(2)
- ViT(1)
- PyTorch(1)
- 딥러닝(1)
- Model Serving(1)
- ML(1)
- image_classification(1)
- 허깅페이스(1)
- 서비스 성능(1)
- 모델배포(1)
- finetuning(1)
- CoT(1)
- 데이터로더(1)
- DL(1)
- VGG16(1)
- 에러(1)
- Inductive Bias(1)
- 비전(1)
- 모델변이테스트(1)
- django(1)
[LLaMA 관련 논문 리뷰] 02-Scaling Instruction-Finetuned Language Models (Instruction Tuning)
이전 글에 이어서 Instruction Tuning 관련 논문을 리뷰하겠습니다. 오늘 리뷰할 논문은 Instruction Tuning에 CoT prompting을 추가하여 모델의 resoning ability를 증진할 수 있는지 실험한 논문입니다. Scaling In
[LLaMA 관련 논문 리뷰] 01-FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS (Instruction Tuning)
Open and Efficient Foundation Language Models
[DeiT 관련 논문 리뷰] 04-Training data-efficient image transformers & distillation through attention(DeiT)
이번 글에서는 Training data-efficient image transformers & distillation through attention(2021)을 리뷰하겠습니다. DeiT 관련 논문 리뷰의 마지막 글이며, DeiT를 소개합니다.DeiT의 특징은 크게 두
[DeiT 관련 논문 리뷰] 03-AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
이번 글에서는 AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE(2021)을 리뷰하겠습니다. 본 논문에서는 Vision Transformer 모델을 소개합니다.
[DeiT 관련 논문 리뷰] 02-Distilling the Knowledge in a Neural Network
이번 글에서는 Distilling the Knowledge in a Neural Network(2015)을 리뷰하겠습니다. 본 논문에서는 teacher 모델의 지식을 student 모델에게 전달하는 방법을 제시합니다. 이 방법을 통해 학습한 student 모델이 te
[DeiT 관련 논문 리뷰] 01-개요
DeiT 모델을 이해하기 위해 세 개의 논문을 순차적으로 리뷰하도록 하겠습니다. Distilling the Knowledge in a Neural Network(2015) 이 논문에서 DeiT의 훈련 전략의 기초가 되는 distillation에 대해 이해하겠습니다.
[Pytorch] Knowledge Distillation with DeiT small
이전 글 : [Pytorch] 폴드 분리 학습 - 이미지 분류 with DeiT small > 성능을 고도화할 모델을 선정하기 위해 후보 모델들에 대한 기초적인 성능을 테스트하는 단계입니다. DeiT를 폴드 분리 학습한 결과가 나왔습니다. 저는 세 개의 폴드로 분리
PoolFormer : MetaFormer Is Actually What You Need for Vision
이번에 진행하는 이미지 분류 프로젝트를 위해 PoolFormer -s12 모델 기초 성능 테스트 진행해보았습니다. PoolFormer모델은 SeaAILab에서 발표한 MetaFormer Is Actually What You Need for Vision(2022 CVPR
모델 변이 테스트(Model Mutation Testing)
모델 변이 테스트 모델 변이 테스트는 모델 검증 테스트와는 결이 다릅니다. 모델이 안정적으로 성능을 유지하는 검증하는 방법인데요, 변이 테스트를 수행하면서 문제점을 발견하고 수정하여 성능을 개선함으로써 모델의 정확도를 높일 수 있습니다. 일반적으로 검증셋에 대한 성능
[Pytorch] 이미지 분류 with DeiT small - 폴드 분리 학습
이전 글 : [Pytorch] 이미지 분류 with ViT 이미지 분류를 위해 google vit 모델을 학습했습니다. 1 에폭도 다 학습하지 못하고 중단되었습니다. 데이터 증강 코드 동/식물 그림을 입력받으면, 그림의 대상을 알아 맞추는 분류문제입니다. 만약 당근
[Pytorch] 허깅페이스 Feature Extractor
HuggingFace의 feature extractor를 알아보자. HuggingFace는 ai플랫폼으로, 트랜스포머 기반으로 하는 다양한 모델과 학습에 사용되는 기능을 구현해놓은 모듈이다. 자연어, 음성, 이미지, 멀티모달 등의 모델이 오픈되어있다. 최근 ViT모델을
[Pytorch] 이미지 분류 with ViT
AI hub에서 제공하는 이미지 데이터셋을 활용하여 이미지 분류 태스크를 수행한다. VGG16으로 테스트하였을 때 망을 몇 개 더 쌓았더니 성능이 좋지 않아 중간에 중단하였다. 대안으로 ViT 모델을 테스트하려 한다. Vision Transformer(ViT) 모델은
[Django] ML/DL 모델 배포하기 -03 모델 등록 후 추론 테스트
모델을 본격적을 등록하기 전에, 로컬 서버를 실행해보겠습니다.별 다른 문제없이 서버가 실행되는 걸 확인할 수 있습니다. 일단 저는 views.py에 모델을 불러오는 코드와 추론하는 코드를 한 번에 때려넣었습니다. 입력페이지와 추론페이지 스크린샷입니다. 입력 페이지 추론
[Django] ML/DL 모델 배포하기 -01 모델 학습 후 저장
model을 배포할 때 장고(django)를 활용하면 편하다. MLops적인 측면을 고려하지 않는다면,장고 프로젝트에 학습된 모델을 이식하여 배포하는 것이 가장 빠르고 단순한 방법일 것이다. 수행할 태스크를 고민하기 전에, 먼저 ML Service Latency 를 설
텍스트 데이터 증강용 코드
유의어가 대체 1순위지만 , "유의어 리스트에 담긴 0번째 인덱스 값이 원본 text 단어와 동일하지 않을 경우"라는 조건을 달아두었다. 만약 유의어 리스트에 담긴 0번째 인덱스 값이 원본 텍스트 단어와 동일하다면 반대어 리스트를 체크한다. 반대어 리스트에 담긴 값이
불균형 데이터 처리: Focal Loss
현재 데이콘에서 진행되고 있는 월간 데이터 발화자의 감정인식 AI 경진대회(월간 데이콘 발화자의 감정인식 AI 경진대회)에 참여하고 있다. (\*데이터)Bert모델로 학습할 때 확인한 평균 best score(f1-score)는 56~60 사이인데, 데이콘 퍼블릭 스코
[파이토치] 딥러닝 에러 해결 : stack expects each tensor to be equal size, but got...
사용 모델 : HuggingFace'cardiffnlp/twitter-roberta-base-sentiment에러 발생 지점 : 데이터로더(torch.utils.data.DataLoader)\- 에러메시지 : RuntimeError: stack expects each