LLama2 파인튜닝 삽질기

trnasformer 4.34.1, 4.33.1 기반으로 llama2 fine tuining을 시도 했었는데.

아는 지인을 통해서 80기가 gpu에서 kor-squad를 데이터로 하여 학습을 수행해봄.

파운데이션 모델 : llama 7B
학습 데이터 : kor-squad

huggingface transformer기반으로

TrainingArgument, Seq2SeqTrainer를 통해서 학습을 수행.

llama2가 메모리 로딩에 약 24~28기가 정도 사용하는데.

training에 들어가면 무조건 gpu 메모리 사용률이 94~98%로 넘어감.

token 사이즈를 줄이고, batch size를 1로 줄여서 겨우 학습이 수행됨.

해당 모델 학습에는 qlora를 전혀 사용하지 않고, fp16만 적용함.