Transfer learning이란 기존의 task에 맞게 이미 학습된(pre-trained)의 모델을 활용하여 다른 Task를 푸는 방법론이다. 주로 Image문제를 풀기위해 학습한 CNN네트워크를 활용하여 이미지 분류 혹은 다른 문제를 푼다. 개념은 이러하고, 이를 얼마나 Transfer하고 얼마나 learning할지에 따라 세부 방법론은 달라진다. 파인튜닝(fine-tuning) : 다운스트림 태스크 데이터 전체를 사용합니다. 다운스트림 데이터에 맞게 모델 전체를 업데이트합니다. 프롬프트 튜닝(prompt tuning) : 다운스트림 태스크 데이터 전체를 사용합니다. 다운스트림 데이터에 맞게 모델 일부만 업데이트합니다. 인컨텍스트 러닝(in-context learning) : 다운스트림

전통적인 방법인 train학습, test예측 외에 test에서 예측된 값을 다시 train으로 쓰는 것. 예를 들어 SVM, LGBM, XGboost로 예측한 값들을 모아서, 최종 model의 train값으로 쓴다. 이때 overfitting의 이슈가 있어 실제로는 CV stacking ensemble을 많이 쓴다

다양한 하이퍼파라미터 튜닝 방법 중 베이지안 최적화에 대해 정리해본다. Grid search: 시간이 너무 오래 걸림 Random search: Random하므로 최적값을 모름 베이지안 최적화는 사전정보를 활용해 미지의 함수를 찾아가는 과정이다. 사전정보는 surrogate model을 학습하며 acquisition fuction의 최대값을 찾아 그 포인트의 surrogate model을 업데이트한다. 위 그림의 설명을 더하면, t = 2일 때의 Acquisition Function이 최대화 되는 값은 t = 3 시점에서 새로 관찰할 점으로 들어가게 된다. 이에 따라, t = 3에서 새로 관찰한 함수값 주변의 파란 영역이 크게 줄어들며, 동시에 Acquisition Function