timm library의 pretrained 모델을 활용했으나 학습데이터에서도 성능이 여전히 좋지 않았다.
huggingface에서 pretrained모델을 불러와서 더 해볼 생각이다.
성능이 더 좋지 않았다. 학습 코드의 문제가 있는 것이 아닌가 의심해볼만 한 것 같다.
그렇다면 vit 코드를 생각해보자. 모델의 전반적인 이해는 이미 지난 U stage에서 이해했고, 하이퍼파라미터와 출력값에 대해서 알아보자.
ViT Hyperparameter
우리는 timm의 pretrained모델을 사용하기 때문에
Outputs
Today is the day