Lightweigth-Deeplearning

사용자 개인 기기에 탑재되는 모델들이 가지는 제한사항을 극복power usageRAMStorageComputing power많은 사용자가 사용해야 하기 때문에 latency, throughput이 중요한 이슈e.g., 요청당 소요시간, 단위 시간당 처리 가능한 요청 수

모델 크기(=파라미터 수)를 줄이자속도를 빠르게만 해보자연산횟수를 작게 바꿔보자연산횟수를 나타내는 factor연산속도를 결정하는 간접적인 factorShuffleNetv2라는 논문에서 FLOPs외에 속도에 영향을 끼치는 요소를 고려하여 가이드라인을 다음과 같이 제시했다

Data Cleansing, PreprocessingFeature EngineeringSelect ML AlgorithmDL: Select Backbone ModelSet HyperparametersDL: Loss, Optimzier, Learning rate, bat