- 전체보기(6)
- finetuning(3)
- 양자화(3)
- quantization(3)
- PyTorch(3)
- low bit(2)
- precision(2)
- DP(2)
- ddp(2)
- QAT(2)
- distributed(2)
- QuantNoise(2)
- Training(2)
- DeepLearning(1)
- HAWQ(1)
- concept(1)
- AMP(1)
- google(1)
- bit width(1)
- QN(1)
- finetune(1)
- mixed precision(1)
- 분산학습(1)
- fast training(1)
- Fake Quantization(1)
- facebook(1)
- survey(1)
- 논문조사(1)
[PaperReview] A Survey of Quantization Methods for Efficient Neural Network Inference
폭 넓은 문제의 분야에서 Neural Network 의 정확도는 필요 이상의 수 많은 파라미터들로 크게 개선되었다. 문제를 해결하는데 중점을 두어 모델의 복잡도와 계산 복잡도까지 고려를 해서 발달되지는 않은 것으로 해석 할 수 있을 것 같다.NN이 개선되며 발달한
[PaperReview] Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
모바일 장치의 인기가 많아지고 있지만, 딥 러닝 기반 모델은 압도적인 계산 비용이 요구되므로 장치 내에서 효율적이고 정확한 추론 방식이 요구된다.AlexNet의 등장으로 classification, detection task에서 CNN의 성능이 향상 되었지만, 모델 복
[PaperReview] Training with Quantization Noise for Extreme Model Compression
매 iteration forward 때 마다 서로 다른 가중치의 일부분에 양자화 하는 방법이다. 이렇게 할 경우 편향성 없는 gradient를 다른 가중치에 흐르게 할 수 있다.실 생활에서 쓰이는 성능 좋은 대부분의 NN architecture는 수 많은 파라미터를 가
[Pytorch] 분산학습(V2) DP, DDP 개념 정리
💡 DataParallel(DP)은 Pytorch 에서 제공하는 가장 기본적인 방법이지만, GPU 메모리 불균형이 발생하는 문제점이 있음. Custom DataParallel은 GPU 메모리 불균형 문제를 어느 정도 해소해주지만, GPU util이 낮다는 문제가 여
[Pytorh] AMP - Automatic Precision
AMP는 Automatic Mixed Precision package의 약자로 모델의 single precision(FP32)를 두 종류의 precision(FP16, FP32)으로 학습하게 하여 빠르게 학습을 하게해주는 패키지이다.모델의 Foward 연산은 서로 다른
[Pytorch] 분산학습(V1) 비교 실험 - DDP, DP
CUDA 11.1Pytorch : 1.8.1 CU11.1GPU : A10OS : Linux 18.04Model : AlexNet, ResNet20Data : CIFAR10Training Method : DP(DataParallel), DDP(DataDistributed