介绍在不同框架下对ResNet18的量化
- pytorch
- onnx
- [] tensorrt
- [] ncnn
Windows 11、cpu Intel Core i5-11400F
| 框架 | 计算精度 | 推理速度 | 推理准确性 |
|---|---|---|---|
| pytorch | float32 | 34.7405ms | 0.76 |
| pytorch | int8 | 10.5147ms | 0.73 |
| onnx | float32 | 12.67ms | 0.75 |
| onnx | int8 | 14.30ms | 0.73 |
- pytorch 2.4.1+cu118
- resnet: resnet18的模型，应用静态量化训练和动态量化训练，两种方式进行量化: 1.静态量化训练(PTSQ)，2.动态量化训练
进入pytorch目录
python main.py
onnxruntime
- main.py: 导出onnx
- run.py: onnx量化