当前位置：网站首页>【量化测试】

【量化测试】

2022-08-06 20:33:00 【网络星空(luoc)】

文章目录

在这里插入图片描述

量化前
在这里插入图片描述
量化后

#Dynamic quantization 动态量化
import onnx
from onnxruntime.quantization import quantize_dynamic, QuantType
 
model_fp32 = 'path/to/the/model.onnx'
model_quant = 'path/to/the/model.quant.onnx'
quantized_model = quantize_dynamic(model_fp32, model_quant, weight_type=QuantType.QUInt8)

--------------------------
# QAT quantization QAT量化
import onnx
from onnxruntime.quantization import quantize_qat, QuantType
 
model_fp32 = 'path/to/the/model.onnx'
model_quant = 'path/to/the/model.quant.onnx'
quantized_model = quantize_qat(model_fp32, model_quant)