【1】tf-1:tensorflowLite量化及推理、评估过程整理-附python代码

发布网友发布时间：2024-10-02 02:22

共1个回答

热心网友时间：2024-11-15 18:13

模型量化主要包括三个步骤：权重量化、中间特征图量化和可能需要的量化感知训练。TensorFlow Lite和NVIDIA TensorRT是常用工具，它们基于每层参数的最大最小值进行量化，但忽略了层间依赖，可能导致精度损失并需要额外数据进行调整。针对不同规模的模型，小模型量化训练更为推荐。

在实践中，我们首先通过TensorFlow训练一个手写数字模型。量化过程分为两种：1）PTQ（Post Training Quantization），训练后量化，适用于参数冗余高的大模型，精度损失较小；2）QAT（Quantization Aware Training），量化训练，过程复杂，适用于小模型，量化后精度损失约1-2个点。量化后的模型以.tflite格式存储，可以与原始.pb格式互转。

为了评估量化效果，我们使用MobilenetV1模型进行推理，对比fp32精度和量化后的模型输出。通过余弦相似度计算程序，比较量化前后模型的输出。尽管存在一些问题，如量化后的模型在x86平台上可能效果不佳，但后续将进行更深入的研究，包括整理手写体数字模型的推理过程代码，以及比较TensorRT和微软NNI的量化方案。

以下是相关代码和文件清单：

训练模型与量化代码：quant-example.ipynb
fp32推理：mobilenet_tflite_fp32.py
uint8量化推理：mobilenet_tflite_quant.py 和 mobilenet_tf.py
余弦相似度计算工具：cosine_similarity2.py

对于发现的问题，如推理输出类别差异，已定位为代码读取图片机制问题，待解决。后续将进行系列文章的深入探讨，包括其他量化工具的对比分析。