手机端开发深度学习应用

第一步模型压缩

将深度学习模型应用到手机、嵌入式设备，我们应该减少模型内存封装，减少推断时间和减少能源使用。有许多方式解决这些问题，例如量子化，权重简直或者distilling 大模型到小模型.

本文使用在Tensorflow中的量子化工具压缩模型。缩减到8bit权重，没有提供额外的好处例如减少推断时间。时间甚至需要2倍，因为量子化工作对CPU没有优化。

量化模型参数：

1 将模型写入protocol buffer file

2 安装TensorFlow

3 运行下列代码

bazel build

tensorflow/tools/graph_transforms:transform_graph

bazel_bin/tensorflow/tools/graph_transforms/transform_graph – in_graph = /.pb/file

– outputs = “output_node_name”

– out_graph = /the/quantized/.pb/file

– transforms =’quantize_weights’

第二步 使用tensorflow library

第三步 数据预处理

将数据处理成训练数据的格式。特征提取