深度学习利器：TensorFlow在智能终端中的应用——智能边缘计算，云端生成模型给移动端下载，然后用该模型进行预测-低调大师

深度学习利器：TensorFlow在智能终端中的应用——智能边缘计算，云端生成模型给移动端下载，然后用该模型进行预测

2017-11-07 584

前言

深度学习在图像处理、语音识别、自然语言处理领域的应用取得了巨大成功，但是它通常在功能强大的服务器端进行运算。如果智能手机通过网络远程连接服务器，也可以利用深度学习技术，但这样可能会很慢，而且只有在设备处于良好的网络连接环境下才行，这就需要把深度学习模型迁移到智能终端。

由于智能终端CPU和内存资源有限，为了提高运算性能和内存利用率，需要对服务器端的模型进行量化处理并支持低精度算法。TensorFlow版本增加了对Android、iOS和Raspberry Pi硬件平台的支持，允许它在这些设备上执行图像分类等操作。这样就可以创建在智能手机上工作并且不需要云端每时每刻都支持的机器学习模型，带来了新的APP。

本文主要基于看花识名APP应用，讲解TensorFlow模型如何应用于Android系统；在服务器端训练TensorFlow模型，并把模型文件迁移到智能终端；TensorFlow Android开发环境构建以及应用开发API。

看花识名APP

使用AlexNet模型、Flowers数据以及Android平台构建了“看花识名”APP。TensorFlow模型对五种类型的花数据进行训练。如下图所示：

Daisy：雏菊

(点击放大图像)

Dandelion：蒲公英

(点击放大图像)

Roses：玫瑰

(点击放大图像)

Sunflowers：向日葵

(点击放大图像)

Tulips：郁金香

(点击放大图像)

在服务器上把模型训练好后，把模型文件迁移到Android平台，在手机上安装APP。使用效果如下图所示，界面上端显示的是模型识别的置信度，界面中间是要识别的花：

(点击放大图像)

TensorFlow模型如何应用于看花识名APP中，主要包括以下几个关键步骤：模型选择和应用、模型文件转换以及Android开发。如下图所示：

(点击放大图像)

模型训练及模型文件

本章采用AlexNet模型对Flowers数据进行训练。AlexNet在2012取得了ImageNet最好成绩，top 5准确率达到80.2%。这对于传统的机器学习分类算法而言，已经相当出色。模型结构如下：

(点击放大图像)

本文采用TensorFlow官方Slim（https://github.com/tensorflow/models/tree/master/slim）AlexNet模型进行训练。

首先下载Flowers数据，并转换为TFRecord格式：

DATA_DIR=/tmp/data/flowers
python download_and_convert_data.py --dataset_name=flowers
 --dataset_dir="${DATA_DIR}"

执行模型训练，经过36618次迭代后，模型精度达到85%

TRAIN_DIR=/tmp/data/train
python train_image_classifier.py --train_dir=${TRAIN_DIR} 
--dataset_dir=${DATASET_DIR} --dataset_name=flowers  
--dataset_split_name=train  --model_name=alexnet_v2 
 --preprocessing_name=vgg

生成Inference Graph的PB文件

python export_inference_graph.py  --alsologtostderr  
--model_name=alexnet_v2  --dataset_name=flowers --dataset_dir=${DATASET_DIR} 
 --output_file=alexnet_v2_inf_graph.pb

结合CheckPoint文件和Inference GraphPB文件，生成Freeze Graph的PB文件

python freeze_graph.py  --input_graph=alexnet_v2_inf_graph.pb 
--input_checkpoint= ${TRAIN_DIR}/model.ckpt-36618  --input_binary=true 
--output_graph=frozen_alexnet_v2.pb --output_node_names=alexnet_v2/fc8/squeezed

对Freeze Graph的PB文件进行数据量化处理，减少模型文件的大小，生成的quantized_alexnet_v2_graph.pb为智能终端中应用的模型文件

bazel-bin/tensorflow/tools/graph_transforms/transform_graph  
--in_graph=frozen_alexnet_v2.pb  --outputs="alexnet_v2/fc8/squeezed" 
--out_graph=quantized_alexnet_v2_graph.pb --transforms='add_default_attributes
 strip_unused_nodes(type=float, shape="1,224,224,3")  remove_nodes(op=Identity, 
op=CheckNumerics) fold_constants(ignore_errors=true)  fold_batch_norms 
fold_old_batch_norms quantize_weights quantize_nodes 
 strip_unused_nodes sort_by_execution_order'

为了减少智能终端上模型文件的大小，TensorFlow中常用的方法是对模型文件进行量化处理，本文对AlexNet CheckPoint文件进行Freeze和Quantized处理后的文件大小变化如下图所示：

(点击放大图像)

量化操作的主要思想是在模型的Inference阶段采用等价的8位整数操作代替32位的浮点数操作，替换的操作包括：卷积操作、矩阵相乘、激活函数、池化操作等。量化节点的输入、输出为浮点数，但是内部运算会通过量化计算转换为8位整数（范围为0到255）的运算，浮点数和8位量化整数的对应关系示例如下图所示：

(点击放大图像)

量化Relu操作的基本思想如下图所示:

(点击放大图像)

TensorFlow Android应用开发环境构建

在Android系统上使用TensorFlow模型做Inference依赖于两个文件libtensorflow_inference.so和libandroid_tensorflow_inference_java.jar。这两个文件可以通过下载TensorFlow源代码后，采用bazel编译出来，如下所示：

下载TensorFlow源代码
git clone --recurse-submodules https://github.com/tensorflow/tensorflow.git
下载安装Android NDK
下载安装Android SDK

配置tensorflow/WORKSPACE中android开发工具路径

android_sdk_repository(name = "androidsdk", api_level = 23, build_tools_version = "25.0.2", path = "/opt/android",)
android_ndk_repository(name="androidndk",  path="/opt/android/android-ndk-r12b",  api_level=14)

编译libtensorflow_inference.so

bazel build -c opt //tensorflow/contrib/android:libtensorflow_inference.so  
  --crosstool_top=//external:android/crosstool --host_crosstool_top=
@bazel_tools//tools/cpp:toolchain --cpu=armeabi-v7a

编译libandroid_tensorflow_inference_java.jar

bazel build //tensorflow/contrib/android:android_tensorflow_inference_java

TensorFlow提供了Android开发的示例框架，下面基于AlexNet模型的看花识名APP做一些相应源码的修改，并编译生成Android的安装包：

基于AlexNet模型，修改Inference的输入、输出的Tensor名称

private static final String INPUT_NAME = "input";
private static final String OUTPUT_NAME = "alexnet_v2/fc8/squeezed";

放置quantized_alexnet_v2_graph.pb和对应的labels.txt文件到assets目录下，并修改Android文件路径

private static final String MODEL_FILE = "file:///android_asset/quantized_alexnet_v2_graph.pb";
private static final String LABEL_FILE = "file:///android_asset/labels.txt";

编译生成安装包

bazel build -c opt //tensorflow/examples/android:tensorflow_demo

拷贝tensorflow_demo.apk到手机上，并执行安装，太阳花识别效果如下图所示：
(点击放大图像)

TensorFlow移动端应用开发API

在Android系统中执行TensorFlow Inference操作，需要调用libandroid_tensorflow_inference_java.jar中的JNI接口，主要接口如下：

构建TensorFlow Inference对象，构建该对象时候会加载TensorFlow动态链接库libtensorflow_inference.so到系统中；参数assetManager为android asset管理器；参数modelFilename为TensorFlow模型文件在android_asset中的路径。
```
TensorFlowInferenceInterface inferenceInterface = new 
TensorFlowInferenceInterface(assetManager, modelFilename);
```
向TensorFlow图中加载输入数据，本App中输入数据为摄像头截取到的图片；参数inputName为TensorFlow Inference中的输入数据Tensor的名称；参数floatValues为输入图片的像素数据，进行预处理后的浮点值；[1,inputSize,inputSize,3]为裁剪后图片的大小，比如1张224*224*3的RGB图片。
```
inferenceInterface.feed(inputName, floatValues, 1, inputSize, inputSize, 3);
```
执行模型推理； outputNames为TensorFlow Inference模型中要运算Tensor的名称，本APP中为分类的Logist值。
```
inferenceInterface.run(outputNames);
```
获取模型Inference的运算结果，其中outputName为Tensor名称，参数outputs存储Tensor的运算结果。本APP中，outputs为计算得到的Logist浮点数组。
```
inferenceInterface.fetch(outputName, outputs);
```

总结

本文基于看花识名APP，讲解了TensorFlow在Android智能终端中的应用技术。首先回顾了AlexNet模型结构，基于AlexNet的slim模型对Flowers数据进行训练；对训练后的CheckPoint数据，进行Freeze和Quantized处理，生成智能终端要用的Inference模型。然后介绍了TensorFlow Android应用开发环境的构建，编译生成TensorFlow在Android上的动态链接库以及java开发包；文章最后介绍了Inference API的使用方式。

参考文献

本文转自张昺华-sky博客园博客，原文链接：http://www.cnblogs.com/bonelee/p/8317909.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/394501

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Android窗口管理服务WindowManagerService的简要介绍和学习计划

在前一个系列文章中，我们从个体的角度来分析了Android应用程序窗口的实现框架。事实上，如果我们从整体的角度来看，Android应用程序窗口的实现要更复杂，因为它们的类型和作用不同，且会相互影响。在Android系统中，对系统中的所有窗口进行管理是窗口管理服务WindowManagerService的职责。在本文中，我们就将简要介绍WindowManagerService的职能以及制定学习计划。我们知道，在Android系统中，同一时刻，只有一个Activity窗口是激活的，但是，对于WindowManagerService服务来说，这并不意味着它每次只需要管理一个Activity窗口，例如，在两个Activity窗口的切换过程中，前后两个Activity窗口实际上都是可见的。即使在只有一个Activity窗口是可见的时候，WindowManagerService服务仍然需要同时管理着多个窗口，这是因为可见的Activity窗口可能还会被设置了壁纸窗口（Wallpaper Winodw）或者弹出了子窗口（Sub Window），以及可能会出现状态栏（Status Bar）以及...

2017-11-08

512

自动完成文本框AutoCompleteTextView:用户输入一定字符后，会显示一个下拉菜单供用户选择 android:completionHint="请输入"设置出现在下拉菜单中的提示标题 android:dropDownHorizontalOffset="20dp"设置下拉菜单与文本框间的水平偏移，下拉菜单默认与文本框左对齐 android:completionThreshold="1"设置用户至少输入几个字符才会显示提示 android:dropDownHeight设置下拉框高度 android:dropDownWidth设置下拉框宽度本文转自欢醉博客园博客，原文链接http://www.cnblogs.com/zhangs1986/archive/2013/01/21/2870225.html如需转载请自行联系原作者欢醉

2017-11-08

562

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。