详解如何将TensorFlow训练的模型移植到Android手机

2023-05-16

前言

本文中出现的TF皆为TensorFlow的简称。

先说两句题外话吧,TensorFlow 前两天热热闹闹的发布了正式版r1.0,可感觉自己才刚刚上手 r0.12,这个时代发展的太快,脚步是一刻也不能停啊~

但是不得不吐槽 TensorFlow的向下兼容做的实在不太友好,每次更新完版本,以前的代码就跑不动,各种提示您使用的函数已经不存在。。。

代码积攒的越来越多,全部针对新版本翻改一遍,工程真是浩大。但是喜新厌旧,手贱如我,每次都忍不住点了更新。不过这次忍的还算不错,到目前还没更新,继续忍住

在之前的文章中,我介绍了如何实现 TensorFlow官网的Mobile教程:
【将Tensorflow移植到安卓手机,实现物体识别、行人检测和图像风格迁移】。
但在那个教程中,TensorFlow提供了完整的、已经构建好的Android项目,我们需要做的总结下来只有3步:1、搭建环境;2、编译;3、安装到手机

这当然还不够,我们的最终目的当然是要为我所用,所以怎样才能移植自己训练好的TF模型到安卓手机呢?换句话说,怎样将训练好的模型放入Android项目中并进行成功编译?又或者怎样创建自己的Android Tensorflow项目?

PS:
之前没有安卓开发的经验,纯粹是为了实现将TF模型移植到手机才开始上手,目前属于入门级小白,如有错误之处,欢迎批评指正!


手机调用TF模型的过程简介:

1、 保存训练完毕的TF模型
2、 在Android项目中导入TF模型、导入Android平台调用TF模型需要的jar包和so文件 (它们负责TF模型的解析和运算)
3、定义变量、存储数据,通过jar包提供的接口进行模型的调用


环境

TensorFlow版本: r0.12
python 版本:2.7
Python IDE: Spyder
Android IDE : Android Studio


移植过程

我们以mnist数据集上自己训练的一个图像识别模型为例,进行讲解

一、 在使用python代码编写的TF模型定义中为模型的输入层和输出层Tensor Variable分别指定名字(通过形参 ‘name’)

X = tf.placeholder(tf.float32, shape = […], name=‘input’)  //网络的输入
Y = tf.nn.softmax(tf.matmul(f, out_weights) + out_biases, name=’output’)  //网络的输出

名字可以随便起,以方便好记为主,后面还会反复用到。我起的是input和output。


二、 将使用TensorFlow训练好的模型保存为.pb文件

在模型训练结束后的代码位置,添加下述两句代码,可将模型保存为.pb文件

output_graph_def = tf.graph_until.convert_variables_to_constants(session, session.graph_def, output_node_names=[‘output’])
//形参output_node_names用于指定输出的节点名称

贴一个说明文档,帮助大家进一步了解这个函数

这里写图片描述

with tf.gfile.FastGFile(model\mnist.pb, mode = ’wb’) as f:
    f.write(output_graph_def.SerializeToString())

第一个参数用于指定输出的文件存放路径、文件名及格式。我把它放在与代码同级目录的model文件下,取名为mnist.pb

第二个参数 mode用于指定文件操作的模式,’wb’中w代表写文件,b代表将数据以二进制方式写入文件。

如果不指明‘b’,则默认会以文本txt方式写入文件。现在TF还不支持对文本格式.pb文件的解析,在调用时会出现报错。

注:
1)、不能使用 tf.train.write_graph()保存模型,因为它只是保存了模型的结构,并不保存训练完毕的参数值
2)、不能使用 tf.train.saver()保存模型,因为它只是保存了网络中的参数值,并不保存模型的结构。
很显然,我们需要的是既保存模型的结构,又保存模型中每个参数的值。以上两者皆不符合。


三、生成在Android平台上调用tensorflow 模型需要的jar包和so文件
1) 从github下载TensorFlow的项目源码

2) 安装Bazel
Bazel的安装过程,我在另一篇文章中有介绍,欢迎参阅
Ubuntu14.04 源代码安装 TensorFlow r0.12 详细教程

3) 参考如下图的官方教程,生成Android上调用TF模型需要的so文件和jar包
这里写图片描述


四、安装Android Studio,创建Android 项目

Android Studio安装完毕后,还需要搭建环境。搭建过程可参考我的另一篇文章:

Ubuntu 使用 Android Studio 编译 TensorFlow android demo


五、添加资源到项目

1) 将(二)步生成的.pb文件放入项目中
打开 Project view ,app/src/main/assets。
若不存在assets目录,右键main->new->folder->Assets Folder

2) 添加(三)步生成的jar包
打开Project view,将jar包拷贝到app->libs下
选中jar文件,右键 add as library

3) 添加(三)生成的so文件
打开 Project view,将.so文件拷贝到 app/src/main/jniLibs下(jniLibs文件夹若没有则新建)

如果我讲的不太明白的话,可自行谷歌搜索“如何在 Android studio中添加引用 jar文件和so文件”


六、创建接口,实现调用

1) 导入jar包和so文件
在需要调用模型的.java文件中,导入jar包:

import org.tensorflow.contrib.android.TensorFlowInferenceInterface

在该java类定义的首行,导入so文件:

{
    System.loadLibrary(“tensorflow_inference”)
}

2)定义变量及对象

private static final String MODEL_FILE = “file:///android_asset/mnist.pb”   //模型存放路径
private static final String INPUT_NODE = “input”;       //模型中输入变量的名称
private static final String INPUT_NODE = “output”;  //模型中输出变量的名称
private static final int NUM_CLASSES = 10;  //样本集的类别数量,mnist数据集对应10

private static final int HEIGHT = 24;       //输入图片的像素高
private static final int WIDTH = 24;        //输入图片的像素宽
private static final int CHANNEL = 3;    //输入图片的通道数:RGB

private floats inputs = new float[HEIGHT*WIDTH*CHANNEL];    //用于存储的模型输入数据
private floats outputs = new float[NUM_CLASSES];    //用于存储模型的输出数据

2)Tensorflow 接口初始化

private TensorFlowInferenceInterface inferenceInterface = new TensorFlowInferenceInterface();   //接口定义
inferenceInterface.initializeTensorFlow(getAssets(), MODEL_FILE);  //接口初始化

在完成上述两步之后,就可以反复调用模型。
在每次调用前,先将待输入的数据按顺序存放进 inputs 变量中,然后执行下述三个语句。

3)TF模型的调用

inferenceInterface.fillNodeFloat(INPUT_NODE, new int[]{1, HEIGHT, WIDTH, CHANNEL}, inputs);  //送入输入数据
inferenceInterface.runInference(new String[]{OUTPUT_NODE});     //进行模型的推理
inferenceInterface.readNodeFloat(OUTPUT_NODE, outputs); //获取输出数据

然后接下来的主要工作就是安卓项目的编译以及将编译完的apk文件安装到手机,这部分内容与一般的安卓项目并无区别。这些内容在我的另一篇文章中也有所提及:

Ubuntu 使用 Android Studio 编译 TensorFlow android demo


为了便于大家理解,我写的代码比较面向过程。当然放在java环境下,还是要多多从面向对象的角度出发,合理的封装,提高代码的复用性。


我在CSDN发布的文章,也会同步发布到公众号 CV_life。

欢迎有兴趣的同学订阅


这里写图片描述

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

详解如何将TensorFlow训练的模型移植到Android手机 的相关文章

  • Android Room ORM:支持 SQLite 的自定义构建

    我需要使用 SQLite 的自定义构建 基于 sqlite org 版本https sqlite org android doc trunk www index wiki https sqlite org android doc trunk
  • Android模拟器中的互联网连接始终显示连接状态

    我尝试了多种方法来检查我的 Android 模拟器中的互联网连接 ConnectivityManager conMgr ConnectivityManager getSystemService Context CONNECTIVITY SE
  • 如何在android中获取MapView API?

    如何在android中获取MapView API thanks Android 文档中实际上是这么写的 你好 地图视图 http developer android com guide tutorials views hello mapvi
  • 在Android中使用RxJava2插入SQLiteDatabase

    我在学习RxJava2在安卓中 谁能解释一下我们如何使用将数据插入 SQLiteDatabaseRxJava2 这是我尝试使用的代码示例 但它将数据插入数据库六次 单击时 getCompletableObservable subscribe
  • 如何解决:无法解析:com.mapbox.mapboxsdk:mapbox-android-sdk:9.5.0

    我在Android studio中尝试使用mapbox时遇到这个问题无法解析 com mapbox mapboxsdk mapbox android sdk 9 5 0 问题是什么 我的 build gradle 依赖项 dependenc
  • 多种语言的多种字体

    我最近在开发应用程序时遇到了一种情况 我必须在文本视图中显示不同的语言 目前我正在展示一些使用字体 字体像这样 Typeface tf Typeface createFromAsset this getAssets DroidHindi t
  • Google 地图位于活动的中间区域

    我正在使用 Android studio 2 1 2 我检查了一下 大多数问题要么使用旧版本的 Android studio 要么使用一些旧的类 这些类不适用于我的情况 从文件 gt 新项目 gt 我使用了选项Google Maps Act
  • Android studio - 如何保存先前活动中选择的数据

    这是我的代码片段 这Textview充当按钮并具有Onclicklistner在他们 当cpu1000时Textview单击它会导致cpu g1000其代码如下所示的类 public class Game 1000 extends AppC
  • 警报对话框中的 Webview 不显示内容

    我正在开发一个 Android 应用程序 我需要在网络视图和警报对话框上显示一个网站 该站点显示在网络视图中 但不显示在警报对话框中 到目前为止 这是我的代码 WebView WebView myWebView WebView v find
  • Android Gradle 问题 - Flutter / Dart

    我的 Gradle 同步有问题 我使用 IntelliJ 和 Android Studio 构建 Flutter Dart 应用程序 我添加了 2 个新的依赖项 现在 Gradle 出现了问题 在 Android Studio 中一切正常
  • 将非 Android 项目添加到 Android 项目

    我在 Eclipse 中有三个项目 Base Server 和 AndroidClient Base和Server是Java 1 7项目 而AndroidClient显然是一个android项目 基础项目具有在服务器和 Android 客户
  • 带有 backstack Resume 的嵌套片段

    在我的应用程序中有几个fragments in an activity我正在维护一个backStack对于这些fragment 一切都很好 但其中有一个嵌套的片段 当我把它放入backStack然后再次按后退按钮恢复 该片段看起来与先前的内
  • Android 为什么这不会抛出错误的线程异常?

    我的印象是视图只能从主线程操作 但是 为什么这不会崩溃 public class MainActivity extends Activity TextView tv Override protected void onCreate Bund
  • Android 4.4 Kitkat 自定义视图操作栏未填充整个宽度

    我试图拥有一个带有自定义视图的简单操作栏 但我得到以下结果 为了演示 我创建了一个带有黄色背景颜色的简单 xml 它应该占据整个宽度 这是 XML
  • 以编程方式向 LinearLayout 添加边框

    我该如何添加以编程方式LinearLayout 的边框 假设我们创建了这个布局 LinearLayout TitleLayout new LinearLayout getApplicationContext TitleLayout setO
  • 找不到数据库路径是不可能的

    我对 android 开发很陌生 现在我正在尝试通过扩展 SQLiteOpenHelper 的类创建数据库 我确信数据存储在我的 Nexus 7 我用来测试应用程序的设备 上的某个位置 但是我找不到数据库的路径 我四处寻找其他类似的问题 所
  • React Native HTTPS Api 调用在 IOS 中有效,但在 Android 中无效

    所以基本上我所做的就是简单地对启用了 HTTPS 的 UAT 服务器进行简单的 Axios 调用 我已经在 IOS 中测试了整个应用程序 API 调用工作正常 但一旦我在 Android 中测试了相同的应用程序 在真正的 Android 设
  • JetPack Compose - 卡中行中的weight() 不起作用

    创建 Android 应用程序时 我将一些可组合项放在卡片的一行中 如下所示 但它没有按我的预期工作 我添加 weight 1f 的可组合项不再显示 data class Test val title String val text Str
  • 如何在Tensorflow中保存估计器以供以后使用?

    我按照教程 TF Layers 指南 构建卷积神经网络 以下是代码 https github com tensorflow tensorflow blob r1 1 tensorflow examples tutorials layers
  • Android Espresso 单击按钮时出现错误

    我正在尝试使用 espresso 框架为 Android 应用程序编写一些 UI 测试 现在我只是检查启动屏幕上是否存在所有元素 然后尝试单击登录按钮 单击按钮时 测试由于错误而失败 我似乎无法理解为什么会发生这种情况 我的测试代码是 Ru

随机推荐

  • 积跬步,聚小流------用smartpaginator来做分页

    网络上的实例 xff08 jquery smarypaginator 例图 xff09 如果说是从 百度 上搜索过 jquery分页插件 的朋友 xff0c 相信对上面的图片不会陌生 xff0c 几乎所有介绍 jquery分页插件 的文章中
  • 我的2017-搭建个人网站,搭建PHP环境(2)

    上周确定了 xff0c 想要应用的后台语言 xff0c 面临的最大问题就是 xff1a php我不会啊 xff0c 哈哈哈哈 xff0c 所以接下来首先要做的就是了解 学习php的相关知识 接下来的第一步 xff1a 环境搭建 1 下载安装
  • 设计一个类:只能在堆上创建对象?只能在栈上创建对象?只能创建一个对象?

    在C 43 43 中 xff0c 类的对象建立分为两种 xff0c 一种是静态建立 xff0c 如A a xff1b 另一种是动态建立 xff0c 如A ptr 61 new A xff1b 这两种方式是有区别的 静态建立一个类对象 xff
  • 我的2017-搭建个人网站,hello PHP(2)

    学习一门语言 xff0c 例行惯例 xff0c 先来个 hello world 搭建好了php环境 xff0c 然后就可以运行php了 xff0c 首先用一种最简单的方法 xff0c 在wamp安装位置 xff08 相应的文件夹 xff09
  • 我的2017-搭建个人网站,自拟定代码根目录

    wampserver集成安装环境安装的php的运行根目录在wamp文件夹中的www文件夹下 xff0c 而为了有效的将代码和服务器进行分离 xff0c 可以采用自拟定代码根目录进行修改 1 确定代码编辑位置 xff0c 修改服务器默认指向
  • 编译原理:求First集与Follow集的方法

    明天就要考试了 xff0c 发现一直理解错了First集与Follow集的解法 xff0c 贴上比较好理解的 文法 xff1a S ABc A a B b First集合求法 能 由非终结符号推出的所有的开头符号或可能的 xff0c 但要求
  • 位运算n & (n-1)的妙用

    本文转自 xff1a http blog csdn net zheng0518 article details 8882394 按位与的知识 n amp n 1 作用 xff1a 将n的二进制表示中的最低位为1的改为0 xff0c 先看一个
  • 二分查找算法(Java版)

    二分查找算法是非常经典且基本的算法 1 二分查找又称折半查找 xff0c 优点是比较次数少 xff0c 查找速度快 xff0c 平均性能好 xff1b 其缺点是要求待查表为有序表 xff0c 且插入删除困难 因此 xff0c 折半查找方法适
  • 电脑眼睛保护色——绿豆沙色

    眼科医生建议电脑屏幕不要用白色 xff0c 因为白色对眼睛的刺激是最大的 xff0c 最损伤视力 xff01 眼科医生推荐的颜色是 柔和的淡绿色 xff0c 也有人叫做绿豆沙色 按HSU 设置为 xff1a 色度 HUE xff1a 85
  • Java中两个数交换的细节问题

    在码代码过程中 xff0c 两个数交换是经常用到的 xff0c 但在Java 中 xff0c 如果忽略了值传递和引用传递就很容易出错 看一下两个整数交换代码 xff1a public void swap int a int b int t
  • 微信 Mars Android Sample 源码分析

    注 xff1a 原文首发地址 零 前言 Mars 是微信官方开源的跨平台跨业务的终端基础组件 xff0c 具有高质量网络连接模块 长短连接 智能心跳机制 高性能日志模块和网络监测组件等 而整个 Android Sample 是基于 Mars
  • Android NDK 开发:实战案例

    0 前言 如果只学理论 xff0c 不做实践 xff0c 不踩踩坑 xff0c 一般很难发现真正实践项目中的问题的 xff0c 也比较难以加深对技术的理解 所以延续上篇 JNI 的实战Android NDK开发 xff1a JNI实战篇 x
  • Android NDK 开发:CMake 使用

    1 前言 当在做 Android NDK 开发时 xff0c 如果不熟悉用 CMake 来构建 xff0c 读不懂 CMakeLists txt 的配置脚本 xff0c 很容易就会踩坑 xff0c 遇到编译失败 xff0c 一个很小的配置问
  • 性能测试简单介绍

    性能测试介绍 指通过自动化的测试工具模拟多种正常 峰值以及异常负载条件来对系统的各项性能指标进行测试 对性能的认识 从用户的角度 xff1a 从开发的角度 xff1a 从系统管理员的角度 xff1a 那么 xff1f 测试应该关注哪些呢 x
  • U盘系统盘EFI怎么恢复为普通盘?

    U盘重装系统时 xff0c 会使用U盘来制作PE xff0c 装完系统之后 xff0c 插上U盘会发现有两个盘 xff0c 一个是EFI xff0c 一个是主盘 xff0c EFI是占用了几百M空间的 xff0c 打开磁盘管理器就可以查看
  • usb camera(UVC Camera)在android 9.0的解决方法(仅供参考)

    采用的usb驱动是https github com jiangdongguo AndroidUSBCamera这个里面的libusbcamera xff0c 在手机的android 系统未升级到9 0时 xff0c 是可以正常使用的 但是升
  • av_read_frame AVERROR_EOF

    问题描述 xff1a 使用ffmpeg API编码 xff0c 调用av read frame 读取缓存队列中的视频流时 xff0c 提示AVERROR EOF xff0c 导致进程提前终止 原因解析 xff1a 因为ffmpeg的输入为缓
  • 用虚拟机在一台电脑上实现xPC实时仿真

    背景介绍 一般的xPC仿真需要2台电脑来分别实现目标机和宿主机 xff0c 两者之间通过以太网或者串口实现通讯 Matlab的xPC Target提供了一个运行在目标机上的高度剪裁的实时操作内核 xff0c 无需在目标机上面安装任何的操作系
  • 将 TensorFlow 移植到 Android手机,实现物体识别、行人检测和图像风格迁移详细教程

    2017 02 23 更新 贴一个TensorFlow 2017开发者大会的Mobile专题演讲 移动和嵌入式TensorFlow 这里面有重点讲到本文介绍的三个例子 xff0c 以及其他的移动和嵌入式方面的TF相关问题 xff0c 干货很
  • 详解如何将TensorFlow训练的模型移植到Android手机

    前言 本文中出现的TF皆为TensorFlow的简称 先说两句题外话吧 xff0c TensorFlow 前两天热热闹闹的发布了正式版r1 0 xff0c 可感觉自己才刚刚上手 r0 12 xff0c 这个时代发展的太快 xff0c 脚步是