手把手教你在Android中使用bsdiff实现文件增量更新 (超详细)

2023-11-01

全量更新和增量更新

在Android开发中,版本更新是一个非常常见的需求。目前更新主要分为两种方式,全量更新增量更新

如下图,分别是酷安应用宝两个商店的更新页面:

在这里插入图片描述

在这里插入图片描述
可以明显的看到
酷安的更新方式是全量更新,即每次下载全量的新版本文件,当然并不是酷安不支持增量,只是补丁包还没生成出来。
应用宝的更新方式是增量更新,下载新文件就旧文件的差异部分,然后跟就文件做合并即可。

增量更新的好处很明显

仅需要下载少量的文件即可完成更新,理论上如果是基于之前文件基础做改动的话,那么文件越大,优势越明显。

例如上图中的 PICOOC,如果全量更新的话需要下载92M左右的文件,增量更新的话只需要下载26M的文件。


bsdiff 实现增量更新

网上查了一些资料,目前比较主流的方案是使用 bsdiff 实现文件的差分与合并。

官网:http://www.daemonology.net/bsdiff/

大体流程如下:

新文件和旧文件对比生成补丁文件
在这里插入图片描述

旧文件和补丁文件合并成新文件
在这里插入图片描述

出补丁包的过程肯定是在服务端进行的,Android端比较简单,只负责拿到补丁包然后跟本地文件做合并,校验下合并文件的MD5是否跟新包MD5一致即可。


Android端bsdiff实现

为了方便各位大佬快速实现功能,我整了个库发布到 mavenCentral

懒得自己弄的可以直接依赖一下远程库就能实现,参考https://github.com/yuzhiqiang1993/XeonDiff

需要自定义的继续往下看。

bsdiff 官网介绍的时候提到bsdiff用到了 bzip2

所以我们需要下载bsdiffbzip2 源码。

bsdiff: http://www.daemonology.net/bsdiff/bsdiff-4.3.tar.gz

bzip2: https://www.sourceware.org/bzip2/downloads.html

网络不好的可以从Github上自取、已经处理好了,直接用就行。源码也放上去了,想自己处理的按照下文做就行。

Github地址 :https://github.com/yuzhiqiang1993/XeonDiff

在这里插入图片描述

废话不多说,开始干

首先新建一个module,bsdiff是用C语言实现的,我们需要用到JNI。右键新建module,选择 Android Native Library, 名称随意填
在这里插入图片描述

会生成如下文件:
在这里插入图片描述

然后把下载解压后的 bzip文件夹以及bsdiff.c和bspatch.c 拷贝到cpp 目录下
如下:
在这里插入图片描述
为了方便区分,改下名字,把baip2-1.0.8的包名也改成合法的,以免出问题。
如下

在这里插入图片描述

然后先在 CMakeLists 把bsdiff和bspatch源文件添加进去

在这里插入图片描述

这个时候返回去查看 bsdiff.c 和 bspatch.c 文件会提示报错,
在这里插入图片描述

不用管,直接删掉报错代码,然后在下方报红的地方根据提示导入头文件
在这里插入图片描述

两个文件操作一样,这样就没报错了。

然后就是去声明 native 方法了。

先去瞅一眼bsdiffbspatchmain 方法

以bsdiff的main方法为例:
在这里插入图片描述

首先是接收两个参数,第一个是数值,值必须是4,第二个是个数组,数组中第一个参数没啥用,就是报错的时候提示用的,第二个参数是旧文件地址,第三个参数是新文件地址,第四个参数是补丁文件地址,看注释也能看明白。

在这里插入图片描述
方法执行完成后返回0

bspatch的main方法类似,自己看一下就行。

知道传什么参数后就好办了,下一步就是声明native方法即可。

如下

package com.xeon.bsdiff.utils

/**
 * @description: BsDiff工具类
 * @author : yuzhiqiang (zhiqiang.yu.xeon@gmail.com)
 * @date   : 2021/11/16
 * @time   : 22:12
 */

object XeonBsDiffUtil {

    init {
        System.loadLibrary("xeon_bsdiff")
    }

    /**
     * 生成补丁包
     * @param newFilePath String 新文件的地址
     * @param oldFilePath String  旧文件的地址
     * @param patchFilePath String  生成的补丁文件地址
     * @return Int
     */
    external fun diff(newFilePath: String, oldFilePath: String, patchFilePath: String): Int
    /**
     * 合并差分包
     * @param oldFilePath String 旧文件地址
     * @param patchFilePath String 补丁文件地址
     * @param combineFilePath String 合并后的新文件地址
     * @return Int
     */
    external fun patch(oldFilePath: String, patchFilePath: String, combineFilePath: String): Int

}

然后根据提示在xeon_bsdiff.cpp文件中生成对应方法:

extern "C"
JNIEXPORT jint JNICALL
Java_com_xeon_bsdiff_XeonBsDiffUtil_diff(JNIEnv *env, jobject thiz, jstring new_file_path, jstring old_file_path, jstring patch_file_path) {


}
extern "C"
JNIEXPORT jint JNICALL
Java_com_xeon_bsdiff_XeonBsDiffUtil_patch(JNIEnv *env, jobject thiz, jstring old_file_path, jstring patch_file_path, jstring combine_file_path) {


}

下面就是实现这两个方法就好了。

首先是修改 bsdiffbspatchmain 方法名称,方便待会儿导入

示例:
在这里插入图片描述

然后更改xeon_bsdiff.cpp文件代码

如下:

#include <jni.h>

/*声明要调用的方法*/
extern "C" {
extern int bsdiff_main(int argc, char *argv[]);
extern int bspatch_main(int argc, char *argv[]);
}



/**
 * 生成补丁文件
 */
extern "C"
JNIEXPORT jint JNICALL
Java_com_xeon_bsdiff_utils_XeonBsDiffUtil_diff(JNIEnv *env, jobject thiz, jstring new_file_path, jstring old_file_path, jstring patch_file_path) {

    const char *newFile = env->GetStringUTFChars(new_file_path, nullptr);
    const char *oldFile = env->GetStringUTFChars(old_file_path, nullptr);
    const char *patchFile = env->GetStringUTFChars(patch_file_path, nullptr);

    char *argv[] = {"xeon_bs_diff", const_cast<char *>(oldFile), const_cast<char *>(newFile),
                    const_cast<char *>(patchFile)};
    /* 调用bsDiff的main方法,*/
    int res = bsdiff_main(4, argv);
    env->ReleaseStringUTFChars(old_file_path, oldFile);
    env->ReleaseStringUTFChars(new_file_path, newFile);
    env->ReleaseStringUTFChars(patch_file_path, patchFile);
    return res;
}
/**
 * 合并补丁文件
 */
extern "C"
JNIEXPORT jint JNICALL
Java_com_xeon_bsdiff_utils_XeonBsDiffUtil_patch(JNIEnv *env, jobject thiz, jstring old_file_path, jstring patch_file_path, jstring combine_file_path) {
    const char *oldFile = env->GetStringUTFChars(old_file_path, nullptr);
    const char *patchFile = env->GetStringUTFChars(patch_file_path, nullptr);
    const char *combineFile = env->GetStringUTFChars(combine_file_path, nullptr);
    char *argv[] = {"xeon_bs_patch", const_cast<char *>(oldFile), const_cast<char *>(combineFile),
                    const_cast<char *>(patchFile)};
    /*调bspatch的main方法*/
    int res = bspatch_main(4, argv);
    env->ReleaseStringUTFChars(old_file_path, oldFile);
    env->ReleaseStringUTFChars(combine_file_path, combineFile);
    env->ReleaseStringUTFChars(patch_file_path, patchFile);
    return res;
}

至此,代码已经编写完成了。

此时如果你直接运行App的话,应该提示如下错误:

在这里插入图片描述

提示找不到bzip相关的引用。
这个时候需要去CMakeList中导入一下bzip2里的.c源文件

如下
在这里插入图片描述
关键代码;

#导入bzip2
include_directories(${CMAKE_SOURCE_DIR}/bzip2)
#列出bzip2目录下所有.c 源文件 赋值给bzip2
file(GLOB bzip2 bzip2/*.c)

然后在add_library中添加.c源文件

add_library(
        # Sets the name of the library.
        xeon_bsdiff

        # Sets the library as a shared library.
        SHARED

        # Provides a relative path to your source file(s).
        ${bzip2}
        bsdiff.c
        bspatch.c
        xeon_bsdiff.cpp
)

然后再运行,应该会提示如下报错:
在这里插入图片描述

multiple definition of `main’
表示有多个main方法的定义,并给出了文件名。这个简单,点击指定文件名把main方法改一下即可。

例如:
把bzip2recover 中的main改成 bzip2recover_main
在这里插入图片描述
其他提示的文件同理

都改完之后应该就没什么报错了,可以正常运行了。

至此,我们的diff module 的所有代码就ok了。


下面就是正常的业务编写了,不浪费篇幅,直接贴代码了:

package com.xeon.xeonbsdiff

import androidx.lifecycle.*
import com.blankj.utilcode.util.*
import com.xeon.bsdiff.utils.XeonBsDiffUtil
import kotlinx.coroutines.*
import java.io.File
import kotlin.system.measureTimeMillis


/**
 * @description: MainViewModel
 * @author : yuzhiqiang (zhiqiang.yu.xeon@gmail.com)
 * @date   : 2021/11/16
 * @time   : 22:20
 */

class MainViewModel : ViewModel() {

    /*异常处理*/
    private val exceptionHandler = CoroutineExceptionHandler { coroutineContext, throwable ->
        LogUtils.e("异常了:${throwable.localizedMessage}")
        throwable.printStackTrace()
    }

    /*文件后缀名*/
    private val suffix = "apk"
    /*旧文件*/
    private val oldFile = File(PathUtils.getExternalAppFilesPath(), "old.${suffix}")
    /*新文件*/
    private val newFile = File(PathUtils.getExternalAppFilesPath(), "new.${suffix}")
    /*补丁文件*/
    private val patchFile = File(PathUtils.getExternalAppFilesPath(), "patch.${suffix}")
    /*合并后的文件*/
    private val combineFile = File(PathUtils.getExternalAppFilesPath(), "combine.${suffix}")

    /*生成补丁文件*/
    fun fileDiff() {
        viewModelScope.launch(exceptionHandler) {

            val measureTimeMillis = measureTimeMillis {
                withContext(Dispatchers.IO) {
                    if (!oldFile.exists() || !newFile.exists()) {
                        ToastUtils.showShort("对比包缺失")
                        return@withContext
                    }
                    /*生成差分包*/
                    XeonBsDiffUtil.diff(newFile.absolutePath, oldFile.absolutePath, patchFile.absolutePath)
                }
            }

            LogUtils.i("生成补丁文件耗时:${measureTimeMillis}")
            LogUtils.i("oldFileSize:${FileUtils.getSize(oldFile)}")
            LogUtils.i("newFileSize:${FileUtils.getSize(newFile)}")
            LogUtils.i("patchFileSize:${FileUtils.getSize(patchFile)}")

        }

    }

    /*合并补丁文件*/
    fun filePatch() {
        viewModelScope.launch(exceptionHandler) {
            val measureTimeMillis = measureTimeMillis {
                withContext(Dispatchers.IO) {
                    LogUtils.e(PathUtils.getExternalAppFilesPath())
                    if (!oldFile.exists() || !patchFile.exists()) {
                        ToastUtils.showShort("补丁文件或旧文件缺失")
                        return@withContext
                    }
                    XeonBsDiffUtil.patch(oldFile.absolutePath, patchFile.absolutePath, combineFile.absolutePath)
                }
            }
            LogUtils.i("合并补丁文件耗时:${measureTimeMillis}")
            LogUtils.i("newFile MD5:${FileUtils.getFileMD5ToString(newFile)}")
            LogUtils.i("combineFile MD5:${FileUtils.getFileMD5ToString(combineFile)}")

        }

    }
}

然后找个文件,在之前文件基础上改改就可以试验一下了。

我这边是随便找了两个相差几个版本的apk,是自己比较喜欢用的一款开源阅读软件,贼好用。

这里直接上运行后结果了,如下:

生成补丁文件的Log:
在这里插入图片描述

合并补丁文件Log:
在这里插入图片描述

文件截图:
在这里插入图片描述

可以看到,新文件和合并后的文件MD5值一致,至此,我们就实现了文件的增量更新操作。

因为bsdiff是基于二进制的处理,所以不仅仅是apk可以实现增量更新,理论上何文件都可以使用,例如 图片,文本文件等等

注意,打出来的so文件在这个目录下。
在这里插入图片描述

好了,这样我们就在Android上实现了文件的增量更新,实际开发中,Android要做的也比较简单,只需要下载补丁文件做合并操作即可。大多数逻辑还是在后端的。

以下是实际开发过程中可能需要注意的问题:

  • 生成补丁包是非常耗时的操作,不过绝大多数情况下是在服务端进行的,相对来讲合并文件就快很多。
  • 理论上每出一个新版本的文件,都要跟之前所有版本的旧文件做diff操作,需要维护很多条补丁包记录。
  • 如果新文件和旧文件相差太大的话,搞不好还会出现补丁文件比新文件都大的情况,这种就得不偿失了.
  • 如果本身文件不大的话,感觉没什么必要去走增量更新,走增量更新反而会增加后端的维护成本以及增加出错的风险,这个需要根据实际的业务场景去考虑。

在实际开发过程中,Android端主要负责进行文件合并的操作,生成补丁包的过程肯定是要在服务端进行的,如果对服务端生成补丁包的流程感兴趣的话可以看:手把手教你在Java后端使用bsdiff实现增量更新 这篇文章,这样一来,从Android端到服务端之间的整个技术方案就打通了。


如果你觉得本文对你有帮助,麻烦动动手指顶一下,可以帮助到更多的开发者,如果文中有什么错误的地方,还望指正,转载请注明转自喻志强的博客 ,谢谢!

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

手把手教你在Android中使用bsdiff实现文件增量更新 (超详细) 的相关文章

  • 如何查看 Android 设备上安装的 SD 卡还有多少可用空间?

    如何以编程方式检查 Android 设备上安装的 SD 卡有多少可用空间 要获取外部 SD 卡的可用 可用 空间以显示与菜单 gt 设置 gt SD 卡和手机存储的编号一致的编号 请使用以下代码 StatFs stat new StatFs
  • Android 已弃用屏幕尺寸?

    嘿 我需要在我的应用程序中获取屏幕的宽度 该应用程序将在 2 1 及更高版本上运行 我已经将其设置为如下所示 该方法已被弃用 我可能应该使用 getSize 或其他方式 但问题是 这是否适用于 3 0 和 4 0 等 Android 版本
  • Android 6 getAccountName() 缺少 android.permission.GET_ACCOUNTS

    在 Android 6 设备上运行时出现以下异常 java lang SecurityException Missing android permission GET ACCOUNTS 这看起来像是一个相当简单的例外 但对我来说并非如此 我
  • Android SSL 无对等证书

    我有一个例外 没有同行证书 当我询问谷歌时 我得到了解决方案 我信任所有证书 但这个问题的答案是 它是不安全的 所以我给班级打电话 HostnameVerifier hostnameVerifier org apache http conn
  • 如何在 Windows Phone 8 中安装 .xap PhoneGap 版本?

    我使用phonegap android开发了一款简单的游戏 但在为Windows iOS Android 黑莓等构建后 它仅适用于Android设备 因此我可以为Android设备安装apk文件 但在Windows xap文件中未检测到Wi
  • 从另一个 Android 应用程序打开 Instagram 应用程序并发送带有标题的图像

    我基本上寻找的是从另一个应用程序打开 Instagram 应用程序并发送带有标题的图像 有一些有用的文档可以在 iOS 中执行此操作 iPhone 挂钩 https instagram com developer mobile sharin
  • 需要在 Android Studio 中使用 Team Foundation 客户端可能的替代方案/解决方法吗?

    我有一个场景 我需要使用 android studio 作为 IDE 使用 Team Foundation Server 作为源代码控制存储库 问题是android studio中没有TFS的插件 并且没有 TFS Windows 的独立客
  • Android、AdMob:AdMob 广告刷新会破坏帧速率

    我正在开发一款游戏 并且进展顺利 不过 我确实对 AdMob 广告刷新有一些疑问 每次刷新广告或绘制广告的不同方面时 我的帧速率都会急剧下降 几乎使游戏无法玩 这是我用于加载广告的内容 ad new AdView this AdSize B
  • Android:自动从项目包中删除未使用的图像

    我正在开发一个相当大的android项目 并且在drawable文件夹中有很多图像 其中许多图像未在项目中使用 因为它们已被替换 并且占用了宝贵的空间 有什么方法可以自动找到这些图像并删除它们 而不是搜索项目中的每个图像 我使用过的一些工具
  • 从 DecorView@2da7146[MyActivity] 中找不到 ViewTreeLifecycleOwner

    从撰写更新后alpha 11 to alpha 12 or beta 01 每当我打开具有撰写视图的活动或片段时 我都会遇到此崩溃 我在用AppCompatActivity它实现了LifecycleOwner 所以这非常奇怪 java la
  • 如何将txt文件添加到你的android项目中? [复制]

    这个问题在这里已经有答案了 我的Android studio版本是1 5 1 显然这个 never 版本没有 txt 文件的 asset 文件夹 您打算如何将这些文件包含到您的项目中 以及如何进一步使用您内部的应用程序 谢谢你的建议 Pro
  • 推送通知需要很长时间才能到达

    我在适用于 iOS 和 Android 的 Adob e Air 应用程序中遇到推送通知的奇怪问题 我正在使用 Milkman Games 的 Easy Push ANE 以及 One Signal 服务 问题是通知确实会到达 但有时 随机
  • Oreo(API 26)-drawOverlay + 在状态栏上绘制

    在android oreo中 我无法使用WindowManager LayoutParams TYPE SYSTEM ERROR不再需要并且必须使用WindowManager LayoutParams TYPE APPLICATION OV
  • 错误:包 com.google.android.gms.appstate 不存在

    由于此错误 无法编译我的 android 项目 BaseGameUtils src main java com google example games basegameutils GameHelper java Error 32 39 e
  • 更改弹出对话框的背景颜色

    我编写了显示弹出对话框的 android 代码 但我想将背景颜色从黑色更改为白色 然后更改文字颜色 这是对话框的代码 mPrefs PreferenceManager getDefaultSharedPreferences this Boo
  • 无法仅在控制台中启动 androidstudio

    你好 我的问题是下一个 我下载了Android Studio如果我去 路径 android studio bin 我执行studio sh 我收到以下错误 No JDK found Please validate either STUDIO
  • Listview里面只有一个Element

    您好 我正在尝试将列表视图放入列表视图中的列表视图中 唯一的问题是只有第一个列表视图正确显示所有元素 此后的每个列表视图仅包含一个元素 UPDATE 创建我自己的不可滚动列表视图解决了这个问题 https stackoverflow com
  • 在运行时用Dagger添加Retrofit RequestInterceptor

    我正在使用匕首和改装 我用 Dagger 注入我的 Retrofit 服务 现在我想做一个授权请求来获取 accessToken 之后 我想使用请求拦截器来增强我的 api 模块 以便将此访问令牌用于将来的请求 我的想法是在收到访问令牌后使
  • Android 等距游戏引擎 [关闭]

    很难说出这里问的是什么 这个问题是含糊的 模糊的 不完整的 过于宽泛的或修辞性的 无法以目前的形式得到合理的回答 如需帮助澄清此问题以便重新打开 访问帮助中心 help reopen questions 是否有任何现有的开源或商业解决方案
  • Eclipse:缺少 Java 构建路径

    我正在尝试使用 Eclipse 来使用适用于 Android 的 Google SDK 教程 我能够让前两个项目正常工作 但是当运行第三个 R java 时消失了 所以我放弃了 我根据练习 3 的解决方案集制作了一个全新的包 它充满了错误

随机推荐