58同城Android Qigsaw升级

58同城Android Qigsaw升级

58同城 Android Qigsaw升级-v1.4.1多ABI构建

• 1.背景
• 2.方案调研与设计
• 3.升级过程

1.背景

Qigsaw 是 Wafers 动态化能力使用到的开源框架，承载着 58App、任意门、Mocha 的运行。小组于 2020/03 月份从 Qigsaw v1.3.2.2 fork 接入

v_1.3.2.2 版本只支持单 ABI 维度构建，随着国内越来越多应用商店需要上传64位 APK，对于 Qigsaw 支持 Base APK 和 Split APKs 基于 ABI 维度拆分的需求越来越强烈

Qigsaw v1.4.0 开始支持 APK 基于 ABI 维度进行拆分：

2.方案调研与设计

概括为：

• 对齐 Qigsaw 最新版本代码
• 保留旧有的自定义业务逻辑、bug 修复
• 改造 58App 打包脚本、ftp 备份、AVM 发版流程、任意门后台
• 无线基础能力测试、任意门、Mocha 业务线测试

原有发包流程：

目标发包流程：

3.升级过程

3.1 Qigsaw

(1) 获取 Qigsaw v1.4.1 最新代码

基于 WubaQigsawLib 新开一分支，拉取 Qigsaw v1.4.1 最新代码（此分支完全是最新代码，无任何旧有改造代码)

(2) 手动添加之前的修改点

#	changelog
1	maven 发布脚本
2	实现 split apk 上传逻辑
3	SplitConfiguration 增加设置 FakeActivty/Service/Receiver 的接口支持
4	去除 AABExtension 类的 group 调用限制
5	处理当前基础组件未跳转场景下资源加载问题
6	增加 multi dex 安装 Activity、启动 Activity 过滤配置
7	增加移动网络下载弹出外部处理选项
8	断点下载、并行下载器修复
9	增加上传 split config 文件的 task
10	增加插件过滤注入 resources 的 Activity 列表属性选项
11	修复 5，6系统适配问题
12	修复资源加载抛出异常问题
13	fix downloader nullpointer
14	适配AGP4.0 (最新版官方已修复)
15	支持R8编译

(3) 遇到的问题

AndResGuard适配问题
AndResGuard 是资源混淆工具，可以用来减少 APK 的大小。微信团队中的人开源出来的项目，它直接针对 APK 文件进行修改

AndResGuard 原理：

(1) 混淆资源
Android 在调用资源时，使用的都是 int 值，而不是直接使用 res name, 这种对应的关系打包后会被储存resource.arsc 文件里。AndResGuard 就是通过修改 res name, 使其变短，改成 a、b、c 这样的名字，从而减少文件大小

(2) 7z 压缩
AndResGuard 采用了 7z 极限压限，将图片，资源文件压缩（包括上面提到的 resource.arsc）来减少 apk 的大小

58App AndResGuard 打包流程 (输出的为 v7a 的包)：

升级 Qigsaw 之后的打包流程：

很明显，流程是不正确的，这样会导致分包出来的 abi 包大小变大，应该先对基础包进行 resguard 再进行分包，所以修改 Qigsaw 打包脚本如下：

// source: buildSrc/com.iqiyi.adle/QigsawAppBasePlugin:if (QigsawSplitExtensionHelper.isMultipleApkForABIs(project)) {SplitBaseApkForABIsTask splitBaseApkForABIs = ate("split${baseVariant.name.capitalize()}BaseApkForABIs", SplitBaseApkForABIsTask)splitBaseApkForABIs.baseVariant = baseVariantsplitBaseApkForABIs.apkSigner = apkSignersplitBaseApkForABIs.dynamicFeaturesNames = dynamicFeaturesNamessplitBaseApkForABIs.supportABIs = SupportABIs(project)splitBaseApkForABIs.baseAppCpuAbiListFile = baseAppCpuAbiListFilesplitBaseApkForABIs.baseApkFiles = baseApkFilessplitBaseApkForABIs.packageAppDir = packageAppDirsplitBaseApkForABIs.baseApksDir = baseApksDirTask resguardTask = ResguardTask(project, "${baseVariant.name.capitalize()}")// apply plugin: 'AndResGuard' 必须在 qigsaw application 插件前应用，否则会查找不到 resguardTaskif (resguardTask != null) {SplitLogger.w("found resguardTask")resguardTask.dependsOn baseAssemblebaseAssemble.finalizedBy resguardTasksplitBaseApkForABIs.dependsOn resguardTaskresguardTask.finalizedBy splitBaseApkForABIs} else {SplitLogger.w("not found resguardTask")baseAssemble.dependsOn splitBaseApkForABIspackageApp.finalizedBy splitBaseApkForABIs}}

此处有一个知识点：

宿主 App apply 插件 A、B，如果先 Apply A，再 Apply B，那么在 A 插件中无法获取到 B 插件中的 task. 所以需要调整 58App Qigsaw 插件和 resguard 插件的 apply 顺序

// apply plugin: 'AndResGuard' 必须在 qigsaw application 插件前应用，否则会查找不到 resguardTask
if (Boolean.parseBoolean(ON_JENKINS)) {apply from: &#adle'
}
if (Boolean.parseBoolean(AAB_SWITCH)) {apply from: '../adle'
}

Qigsaw 7z 深度压缩问题
58App 在使用 AndroResGuard 插件时，是开了 7z 压缩的，所以 Qigsaw 插件中也需要开启 7z 压缩，保持包大小一致

// 58App AndResGuard 配置
apply plugin: 'AndResGuard'andResGuard {enableResGuard = Boolean.ableResGuard)mappingFile = file("./")use7zip = true // 开启 7z 深度压缩useSign = true// ....
}

Qigsaw 打包插件也有 7z 压缩选项：

// buildSrc/com.iqiyi.adle.task.SplitBaseApkForABIsTask
// 对分包出的 apk 包进行重新压缩处理
if (use7z) {run7zCmd("7za", "a", "-tzip", unsignedBaseApk.absolutePath, unzipBaseApkDirForAbi.absolutePath + File.separator + "*", "-mx9")
} else {ZipUtils.zipFiles(Arrays.asList(unzipBaseApkDirForAbi.listFiles()), unzipBaseApkDirForAbi, unsignedBaseApk, compress)
}

开启之后发现，58App v7a 包缩小到 113M，运行时出现资源找不到异常。

我们先来了解下 7z 压缩：

7z 是一种主流高效的压缩格式，它拥有极高的压缩比

eg: 7z -tZip a test.zip ./test/* -mx0
把 test 文件夹中所有文件以存储压缩的模式压缩成 zip 格式的文件，压缩文件为 test.zip

a 为添加选项
-tZip 为压缩格式（-t7z…）
压缩率具体参数如下：
-mx0 仅存储不压缩，速度最快，无压缩，zip 大小等同原始文件夹
-mx1 极速压缩
-mx3 快速压缩
-mx5 标准压缩
-mx7 最大压缩
-mx9 极限压缩

我们先看下 Qigsaw 分包逻辑：

所以出现以上问题的原因为：

AndResGuard 插件已经对 58App 基础包 APK 进行了一次 mx9 深度压缩，由于 Qigsaw 插件在分包时需要解压原始包，
对 libs, abi 配置文件做处理，然后再进行压缩。不管是再次压缩时使用 7z 还是 zip，都会破坏原有基础包

解决方案：

分包时不解压 APK，直接使用 zip 操作修改再重签名，解决此问题的同时，也可以加快打包速度

// buildSrc/com.iqiyi.adle.task.SplitBaseApkForABIsTaskFile baseApk = baseApkFiles[0]List<String> abiList = supportABIs != null ? supportABIs.split(",") : nullif (abiList == null || abiList.isEmpty()) {SplitLogger.e("Base apk ${baseApk.absolutePath} has no native-library abi folder, multiple apks don't need.")return}if (abiList.size() == 1) {SplitLogger.e("Base apk ${baseApk.absolutePath} has only one native-library abi folder, multiple apks don't need.")return}abiList.each { String abi ->if (ains(abi)) {// 不能直接使用 7z 深度压缩，会影响 resources.arsc 的使用，导致资源找不到，所以这边使用 zip 命令操作// Copy base apkFile copyBaseApk = new File(baseApksDir, "${project.name}-${baseVariant.name.uncapitalize()}-${abi}${SdkConstants.DOT_ANDROID_PACKAGE}")if (!ists()) {copyBaseApk.parentFile.mkdirs()}if (ists()) {copyBaseApk.delete()}pyFile(baseApk, copyBaseApk)String copyBaseApkPath = AbsolutePath()// Delete signature related filesrunCmd("zip", "-d", copyBaseApkPath, "META-INF/CERT.RSA")runCmd("zip", "-d", copyBaseApkPath, "META-INF/CERT.SF")runCmd("zip", "-d", copyBaseApkPath, "META-INF/MANIFEST.MF")Set<String> masterSplitHandleFlags= new HashSet<>()abiList.each { String ABI ->if (abi != ABI) {// Delete other ABI's librunCmd("zip", "-d", copyBaseApkPath, "lib/${ABI}/**")// Delete other ABI's built-in splits (include master)dynamicFeaturesNames.each { String splitName ->if (!ains(splitName)) {runCmd("zip", "-d", copyBaseApkPath, "assets/qigsaw/${splitName}-master**.zip")masterSplitHandleFlags.add(splitName)}runCmd("zip", "-d", copyBaseApkPath, "assets/qigsaw/${splitName}-${ABI}**.zip")}}}// Update base apk cpu abi list fileFile baseAppCpuAbiListFileForAbi = new File(baseApksDir,"assets/${baseAppCpuAbiListFile.name}")if (!ists()) {baseAppCpuAbiListFileForAbi.parentFile.mkdirs()}if (ists()) {baseAppCpuAbiListFileForAbi.delete()}baseAppCpuAbiListFileForAbi.write("abiList=${abi}")// ProcessBuilder execute multi commandsFile baseAppCpuAbiScript = new File(baseApksDir,"baseAppCpuAbiScript")if (ists()) {baseAppCpuAbiScript.delete()}baseAppCpuAbiScript.write("#!/usr/bin/env bashncd $1nzip -d $2 $3nzip -m $2 $3")runCmd("chmod", "755", AbsolutePath())AbsolutePath(), Parent(), Name(), "assets/${baseAppCpuAbiListFile.name}")// Resign apk if needSigningConfig signingConfig = nulltry {signingConfig = SigningConfig()} catch (Throwable ignored) {}boolean isSigningNeed = signingConfig != null && signingConfig.isSigningReady()if (isSigningNeed) {File signedBaseApk = new File(baseApksDir, "${project.name}-${baseVariant.name.uncapitalize()}-${abi}-signed${SdkConstants.DOT_ANDROID_PACKAGE}")if (ists()) {signedBaseApk.delete()}apkSigner.signApkIfNeed(copyBaseApk, signedBaseApk)File destBaseApk = new File(packageAppDir, signedBaseApk.name)if (ists()) {destBaseApk.delete()}pyFile(signedBaseApk, destBaseApk)} else {File destBaseApk = new File(packageAppDir, copyBaseApk.name)if (ists()) {destBaseApk.delete()}pyFile(copyBaseApk, destBaseApk)}}}	

此处也有一个知识点：

使用 ProcessBuilder 执行命令时，只能一次执行单条命令。想一次执行多条命令，可以自行包装成一个脚本文件，再使用 ProcessBuilder 执行

以上两个问题都向 Qigsaw 提交了 merge request 并通过 merge:

修复宿主 app 应用 resguard 插件后导致分包的 ABI APK 包大小增加问题 & 7z 深度压缩导致资源找不到问题 #57

3.2 58App

(1) 移除SPLITS_APK、UNIVERSAL_APK相关配置

// 移除 splits 配置，Qigsaw 自己实现了一套分包机制，与系统分包机制存在冲突
splits {abi {enable !Boolean.parseBoolean(AAB_SWITCH) && Boolean.parseBoolean(rootProject.SPLITS_APK)reset()universalApk Boolean.parseBoolean(rootProject.UNIVERSAL_APK)  // If true, also generate a universal APKrootProject.CPU_ARCH.split(",").each { value ->include value}}}

(2) 修改WubaPackage jenkins 打包配置

• v7a 为默认包，58Client_vxxx_release.apk
• 备份全包、v7a、v8a 包到 FTP
• 任意门动态更新基础包下载地址改为全包地址

(3) Qigsaw API 变更

// WubaQigsawLib/QigsawManager
public static void applicationOnCreate() {ApplicationCreated();isterSplitActivityLifecycleCallbacks(new QigsawSplitActivityLifecycleCallbacks());// 需要手动调用 Qigsaw.preloadInstalledSplits，否则启动时不会调用已安装 splits 的 Applicationtry {Set<String> splitNames = Instance().getSplitNames();Qigsaw.preloadInstalledSplits(splitNames);} catch (Exception e) {LOGGER.e(e);}
}

3.3 AVM

涉及如下改动点：

• 发版管理 - 打包配置加入 CPU_ARCHES=armeabi-v7a,arm64-v8a
• 发版管理 - 基础底包改为 v7a 包
• 任意门 - 基础底包改为全包地址
• 任意门 - 基础包下载地址展示全包、v7a、v8a