【2023 · CANN训练营第一季】模型转换与ATC工具的学习

【2023 · CANN训练营第一季】模型转换与ATC工具的学习

【2023 · CANN训练营第一季】模型转换与ATC工具的学习

文档参考：CANN文档社区版: 6.0.RC1.alpha001

一、为什么要使用ATC工具

昇腾张量编译器（Ascend Tensor Compiler，简称ATC）是昇腾CANN架构体系下的模型转换工具

当前昇腾AI处理器以及昇腾AI软件栈是没有办法直接拿比如Caffe，TensorFlow等开源框架网络模型来直接进行推理的，我们需要将开源框架的网络模型转换成Davinci架构专用的模型。

其作用：

1.它可以将开源框架的网络模型（如Caffe、TensorFlow等）以及Ascend IR定义的单算子描述文件转换为昇腾AI处理器支持的离线模型。

2.模型转换过程中，ATC会进行算子调度优化、权重数据重排、内存使用优化等具体操作，对原始的深度学习模型进行进一步的调优，从而满足部署场景下的高性能需求，使其能够高效执行在昇腾AI处理器上。

二、什么是AIPP

AIPP（Artificial Intelligence Pre-Processing）人工智能预处理，用于在AI Core上完成数据预处理，包括改变图像尺寸、色域转换（转换图像格式）、减均值/乘系数（改变图像像素），数据预处理之后再进行真正的模型推理。

AIPP主要用于在AI Core上完成数据预处理，通过AIPP提供的色域转换功能，输出满足要求的图片格式；通过改变图像尺寸中的补边（Padding）功能，输出满足长宽对齐的图片等，AIPP的出现是对DVPP能力的有效补充。

AIPP根据配置方式不同 ，分为静态AIPP和动态AIPP；如果要将原始图片输出为满足推理要求的图片格式，则需要使用色域转换功能；如果要输出固定大小的图片，则需要使用AIPP提供的Crop（抠图）、Padding（补边）功能

三、环境安装与设置

CANN环境安装，可以参考我的【CANN训练营-模型部署入门】【CANN训练营0基础赢满分秘籍】CANN的Ubuntu环境安装

安装好后，根据需要，在原先的环境变量基础上多添加了如下几个环境变量：

export ASCEND_SLOG_PRINT_TO_STDOUT=1
export TE_PARALLEL_COMPILER=2
export DUMP_GE_GRAPH=1
export DUMP_GRAPH_LEVEL=1

1.设置atc运行日志

其中 export ASCEND_SLOG_PRINT_TO_STDOUT=1是设置atc命令执行过程中的打屏环境变量

也可以在atc命令中设置–log参数(此参数不能设置为null),显示相应的日志级别

如果需要把日志重定向到文件，设置好上述的打印日志级别后，将–log参数设置为

atc xxx --log=debug &

2.开启算子并行编译功能

若网络模型较大，则可以开启算子并行编译

export TE_PARALLEL_COMPILER=xx

TE_PARALLEL_COMPILER的值代表算子编译进程数（配置为整数），取值范围为1~32，默认值为8，当取值大于1时开启算子的并行编译功能。建议不超过：CPU核数*80%/昇腾AI处理器个数

3.设置打印模型转换过程中的各阶段图描述信息

export DUMP_GE_GRAPH=1

其中:

• 取值为1，全量dump。
• 取值为2，不含有权重等数据的基本版dump。
• 取值为3，只显示节点关系的精简版dump。

如果想控制dump图的个数，还可以设置：

export DUMP_GRAPH_LEVEL=1

• 取值为1，dump所有图。
• 取值为2，dump除子图外的所有图，默认值为2。
• 取值为3，dump最后的生成图。

设置上述变量后，在执行atc命令的当前路径会生成如下文件：

• ge_onnx*.pbtxt：基于ONNX的开源模型描述结构，可以使用Netron等可视化软件打开。
• ge_proto*.txt：protobuf格式存储的文本文件，该文件可以转成json格式文件方便用户定位问题。该文件与ge_onnx*.pbtxt成对出现，但是比ge_onnx*.pbtxt文件会多string类型的属性信息，用户选择其中一种文件打开即可。

四、模型的导出与转换

我们训练好的模型为pt格式的文件，我们需要先将其转换为onnx的格式，再使用atc工具转换成能使用的om文件

pt转换为onnx

eg:

在yolov5官网下载了一个yolov5s.pt

使用其提供的export.py进行转换

python models/export.py --weights yolov5s.pt --img 640 --batch 1

这个转换过程遇到很多问题，等我有空整理一个问题集及解决方法

onnx转换为om

1.未使能AIPP

直接使用atc命令转换时，发现自己有3个模块找不到，重新安装了一下

使用如下命令安装了一下：

pip install numpy
pip install decorator
pip install sympy

安装完成后，再次进行转换

atc -- --framework 5 --output yolov5s_bs --soc_version Ascend310 --input_format=NCHW --input_shape="images:1,3,640,640" --input_fp16_nodes="images" --output_type=FP16 --optypelist_for_implmode="Sigmoid" --op_select_implmode=high_performance

转换成功如下图:

note:输入的shape要注意写正确，不然会出现如下错误,还有就是，那个输出名字不用自己写.om，输出时工具会自己补全的:

2.使能AIPP

我们在进行C++搭建的模型推理任务时，预处理部分，可以放到AIPP中进行。

我们使用insert_op.cfg:内容如下

aipp_op {aipp_mode: staticinput_format: YUV420SP_U8csc_switch: true# 如果输入的是YVU420SP_U8（NV21）图像，则需要将rbuv_swap_switch参数设置为truerbuv_swap_switch: falserelated_input_rank: 0src_image_size_w: 640src_image_size_h: 640#我准备在推理前就自己使用dvpp预处理把图片处理成想要的形状，因此就不用抠图了crop: falsematrix_r0c0: 298matrix_r0c1: 516matrix_r0c2: 0matrix_r1c0: 298matrix_r1c1: -100matrix_r1c2: -208matrix_r2c0: 298matrix_r2c1: 0matrix_r2c2: 409input_bias_0: 16input_bias_1: 128input_bias_2: 128# 归一化系数需要根据用户模型实际需求配置，如下所取常见值仅作为示例# 归一化系数应用于色域转换和通道交换之后的通道mean_chn_0: 104mean_chn_1: 117mean_chn_2: 123min_chn_0: 0.0min_chn_1: 0.0min_chn_2: 0.0var_reci_chn_0: 1.0var_reci_chn_1: 1.0var_reci_chn_2: 1.0
}

atc命令参数如下:

atc -- --framework 5 --output yolov5s_bs --soc_version Ascend310 --input_format=NCHW --input_shape="images:1,3,640,640" --input_fp16_nodes="images" --output_type=FP16 --optypelist_for_implmode="Sigmoid" --op_select_implmode=high_performance --insert_op_conf=./insert_op.cfg

出现报错:

看样子是进行aipp的type不能是fp16

修改后：

atc -- --framework 5 --output yolov5s_bs --soc_version Ascend310 --input_format=NCHW --input_shape="images:1,3,640,640" --output_type=FP16 --optypelist_for_implmode="Sigmoid" --op_select_implmode=high_performance --insert_op_conf=./insert_op.cfg

这里保留一个疑问，AIPP不能输入fp16进行转换但是这里有个输出参数是–output_type=FP16,这个参数是参考modelZoo中的样例里面的参数，不知道这样是否有问题，等后面在模型推理那块验证时看看是否有错误，有错误再进行修改

结果如下:

上述两种转换都得到了我们的

结语:至此两种转换都成功了，后续我会在我的模型推理部分的笔记中对此模型进行加载推理使用验证。

ps:该文仅是为了记录CANN训练营的学习过程所用，不参与任何商业用途，有任何代码问题可以和我一起讨论修改