最近因为个人工作上的变动、更文频次降低了不少哈
本次博文为一份存稿、可能有些细节还需要补充、敬请查阅、指点
🍊 模型部署之转换-加速-封装
🍊 目标检测-模型部署 – 物有所值的一个 AI 工程化 落地专栏
近些年、云原生技术相关概念越来越火热,如何把 AI 模型 高效 落地应用到 物联网相关实际场景中,成为一个当下较为迫切能够进一步解放生产力的一项技术。
随着AI技术等对应用开发和功能实现的影响越来越大,这也就要求相关企业具备更强的AI开发能力,从数据收集、数据预处理、数据标注、模型训练、模型评估和模型部署等一系列任务,无一不考验着企业的AI模型精度和AI推理速度、AI 算力资源等AI开发、落地能力。
模型推理框架一览——模型部署不得不了解的罗马【一文读懂】
而各家大厂针对也大多针对自己产品和技术推出了相关的深度学习AI模型端侧推理框架帮助开发者们快速把训练好的AI模型落地到实际产品中。
OpenVINO是英特尔针对自家硬件平台开发的一套深度学习工具库,包含推断库,模型优化等等一系列与深度学习模型部署相关的功能。
OpenVINO™工具包是用于快速开发应用程序和解决方案的综合工具包,可解决各种任务,包括模拟人类视觉,自动语音识别,自然语言处理,推荐系统等。该工具包基于最新一代的人工神经网络,包括卷积神经网(CNN),循环和基于注意力的网络,可在英特尔®硬件上扩展计算机视觉和非视觉工作负载,从而最大限度地提高性能。它通过从边缘到云的高性能,人工智能和深度学习推理来加速应用程序。
OpenVINO是一个Pipeline工具集,同时可以兼容各种开源框架训练好的模型,拥有算法模型上线部署的各种能力,只要掌握了该工具,你可以轻松的将预训练模型在Intel的CPU上快速部署起来。
OpenVINO是英特尔推出的一款全面的工具套件,用于快速部署深度学习应用和解决方案
我的虚拟机 Linux 版本
cat /etc/issueUbuntu 20.04.2 LTS n l
- 好处是,编译构建 时就会使用系统中的 Protobuf
- Found Protobuf: /usr/lib/x86_64-linux-gnu/libprotobuf.so;-pthread (found version “3.6.1”)
sudo apt-get install libprotobuf-dev protobuf-compiler
输出如下
Reading Done
Building dependency tree
Reading Done
The following packages were automatically installed and are no longer required:linux-headers-5.8.0-50-generic linux-hwe-5.8-headers-5.8.0-50 linux-image-5.8.0-50-generic linux-modules-5.8.0-50-generic linux-modules-extra-5.8.0-50-generic
Use 'sudo apt autoremove' to remove them.
The following additional packages will be installed:libprotobuf-lite17 libprotoc17
The following NEW packages will be installed:libprotobuf-dev libprotobuf-lite17 libprotoc17 protobuf-compiler
0 upgraded, 4 newly installed, 0 to remove and 0 not upgraded.
Need to get 1,960 kB of archives.
After this operation, 13.8 MB of additional disk space will be used.
Do you want to continue? [Y/n] y
...
Fetched 1,850 kB in 2min 35s (11.9 kB/s)
Selecting previously unselected package libprotobuf-lite17:amd64.
(Reading database ... 236473 files and directories currently installed.)
Preparing to unpack .../libprotobuf-lite17_3.6.1.3-2ubuntu5_amd64.deb ...
Unpacking libprotobuf-lite17:amd64 (3.6.1.3-2ubuntu5) ...
Selecting previously unselected package libprotoc17:amd64.
Preparing to unpack .../libprotoc17_3.6.1.3-2ubuntu5_amd64.deb ...
Unpacking libprotoc17:amd64 (3.6.1.3-2ubuntu5) ...
Selecting previously unselected package libprotobuf-dev:amd64.
Preparing to unpack .../libprotobuf-dev_3.6.1.3-2ubuntu5_amd64.deb ...
Unpacking libprotobuf-dev:amd64 (3.6.1.3-2ubuntu5) ...
Selecting previously unselected package protobuf-compiler.
Preparing to unpack .../protobuf-compiler_3.6.1.3-2ubuntu5_amd64.deb ...
Unpacking protobuf-compiler (3.6.1.3-2ubuntu5) ...
Setting up libprotoc17:amd64 (3.6.1.3-2ubuntu5) ...
Setting up protobuf-compiler (3.6.1.3-2ubuntu5) ...
Setting up libprotobuf-lite17:amd64 (3.6.1.3-2ubuntu5) ...
Setting up libprotobuf-dev:amd64 (3.6.1.3-2ubuntu5) ...
Processing triggers for man-db (2.9.1-1) ...
Processing triggers for libc-bin (2.31-0ubuntu9.2) ...
官方提供多种安装下载方式
这里选择命令行安装
查阅该文档进行这种方式的配置
l_openvino_toolkit_p_2021.
需要 root 权限
tar -zxvf l_openvino_toolkit_p_2021. cd l_openvino_toolkit_p_2021.4.689/sudo ./install_GUI.sh# 或者sudo ./install.sh
具体步骤截图说明如下【仅供参考】
cd /opt/intel/openvino_2021/install_dependenciessudo -E ./install_openvino_dependencies.shsudo -E ./install_prerequisites_onnx.sh
网速决定安装速度 | 我们也可以使用 Conda 搭建自己的环境
cd /home/moli/
vi ~/.bashrc
添加如下一行命令
source /opt/intel/openvino_2021/bin/setupvars.sh
# 或者 使得 环境变量生效
source .bashrc# 输出如下[setupvars.sh] OpenVINO environment initialized
sudo ./install_prerequisites.sh
这一部分参考官方链接,网络顺利,基本都可运行成功
.4/openvino_docs_get_started_get_started_scripts.html
cd /opt/intel/openvino_2021/deployment_tools/demo
eog car.png
Python 环境安装命令
pip install openvino# 或者pip install openvino-dev
官方安装教程链接
本次安装是在自己的虚拟机中进行
git clone .git
cd openvino
git submodule update --init --recursive
这一步会补充下载一些可能用到的依赖库,根据网络情况,可能会部分下载失败
chmod +x install_build_dependencies.sh./install_build_dependencies.sh## 运行输出如下Get:1 focal-security InRelease [114 kB]
Hit:2 focal InRelease
Fetched 114 kB in 2s (60.0 kB/s)
Reading Done
Building dependency tree
Reading Done
mkdir build && cd buildcmake -DCMAKE_BUILD_TYPE=Release -DENABLE_CLDNN=OFF ..
make --jobs=$(nproc --all)
- 🎉 作为全网 AI 领域 干货最多的博主之一,❤️ 不负光阴不负卿 ❤️
- ❤️ 如果文章对你有帮助、点赞、评论鼓励博主的每一分认真创作
计算机视觉领域 八大专栏、不少干货、有兴趣可了解一下
🍊 深度学习:环境搭建,一文读懂
🍊 深度学习:趣学深度学习
🍊 落地部署应用:模型部署之转换-加速-封装
🍊 CV 和 语音数据集:数据集整理
📆 最近更新:2021年10月31日
🍊 点赞 👍 收藏 ⭐留言 📝 都是博主坚持写作、更新高质量博文的最大动力!
本文发布于:2024-01-30 22:33:55,感谢您对本站的认可!
本文链接:https://www.4u4v.net/it/170662523823301.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
留言与评论(共有 0 条评论) |