Intel/Mellanox 网卡使用DPDK

Intel/Mellanox 网卡使用DPDK

在RedHat8.2下安装dpdk环境，对于我只是测试网卡是否正常支持DPDK，或者是DPDK功能是否兼容此系统和服务器，集体调优什么的就不去做，仅仅去测试一下而已，目前的测试方案也只是将两个网口回路，来进行收发包测试，下面是我接触过的两种型号的厂商 Intel（英特尔） 和 Mellanox（迈络思），二者的稍有区别，intel的网卡使用DPDK，需要将网卡绑定DPDK内核（是需要UIO/igb_uio等内核模块），而Mellanox网卡则不需要绑定DPDK内核（也不需要UIO/igb_uio等内核模块）

一 安装DPDK

OS-system：Red Hat Enterprise Linux release 8.2 (Ootpa)
kernel： 4.18.0-193.el8.x86_64
DPDK： dpdk-20.05
Mellanox网卡驱动：MLNX_OFED_LINUX-5.0-2.1.8.0-rhel8.2-x86_64

[root@localhost dpdk]# yum install numactl-devel.x86_64 -y
[root@localhost dpdk]# ls
dpdk-20.
[root@localhost dpdk]# tar xJf dpdk-20. 
[root@localhost dpdk]# ls
dpdk-20.05  dpdk-20.
[root@localhost dpdk]# cd dpdk-20.05/
[root@localhost dpdk-20.05]# ls
ABI_VERSION  buildtools  devtools  drivers   GNUmakefile  lib      MAINTAINERS  meson.build        mk      usertools
app          config      doc       examples  kernel       license  Makefile       README  VERSION

dpdk从20.02版本后默认不编译igb_uio.ko

需要更改/dpdk/dpdk-20.05/config目录下的common_base文件中的 CONFIG_RTE_EAL_IGB_UIO=y 可以实现编译。

[root@localhost dpdk-20.05]# cd config/
[root@localhost config]# sed -i  's/UIO=n/UIO=y/g'  common_base

如果是Mellanox网卡需要开启common_base文件中的 CONFIG_RTE_LIBRTE_NFP_PMD=y，即可，如果此步骤不做开启，那后面如果是Mellanox网卡即无法使用DPDK。如下图，分别为MLX4和MLX5，需要看自己的芯片是哪一种，如果同时打开也可以，无碍。

下面进行编译安装 ，DPDK环境的安装，有几种方式，这里使用的是，源码安装方式。

[root@localhost dpdk-20.05]# make install T=x86_64-native-linuxapp-gcc
[root@localhost dpdk-20.05]# cd x86_64-native-linuxapp-gcc/build/kernel/linux/igb_uio/
[root@localhost igb_uio]# modprobe  uio           #加载uio驱动
[root@localhost igb_uio]# insmod igb_uio.ko       #加载igb_uio.ko
[root@localhost igb_uio]# cd ../../../../../usertools/
[root@localhost usertools]# ls
cpu_layout.py  dpdk-devbind.py  dpdk-pmdinfo.py  dpdk-setup.sh  dpdk-telemetry-client.py  dpdk-telemetry.py   meson.build

#查看当前所有网卡的状态

[root@localhost usertools]# ./dpdk-devbind.py --status  Network devices using kernel driver
===================================
0000:24:00.0 'MT27710 Family [ConnectX-4 Lx] 1015' if=ens19f0 drv=mlx5_core unused=igb_uio 
0000:24:00.1 'MT27710 Family [ConnectX-4 Lx] 1015' if=ens19f1 drv=mlx5_core unused=igb_uio 
0000:44:00.0 'MT27710 Family [ConnectX-4 Lx] 1015' if=ens10f0 drv=mlx5_core unused=igb_uio *Active*
0000:44:00.1 'MT27710 Family [ConnectX-4 Lx] 1015' if=ens10f1 drv=mlx5_core unused=igb_uio 
0000:45:00.0 'Ethernet Controller 10G X550T 1563' if=ens9f0 drv=ixgbe unused=igb_uio *Active*
0000:45:00.1 'Ethernet Controller 10G X550T 1563' if=ens9f1 drv=ixgbe unused=igb_uio 
0000:58:00.0 'I350 Gigabit Network Connection 1521' if=ens8f0 drv=igb unused=igb_uio 
0000:58:00.1 'I350 Gigabit Network Connection 1521' if=ens8f1 drv=igb unused=igb_uio 
0000:58:00.2 'I350 Gigabit Network Connection 1521' if=ens8f2 drv=igb unused=igb_uio 
0000:58:00.3 'I350 Gigabit Network Connection 1521' if=ens8f3 drv=igb unused=igb_uio *Active*
0000:59:00.0 'MT27710 Family [ConnectX-4 Lx] 1015' if=ens7f0 drv=mlx5_core unused=igb_uio *Active*
0000:59:00.1 'MT27710 Family [ConnectX-4 Lx] 1015' if=ens7f1 drv=mlx5_core unused=igb_uio *Active*
0000:6d:00.0 'Ethernet Controller XL710 for 40GbE QSFP+ 1584' if=ens12 drv=i40e unused=igb_uio 
0000:c4:00.0 'MT27800 Family [ConnectX-5] 1017' if=ens14 drv=mlx5_core unused=igb_uio 
0000:d8:00.0 'MT27800 Family [ConnectX-5] 1017' if=ens16 drv=mlx5_core unused=igb_uio 
0000:ed:00.0 'MT27700 Family [ConnectX-4] 1013' if=ens15f0 drv=mlx5_core unused=igb_uio 
0000:ed:00.1 'MT27700 Family [ConnectX-4] 1013' if=ens15f1 drv=mlx5_core unused=igb_uio *Active*
......................

下图可以看出，上面操作的insmod igb_uio.ko 已经加载完成，网卡均使用了igb_uio.ko.

Intel网卡
dpdk-devbind.py --status-dev net 来将intel网卡绑定到DPDK环境中（Mellanox网卡不需要绑定）

[root@localhost usertools]# ./dpdk-devbind.py --bind=igb_uio ens9f1

如图可以看到 网卡ens9f1已经绑定到DPDK环境中，被 DPDK接管，此时你用ifconfig，或者ip a 均看不到ens9f1的。

未完待续