RoCEv2网络部署

RoCEv2网络部署

Mellanox 网卡配置RoCEv2步骤，

1. 设置RDMA CM 模式v2
cma_roce_mode -d mlx5_1 -p 1 -m 2
检查RDMA CM的RoCE模式

2. 开启 DCQCN 在priority 3
echo 1 > /sys/class/net/ens1np0/ecn/roce_np/enable/3
echo 1 > /sys/class/net/ens1np0/ecn/roce_rp/enable/3
DCQCN优先级为priority 3

3. 设置CNP DSCP or 802p (PCP) priority
echo 48 > /sys/class/net/ens1np0/ecn/roce_np/cnp_dscp
echo 6 > /sys/class/net/ens1np0/ecn/roce_np/cnp_802p_prio
设置CNP dscp 和802p（PCP），dscp=48

4. 设置网卡QoS
查看网卡默认当前配置
mlnx_qos -i ens1np0 网卡当前配置

设置队列3 PFC，后面打流测试让RoCEv2流量跑在队列3中，
mlnx_qos -i ens1np0 -f 0,0,0,1,0,0,0,0 开启priority 3 pfc

默认priority 0 对应tc1，priority 1 对应tc0，调整成一一对应，看实际情况也可以不调整。
mlnx_qos -i ens1np0 -p 0,1,2,3,4,5,6,7 设置priority和tc对应关系

一般默认的协议报文跑在队列7，CNP dscp=48 跑在队列6，所以这两个队列优先调度，其它0-5轮询调度，RoCEv2流量在队列3可以加大权重。
mlnx_qos -i ens1np0 -s ets,ets,ets,ets,ets,ets,strict,strict -t 10,10,10,50,10,10,0,0 设置出向队列调度，tc7，tc6严格优先级，tc0-5按权重轮询

一般队列6和7流量不会很大，可以适当设置限速。
mlnx_qos -i ens1np0 -r 0,0,0,0,0,0,30,20 队列限速

网卡优先级类型默认802p（PCP），改成dscp。
mlnx_qos -i ens1np0 --trust=dscp 设置接口信任dscp

5. 网络交换机上配置相应的队列3 FPC，ECN
网络设备如何部署，可以参考这篇文章RoCEv2网络部署实践一起看。

使用ib_send_bw 命令可以打流测试，参数加上 -T 96 可以设置RoCEv2流量的TOS 96 也就是dscp=24 对应priority 3
client 端：
ib_send_bw -d mlx5_1 --report_gbits -F --run_infinitely -R -T 96 192.168.1.99
server 端：
ib_send_bw -d mlx5_1 --report_gbits -F --run_infinitely -R -T 96

5. wireshark抓包
Priority 3 开启ecn能力的流量，ecn=10，dscp=24
过滤 == 0x3 ，拥塞置位的ecn报文

过滤 infiniband.bth.opcode == 0x81，CNP报文 dscp=48