openmpi 2.1.1 RoCE 支持

来源:互联网 发布:越南语发音翻译软件 编辑:程序博客网 时间:2024/06/11 05:33

环境: 

OpenMPI 2.1.1  

网卡Mellanox ConnectXL4 

OFED Mellanox_OFED 4.1

OS: Centos7.3


在服务器上有 Mellnaox, Qulogic, Broadcom 三种网卡, OpenMPI 运行在RDMA 时需要指定 mca 参数来避免使用了错误的网卡

命令: 

mpirun --hostfile hosts -np 2 --bind-to core --display-map -mca pml ob1 -mca btl self,sm,openib --mca btl_openib_cpc_include rdmacm  --map-by node -mca btl_openib_receive_queues  P,65536,256,192,128 -mca mpi_add_procs_cutoff 4 /usr/mpi/gcc/openmpi-2.1.2a1/tests/imb/IMB-MPI1


mpirun --mca btl_openib_receive_queues P,65536,120,64,32 --mca btl_openib_cpc_include rdmacm /usr/mpi/gcc/openmpi-2.1.2a1/tests/imb/IMB-MPI1


原创粉丝点击