Linpack使用Infiniband网络计算时内存分配问题

 Linpack使用Infiniband网络 计算时出现如下问题:  

   reg_mr Cannot allocate memory  !!!

   

  问了浪潮的工程师，据说是Linpack计算时一个阀值设大了，出现了内存溢出问题。

 解决方法: 在ib网的配置文件 /etc/modprobe.d/mlx4_en.conf 中加入如下信息:

 options mlx4_core log_num_mtt=24 log_mtts_per_seg=1

 cat /etc/modprobe.d/mlx4_en.conf 
install mlx4_core /sbin/modprobe --ignore-install $((/sbin/modprobe -c | grep -wq "^allow_unsupported_modules") && echo '--allow-unsupported-modules') mlx4_core && if [ -e /etc/infiniband/openib.conf ]; then if ( grep -q "^MLX4_EN_LOAD=yes" /etc/infiniband/openib.conf > /dev/null 2>&1); then /sbin/modprobe mlx4_en; fi; else /sbin/modprobe mlx4_en; fi
install mlx4_en /sbin/modprobe --ignore-install $((/sbin/modprobe -c | grep -wq "^allow_unsupported_modules") && echo '--allow-unsupported-modules') mlx4_en && if [ -e /etc/infiniband/openib.conf ]; then if ( grep -q "^RUN_SYSCTL=yes" /etc/infiniband/openib.conf > /dev/null 2>&1); then /sbin/sysctl_perf_tuning load; fi; fi
remove mlx4_en /sbin/sysctl_perf_tuning unload ; /sbin/modprobe -r --ignore-remove mlx4_en


# Configure Flow Control
# pfctx:Priority based Flow Control policy on TX[7:0]. Per priority bit mask (uint)
# pfcrx:Priority based Flow Control policy on RX[7:0]. Per priority bit mask (uint)
options mlx4_core pfctx=0 pfcrx=0
options mlx4_core log_num_mtt=24 log_mtts_per_seg=1