eclipse并行和vSphere虚拟机设置问题(一)

来源:互联网 发布:指针指向字符串数组 编辑:程序博客网 时间:2024/06/01 08:52

2017年7月,因为工作需要搭建了一个油藏数值模拟软件eclipse的多核并行环境,研究了一些vsphere虚拟机的参数设置问题,总结如下,供参考。

一、硬件环境和操作系统

1、物理服务器是两台华为rh5885 v3,CPU型号是Intel(R) Xeon(R) CPU E7-4830 v2 @ 2.20GHz ,安装了4个CPU,每个CPU是10核20线程,内存是256G,服务器自带的磁盘阵列做RAID后的硬盘空间大约6T;

2、物理服务器操作系统是VMware ESXi, 6.5.0, 4564106,系统显示逻辑处理器个数是80;

3、虚拟机操作系统是 Redhat Enterprise Linux 6.4 64位,简称linux虚拟机,

还有一个是Windows Server 2008 R2,分别安装在两台华为服务器上,简称win虚拟机

 

二、应用软件

linux虚拟机虚拟机上安装了Eclipse 2014、2015 Linux版,它只是一个命令行程序的集合,只能进行模拟运算;

win虚拟机上安装了Petrel 2015和eclipse 2015,当然都是Windows版本,eclipse有简单界面启动模拟作业。

三、遇到的问题及解决方案

1、虚拟机cpu个数的设置问题

首先遇到的是虚拟机cpu个数的设置问题,linux虚拟机可以设置cpu数为80,win Server虚拟机在vCenter中可以设置到80,但是win系统启动后,只能显示为64个cpu,通过查资料,Windows Server 2008 R2 DataCenter版最多支持64个cpu;

2、虚拟机CPU的插槽数和内核数设置问题

按下面的文章所说,虚拟机CPU的插槽数(slots)和内核数(cores)设置会对计算效率产生一定影响:

https://blogs.vmware.com/vsphere/2013/10/does-corespersocket-affect-performance.html

这是因为NUMA nodes节点数产生的;

用ssh登录esxi,执行esxtop,按m


上图显示本esxi有四个 NUMA nodes,每个用64G内存。

登录linux的虚拟机,执行 numactl --hardware可以看到:


同样显示是4个NUMA nodes,并且可以看出,每个NUMA nodes包括20个逻辑cpu,每个NUMA node有内存约50G,实际情况是:现在有64个eclipse并行作业在运行,第一个NUMA node内存有点紧张,但是没有耗尽,不存在跨NUMA nodes借用内存的情况,因此slot*core组合对速度影响不大。

作业数

PARALLEL数

CPU slot*core

计算时间

1

32

80*1

860

1

32

40*2

873.52

由上表可以看出,slot*core设置成80*1和40*2,对计算速度影响不大,这也可能是本服务器内存充足导致的,只是对本服务器和本应用软件有借鉴意义。

(未完待续)

欢迎交流,有问题可联系 QQ: 83555727或Email 83555727@qq.com


阅读全文
0 0
原创粉丝点击