ubuntu下MPICH的安装以及多机环境运行

学习MPI有一段时间了，下面我根据自己的MPI使用经验介绍一下mpich的安装，多机环境的搭建与配置，以及MPI程序如何在多机之间运行。为了方便介绍，我们在两台开发板（PC机亦可）上安装mpich并且在这两台板子之间完成MPI程序的多机（也就是2)运行。

一、安装mpich之前的一些准备工作（如果你的机器为PC机，可以直接跳到第二步）

我用到的机器为开发板DE1-SOC（其他板子同理），支持SD卡槽，其操作系统可以从SD卡载入。所以准备工作就是将ubuntu系统烧到SD卡（16G）上，然后从SD卡启动系统。烧制系统的软件用到Win32DiskImager（在windows环境下烧写），软件下载址：

http://download.csdn.net/detail/u012304016/9620892

其使用方法很简单，将SD卡通过读卡器插入PC机，将下载的包解压后运行Win32DiskImager.exe，选择要烧写的ubuntu镜像，点击write即可。

ubuntu镜像（ubuntu.img）下载地址：http://pan.baidu.com/s/1miEqOXy

烧写完成后要对SD卡的分区进行调整，因为默认的分区中许多空闲空间用不了。这里要用到另外一台安装有ubuntu系统的PC机，在该PC机上安装gparted软件（分区软件）

在ubuntu终端输入：

sudo apt-get install gparted 

来安装gparted（此时需要联网，如果PC机也不能联网，请看步骤二的mentohust安装）。安装完成后输入指令：

sudo gparted 

运行软件，将SD卡通过读卡器插入PC机。软件使用方法很简单，通过简单的拖动（第3个分区）将未分配的区域利用上即可。分区调整完成后，将SD卡插入开发板启动操作系统就可以进行接下来的安装了。

二、安装mentohust使机器联网（如果机器能联网，可直接跳到第三步）

因为在安装mpi之前需要用apt-get在线安装许多编译器，所以我们需要先在开发板（或者说SD卡）上安装mentohust，使其能够联网。

mentohust源码安装包下载地址： http://download.csdn.net/detail/u012304016/9620869

源码安装包下载完成后，将其拷贝到/home/mpi_install/目录下（这是我为了安装mpi自己建的目录，当然也可以用其他目录）。

运行指令cd到该目录底下：

cd /home/mpi_install/

解压安装包：

tar -zxvf ./mentohust-0.3.01.tar.gz

解压完成后，进入mentohust-0.3.01根目录下：

cd mentohust-0.3.01

输入命令配置环境：

./configure

注：如果配置过程出现错误，则通过chmod 777 ./configure指令给configure文件执行权限即可。

编译和安装：

make

make install

安装完成后，用mentohust联网：

第一次用mentohust联网时输入指令：

sudo mentohust -uUsername -pPasswd -a1 -b2 -d2 -v0.31 -w

例如用户名为20150012，密码为123456，则输入：

sudo mentohust -u20150012 -p123456 -a1 -b2 -d2 -v0.31 -w

之后再使用mentohust联网时只用输入sudo mentohust即可，断开连接用mentohust -k命令。

三、安装MPICH

在安装mpich之前，为了避免在安装中出错，需要安装gcc、g++以及gfortran三个编译器。

首先更新apt-get的安装版本，从而保证安装的资源最新：

sudo apt-get update

分别安装gcc、g++以及gfortran：

sudo apt-get install gcc
sudo apt-get install g++
sudo apt-get install gfortran

接下来正式开始mpich的安装，mpich源码安装包的下载地址：

http://download.csdn.net/detail/u012304016/9620878

安装包下载完成后，将其拷贝到 /home/mpi_install/ 目录下（这是我为了安装mpi自己建的目录，当然可以用其他目录）。

运行指令cd到该目录底下：

cd /home/mpi_install/

解压安装包：

tar -zxvf ./mpich-3.2.tar.gz

解压完成后，进入mpich-3.2.tar根目录下：

cd mpich-3.2

接下来的安装过程根据shell的版本而异，首先检查shell版本：

cat /etc/shells

（1）如果显示为：/bin/sh 和 /bin/bash，则配置、编译和安装命令分别为：

配置：

./configure 2>&1 | tee c.txt

编译：

make 2>&1 | tee m.txt

安装：

make install |& tee mi.txt

（2）如果显示为：/bin/csh 和 /bin/tcsh，则配置、编译和安装命令分别为：

配置：

./configure |& tee c.txt

编译：

make |& tee m.txt

安装：

make install |& tee mi.txt

注：配置和编译的过程中需要很长时间，请耐心等待 *^_^*

安装结束后，用which mpicc和which mpiexec检查安装是否成功，如果有这两个可执行程序的路径显示，则表示安装成功。

四、安装ssh并且配置多机运行环境

安装ssh:

sudo apt-get install ssh

安装好ssh之后，就可以将此时的镜像复制到另一张SD卡（同为16G）。如果你用PC机互连，可以直接跳到步骤五。

这里仍然要用到Win32DiskImger工具。首先将开发板（开发板1）关机，将SD卡1取出，通过读卡器插入电脑。

在电脑上（windows环境）新建一个空的ubuntu_mpi.img文件（先新建文件ubuntu_mpi.txt，然后将后缀改为img即可）。

打开Win32DiskImger，文件选为新建的ubuntu_mpi.img，点击read。read完成后SD卡1的内容就保存到了ubuntu_mpi.img中。

再将其（ubuntu_mpi.img）烧写到另外一张SD卡（SD卡2）。然后将新烧写的SD卡2插入到另外一台开发板（开发板2）上。

将两台开发板通过网线连接在同一个局域网内。

接下来正式配置多机运行环境，首先修改两台开发板各自的主机名称：

sudo gedit /etc/hostname

在打开的文件中分别输入主机名保存即可，我设置的两台主机名称分别为：hang-pc1 和hang-pc2。设置完侯重启机器。

分别配置两台机器的hosts文件，在此之前先通过ip addr show命令查看两台机器eth0的IP地址，我的IP地址为：

hang-pc1 : 10.13.35.167

hang-pc2 : 10.13.35.203

然后修改hosts文件：

sudo gedit /etc/hosts

根据以上查得的IP地址，在两台机器的hosts文件中均输入以下内容并保存：

10.13.35.167 hang-pc1

10.13.35.203 hang-pc2

接下来通过配置ssh使两台机器可以无需密码互相访问。

在hang-pc1上（hang-pc2同理）通过ssh-keygen指令生产公钥和私钥：

ssh-keygen -t rsa

注：再输入过程中需要输入参数，一直按回车即可。

结束后，cd到 ~/.ssh目录，ls一下即可看到产生的公钥（id_rsa.pub）和私钥(id_rsa)：

cd ~/.ssh

ls

接下来通过两台机器的公钥（id_rsa.pub）来制作授权文件（authorized_keys）。

在此之前先设置两台机器root用户的密码（之后会用到）：

passwd root

连续输入两次要设置的密码即可设置新的密码。

接下来将hang-pc2的公钥传送到hang-pc1中（并重命名为rsa_from_pc2.pub），来制作授权文件。在hang-pc2的终端输入：

scp ~/.ssh/id_rsa.pub hang-pc1:~/.ssh/rsa_from_pc2.pub

注：在传输期间需要输入hang-pc1的密码，输入之前设置好的密码即可。

传输完成后，在hang-pc1的~/.ssh/id_rsa.pub目录下ls一下即可看到传入的文件rsa_from_pc2.pub。

将hang-pc1的公钥另复制一份并且重命名为authorized_keys，在hang-pc1的~/.ssh/目录下输入：

cp ~/.ssh/id_rsa.pub authorized_keys

将rsa_from_pc2.pub添加到authorized_keys从而完成authorized_keys的制作：

cat ~/.ssh/rsa_from_pc2.pub >> authorized_keys

然后将在hang-pc1上制作好的authorized_keys发送一份给hang-pc2：

scp ~/.ssh/authorized_keys hang-pc2:~/.ssh/

用ssh_add命令将私钥也添加进来(hang-pc1和hang-pc2均要添加)：

ssh-add ~/.ssh/id_rsa

最后，为了要让两台机器之间无密码访问，需要设置公钥、私钥和授权文件的权限（两台机器都要设置）：

chmod 755 ~

chmod 755 ~/.ssh

chmod 600 ~/.ssh/authorized_keys

chmod 600 ~/.ssh/id_rsa

chmod 644 ~/.ssh/id_rsa.pub

权限设置完毕后，两台机器就可以不需密码互相访问了，在hang-pc1上输入指令：

ssh hang-pc2

可以看到，hang-pc1不需输入密码就能访问到hang-pc2。通过exit指令返回到hang-pc1。

至此，MPICH的安装工作以及多机环境配置工作全部完成，接下来就可以多机之间运行MPI程序了。

注：这里只讲到两台机器间的环境配置，多台机器之间的原理类似。

五、多机之间运行MPI程序

首先，在home根目录（也可以是其他目录）下新建一个文件：mpi_config_file。

mpi_config_file是在运行MPI程序时参考的配置文件，它显式注明每台机器各有几个CPU核。

cd /home

touch mpi_config_file

接下来在每台机器上查看各自的CPU核数：

lscpu

编辑mpi_config_file：

sudo gedit mpi_config_file

因为我的两台板子的CPU核数均为2，所以在mpi_config_file中输入一下内容并保存：

hang-pc1:2

hang-pc2:2

接下来就可以找一个MPI程序在多机之间运行了 ：-）

在我们之前解压的mpi-3.2文件夹下的examples目录下就有现成的可执行程序:cpi，我们运行它：

cd /home/mpi_install/mpich-3.2/examples

mpiexec -n 8 -f /home/mpi_config_file ./cpi

注： 参数-n 8表示改程序分将拆分为8个并行过程执行

参数-f /home/mpi_config_file 表示运行过程参考配置文件mpi_config_file

屏幕上显示运行结果：

Process 4 of 8 is on hang-pc1

Process 5 of 8 is on hang-pc1

Process 2 of 8 is on hang-pc2

Process 0 of 8 is on hang-pc1

Process 3 of 8 is on hang-pc2

Process 6 of 8 is on hang-pc2

Process 7 of 8 is on hang-pc1

Process 1 of 8 is on hang-pc2

表示运行成功。

注：MPI多机运行一个程序，要求在每台机器的相同目录下有相同的可执行程序。

例如想要运行examples下的hellow.c文件，则需要在hang-pc1和hang-pc2上都对hello.c文件进行编译从而生成可执行文件。

即均需要cd到examples目录下执行：

mpicc hellow.c -o hellow

然后才能在主机（hang-pc1）上运行生成的可执行文件hellow:

mpiexec -n 8 -f /home/mpi_config_file ./hellow