Centos7安装Torque

实验目的：

在5在centos7的主机上搭建Torque环境。

实验步骤：

0x01硬件条件：

5台centos7主机，IP地址：x.x.x.46~50。机器的名称分别为lk，node1，node2，node3，node4。

实验条件默认使用root账户，有需要切回普通用户的情况我会提到。

0x02材料准备：

Torque安装包，我的是torque-6.1.1.1。

• 如果是首次配置，需要修改/etc/hosts文件，将节点信息加入其中。

vim /etc/hosts10.113.10.46 lk10.113.10.47 node110.113.10.48 node210.113.10.49 node310.113.10.50 node4

• 关闭防火墙service iptables stop，此处不停止则无法进行通信。

• 为了方便传输文件，可以设置一个NFS共享文件夹，我的共享文件夹为~/teddy/，注意修改权限为所有用户均可读写执行。

0x03环境搭建：

• 首先解压出来

• 进入目录安装：

  $ ./configure  $ make  $ make install  $ make packages (用来产生在其它机器上安装用的安装包，运行完后会生成几个torque-package-*.sh文件)  

• 安装完成后执行下echo $PATH查看是否有以下2个路径：/usr/local/bin:/usr/local/sbin:,没有的话手动在etc/profile里面添加一下。

• 执行：

  echo '/usr/local/lib' > /etc/ld.so.conf.d/torque.conf  ldconfig  

  ​

• 之后初始化一下：./torque.setup xxx 后面接用户名
  

• 之后执行采用如下命令：

  pbs_server   //在服务器节点执行pbs_sched   //在服务器节点执行pbs_mom  //在计算节点执行trqauthd 

• 之后另外Torque也提供了一些脚本，可以使用linux的service来启动停止Torque，方法就是将Torque目录下的下面几个文件复制到/etc/init.d目录下，如下：

  cp contrib/init.d/pbs_server /etc/init.d/  cp contrib/init.d/pbs_sched /etc/init.d/  cp contrib/init.d/pbs_mom /etc/init.d/  cp contrib/init.d/trqauthd /etc/init.d/  

• 然后就可以使用下面命令来启动停止服务了

  /etc/init.d/pbs_server start|stop|status  /etc/init.d/pbs_sched start|stop|status  /etc/init.d/pbs_mom start|stop|status  /etc/init.d/trqauthd start|stop|status  

• 之后启动以上服务，编写一个脚本sleep.sh:

  #!/bin/sh  sleep 600 

• 提交作业：（注意使用非root账户）并查看：

  qsub sleep.shqstat -a -n

  ​

• 结果如图所示：

• 假定“单机安装运行PBS （Torque）”中安装的机器作为master，下面来向cluster添加新的nodes。这里假定新加入nodes的机器名是node1和node2。

• 安装新的节点：将生成的几个sh文件分别放到其他2台节点上，

  ./torque-package-mom-*.sh --install  ./torque-package-clients-*.sh --install  

  ​

• 之后在服务器上配置：

  • 配置hosts文件：vim etc/hosts

   10.113.10.46 lk 10.113.10.47 node1 10.113.10.48 node2 10.113.10.49 node3 10.113.10.50 node4

  • 启动服务：

  /etc/init.d/pbs_server start/etc/init.d/ pbs_sched start/etc/init.d/ pbs_mom start/etc/init.d/ trqauthd start

  • 添加节点：

  qmgr -c 'create node node1 np=3'qmgr -c 'create node node2 np=3'qmgr -c 'create node lk np=3'  

  ​

  • qmgr执行一下指令：

  Qmgr: c q q1Qmgr: s q q1 queue_type=executionQmgr: s q q1 enabled=trueQmgr: s s default_queue=q1Qmgr: s s scheduling=trueQmgr: c n lkQmgr: c n node1qmgr obj=node1 svr=default: Node name already existsQmgr: c n node2qmgr obj=node2 svr=default: Node name already existsQmgr: s q q1 started=trueQmgr: q

  如图所示：
  

• 从节点设置：

  • 配置hosts文件：这时只加上自己和主节点即可。

  • 配置文件：vi /var/spool/torque/mom_priv/conf

  $pbsserver      lk            # note: hostname running pbs_server$logevent       255               # bitmap of which events to log

  • 启动pbs_mom

  /etc/init.d/pbs_mom start

  • 同时在/var/spool/torque/server_name里加入主节点：lk

• 编写job.pbs:

  #!/bin/bash#PBS -N job#PBS -o job.log#PBS -e job.err#PBS -q q1cd /home/qsbecho Running on hosts `lk`echo Time is `date`echo Directory is $PWDecho This job runs on the following nodes:cat $PBS_NODEFILEecho This job has allocated 1 node./prog

  ​

• 打开prog
  vi prog

• 写入

  #!/bin/bashecho 1000000000 | ./icpi-64

  使用命令提权

  sudo chmod +x prog

• 现在重启下pbs_server:

  如图：
  

• 然后查看下节点的状态：qnodes
  如图：
  

• 然后提交作业：（使用非root权限）

  qsub job.pbs

• 查看stat：qstat

  如图：

  ​