从零开始，快速地在VMware虚拟机下搭建一个DB2 DPF环境

说明：

在win7下，使用两个VMware Linux 虚拟机搭建一个具有两个物理节点，四个逻辑节点的DPF环境。Linux使用的是Ubuntu 14.04（因为ubuntu的安装介质比较小）， DB2使用的是10.5FP8.
搭建之后的效果为：

虚拟机1: 主机名db2a, DPF节点号0、1
虚拟机2: 主机名db2b, DPF节点号2、3

测试环境：

Windows 7 Professional, 64-bit 6.1.7601, Service Pack 1
VMware10.0.1 build-1379776
SecureCRT Version 7.2.3

测试步骤：

测试过程中，输入的命令以蓝色表示，前面#表示用root用户执行，$表示实例用户执行。需要强调的地方用红色标出。

1. 下载Ubuntu介质

下载64bit的ubuntu 14.04，文件名为 ubuntu-14.04.5-server-amd64.iso
http://releases.ubuntu.com/trusty/

2. 安装一个ubuntu

在VMware里安装ubuntu的过程略

3. 安装ssh

安装ubuntu完成后，使用root登录，安装ssh:
# apt-get install openssh-server

完成之后就可以直接使用win7里的secureCRT或者PuTTY连接虚拟机，先在Ubuntu里使用ifconfig -a 查看到ubuntu的IP地址为192.168.187.138

4. 安装NFS

# apt-get install nfs-kernel-server

5. 安装ksh

DB2需要ksh --> 说明1

# apt-get install ksh

6. 安装DB2

先用工具，比如flashfxp，上传DB2安装包到机器上
root@ubuntu:~# ls
v10.5fp8_linuxx64_server_t.tar.gz
root@ubuntu:~# tar -zxvf v10.5fp8_linuxx64_server_t.tar.gz
root@ubuntu:~# cd server_t
root@ubuntu:~/server_t# ls
db2                     db2checkCOL.tar.gz  db2_deinstall  db2ls           db2setup  installFixPack
db2checkCOL_readme.txt  db2ckupgrade        db2_install    db2prereqcheck  ibm_im    nlpack
root@ubuntu:~/server_t# ./db2_install -f sysreq -->说明2
...<skip>...
Install into default directory (/opt/ibm/db2/V10.5) ? [yes/no] 
yes
 Specify one of the following keywords to install DB2 products.

  SERVER 
  CONSV 
  EXP 
  CLIENT 
  RTCL 
Enter "help" to redisplay product names.

Enter "quit" to exit.

***********************************************************
SERVER
***********************************************************
Do you want to install the DB2 pureScale Feature? [yes/no] 
no   

..

Task #48 start
Description: Updating global profile registry 
Estimated time 3 second(s) 
Task #48 end 

The execution completed successfully.

For more information see the DB2 installation log at
"/tmp/db2_install.log.9814".

7. 安装libaio.so.1 

# apt-get install libaio-dev <--说明3

8. 修改主机名

将主机名修改为db2a，方法为修改/etc/hostname的内容为db2a，并修改相应的/etc/hosts内容为如下，重启系统生效
# cat /etc/hostname
db2a
# cat /etc/hosts
127.0.0.1       localhost
127.0.1.1       db2a
192.168.187.138 db2a

9. 克隆一台机器

关掉db2a,使用VMare克隆一个机器，修改主机名为db2b，查看到IP地址为192.168.187.139，把这个信息也放到db2a的/etc/hosts里面，最后的效果如下：
db2a:
root@db2a:~# cat /etc/hosts
127.0.0.1       localhost
#127.0.1.1       db2a <--说明4
192.168.187.138 db2a
192.168.187.139 db2b

db2b:
root@db2b:~# cat /etc/hosts
127.0.0.1       localhost
#127.0.1.1       db2b <--说明4
192.168.187.138 db2a
192.168.189.139 db2b

这时已经可以在db2a和db2b上使用hostname ping对方了

10. 共享文件系统

目地是建立一个共享目录，使db2a, db2b都能访问，实例用户要创建在这个共享目录下（DPF环境中，实例是共享的）

db2a:
root@db2a:~# mkdir /share

在/etc/exports最后添加一行
/share *(rw,sync,no_root_squash,no_subtree_check)

重启服务：
root@db2a:~# service  nfs-kernel-server restart
 * Stopping NFS kernel daemon
   ...done.
 * Unexporting directories for NFS kernel daemon...
   ...done.
 * Exporting directories for NFS kernel daemon...
   ...done.
 * Starting NFS kernel daemon
   ...done.
root@db2a:~# showmount -e
Export list for db2a:
/share *

db2b上:
root@db2b:~# service rpcbind restart
rpcbind stop/waiting
rpcbind start/running, process 1457
root@db2b:~# mkdir /share
root@db2b:~#  mount -t nfs db2a:/share /share
root@db2b:~# df
Filesystem     1K-blocks    Used Available Use% Mounted on
udev              492600       4    492596   1% /dev
tmpfs             100760     988     99772   1% /run
/dev/sda1       40120704 6603652  31455996  18% /
none                   4       0         4   0% /sys/fs/cgroup
none                5120       0      5120   0% /run/lock
none              503780       0    503780   0% /run/shm
none              102400       0    102400   0% /run/user
db2a:/share     40120704 6603648  31456000  18% /share

可以看到，db2b的/share目录已经挂载到db2a:/share上，两台机器可以并发地访问这个文件系统了。如果想要每次开机重启都自动挂载，可以在db2b的/etc/rc.local里添加一行：
sudo mount -t nfs db2a:/share /share

11. 创建DB2实例

db2a和db2b上都执行以下命令,创建用户：
# groupadd -g 999 db2iadm  
# groupadd -g 998 db2fadm
# groupadd -g 997 dasadm 
# useradd -u 1004 -g db2iadm -m -d /share/dpf105 dpf105   
# useradd -u 1003 -g db2fadm -m -d /share/db2fend db2fend
# useradd -u 1002 -g dasadm -m -d /share/dasusr dasusr 
# passwd dpf105 
# passwd db2fend
# passwd dasusr  

db2a上创建实例：
root@db2a:~# /opt/ibm/db2/V10.5/instance/db2icrt -u db2fend dpf105

创建成功之后，可以看到/etc/services文件里多了以下内容:
root@db2a:~# grep -i dpf105 /etc/services
DB2_dpf105      60000/tcp
DB2_dpf105_1    60001/tcp
DB2_dpf105_2    60002/tcp
DB2_dpf105_3    60003/tcp
DB2_dpf105_4    60004/tcp
DB2_dpf105_END  60005/tcp

在/etc/services里添加一行，作为db2实例对外服务的端口
dpf105inst      60006/tcp

db2a切换到实例用户dpf105：
root@db2a:~# su - dpf105
dpf105@db2a:~$ db2set db2comm=tcpip

db2b切换到实例用户dpf105:
root@db2b:~# su - dpf105
dpf105@db2b:~$ db2set db2comm=tcpip

DBI1306N  The instance profile is not defined.

Explanation: 

The instance is not defined in the target machine registry.

User response: 

Specify an existing instance name or create the required instance.

这个报错是因为实例dpf105在db2b上未创建过，解决办法是在db2b上把/share/dpf105/sqllib删掉，重新创建一次实例，db2b上，使用root用户：
root@db2b:~# rm -r /share/dpf105/sqllib
root@db2b:~# /opt/ibm/db2/V10.5/instance/db2icrt -u db2fend dpf105
root@db2b:~# grep -i dpf105 /etc/services
DB2_dpf105      60000/tcp
DB2_dpf105_1    60001/tcp
DB2_dpf105_2    60002/tcp
DB2_dpf105_3    60003/tcp
DB2_dpf105_4    60004/tcp
DB2_dpf105_END  60005/tcp

同样在/etc/services里添加一行，作为db2实例对外服务的端口：
dpf105inst      60006/tcp

切换到实例用户：
root@db2b:~# su - dpf105
dpf105@db2b:~$ db2set db2comm=tcpip
dpf105@db2b:~$ db2 update dbm cfg using svcename dpf105inst
DB20000I  The UPDATE DATABASE MANAGER CONFIGURATION command completed 
successfully.

这里注意一点，两个机器里的/etc/services里的端口要保持一致。另外一点，虽然实例目录是共享的，但实例是创建了两次，在db2a上创建完成之后，把sqllib删掉，再在db2b上创建一次。

12. 更新db2nodes.cfg

修改/share/dpf105/sqllib目录下的db2nodes.cfg为以下内容，在db2a或者db2b上修改都行，因为是共享的：
0 db2a 0
1 db2a 1
2 db2b 0
3 db2b 1

13. 配置ssh免密

为dpf105用户配置SSH免密，方法可以参考链接：
http://blog.csdn.net/qingsong3333/article/details/73695895

14. 测试

如果以下测试都成功（ssh不需要密码，ping都能ping通，date都能获取时间），说明配置的没有问题
db2a上：
dpf105@db2a:~$ ssh db2a date
dpf105@db2a:~$ ssh db2b date
dpf105@db2a:~$ ping db2a
dpf105@db2a:~$ ping db2b
dpf105@db2a:~$ db2_all "date"

db2b上也要做同样的测试。
(如果ssh成功，但db2_all失败，可以尝试db2set DB2RSHCMD=/usr/bin/ssh）

15. 启动实例

db2a或者db2b上都可以
dpf105@db2b:~$ db2start
06/15/2017 09:22:22     3   0   SQL1063N  DB2START processing was successful.
06/15/2017 09:22:24     2   0   SQL1063N  DB2START processing was successful.
06/15/2017 09:22:33     1   0   SQL1063N  DB2START processing was successful.
06/15/2017 09:22:35     0   0   SQL1063N  DB2START processing was successful.
SQL1063N  DB2START processing was successful.

16. 创建数据库

切换到db2a上：
dpf105@db2a:~$ db2sampl

  Creating database "SAMPLE"...
  Connecting to database "SAMPLE"...
  Creating tables and data in schema "DPF105"...
  Creating tables with XML columns and XML data in schema "DPF105"...

  'db2sampl' processing complete.

dpf105@db2a:~$ db2 terminate
DB20000I  The TERMINATE command completed successfully.

dpf105@db2a:~$ db2 "connect to sample"

   Database Connection Information

 Database server        = DB2/LINUXX8664 10.5.8
 SQL authorization ID   = DPF105
 Local database alias   = SAMPLE

dpf105@db2a:~$ db2 "values (current dbpartitionnum)"

1          
-----------
          0

  1 record(s) selected.

dpf105@db2a:~$ db2 list tablespaces

           Tablespaces for Current Database

 Tablespace ID                        = 0
 Name                                 = SYSCATSPACE
 Type                                 = Database managed space
 Contents                             = All permanent data. Regular table space.
 State                                = 0x0000
   Detailed explanation:
     Normal

 Tablespace ID                        = 1
 Name                                 = TEMPSPACE1
 Type                                 = System managed space
 Contents                             = System Temporary data
 State                                = 0x0000
   Detailed explanation:
     Normal

 Tablespace ID                        = 2
 Name                                 = USERSPACE1
 Type                                 = Database managed space
 Contents                             = All permanent data. Large table space.
 State                                = 0x0000
   Detailed explanation:
     Normal

 Tablespace ID                        = 3
 Name                                 = IBMDB2SAMPLEREL
 Type                                 = Database managed space
 Contents                             = All permanent data. Large table space.
 State                                = 0x0000
   Detailed explanation:
     Normal

 Tablespace ID                        = 4
 Name                                 = IBMDB2SAMPLEXML
 Type                                 = Database managed space
 Contents                             = All permanent data. Large table space.
 State                                = 0x0000
   Detailed explanation:
     Normal

 Tablespace ID                        = 5
 Name                                 = SYSTOOLSPACE
 Type                                 = Database managed space
 Contents                             = All permanent data. Large table space.
 State                                = 0x0000
   Detailed explanation:
     Normal

DB21011I  In a partitioned database server environment, only the table spaces 
on the current node are listed.

可以看到当前节点为0，上面有一个表空间SYSCATSPACE，这个表空间只在0号节点上存在，所以0号节点是Catalog Partition，我们再切换到3号节点上

dpf105@db2a:~$ DB2NODE=3
dpf105@db2a:~$ export DB2NODE
dpf105@db2a:~$ db2 terminate
DB20000I  The TERMINATE command completed successfully.
dpf105@db2a:~$ db2 "connect to sample"

   Database Connection Information

 Database server        = DB2/LINUXX8664 10.5.8
 SQL authorization ID   = DPF105
 Local database alias   = SAMPLE

dpf105@db2a:~$ db2 "values (current dbpartitionnum)"

1          
-----------
          3

  1 record(s) selected.

dpf105@db2a:~$ db2 list tablespaces

           Tablespaces for Current Database

 Tablespace ID                        = 1
 Name                                 = TEMPSPACE1
 Type                                 = System managed space
 Contents                             = System Temporary data
 State                                = 0x0000
   Detailed explanation:
     Normal

 Tablespace ID                        = 2
 Name                                 = USERSPACE1
 Type                                 = Database managed space
 Contents                             = All permanent data. Large table space.
 State                                = 0x0000
   Detailed explanation:
     Normal

 Tablespace ID                        = 3
 Name                                 = IBMDB2SAMPLEREL
 Type                                 = Database managed space
 Contents                             = All permanent data. Large table space.
 State                                = 0x0000
   Detailed explanation:
     Normal

 Tablespace ID                        = 4
 Name                                 = IBMDB2SAMPLEXML
 Type                                 = Database managed space
 Contents                             = All permanent data. Large table space.
 State                                = 0x0000
   Detailed explanation:
     Normal

DB21011I  In a partitioned database server environment, only the table spaces 
on the current node are listed.

看一下employee表的数据在各个节点上的分布情况：
dpf105@db2a:~$ db2 "SELECT DBPARTITIONNUM(EMPNO) as PARTITION_NUM, COUNT(*) as ROW_NUM FROM employee GROUP BY DBPARTITIONNUM(EMPNO) ORDER BY DBPARTITIONNUM(EMPNO) DESC"

PARTITION_NUM ROW_NUM    
------------- -----------
            3          12
            2          10
            1          13
            0           7

  4 record(s) selected.

最后停掉实例：
dpf105@db2a:~$ db2 connect reset

DB20000I  The SQL command completed successfully.

dpf105@db2a:~$ db2 list applications
SQL1611W  No data was returned by Database System Monitor.
dpf105@db2a:~$ db2stop
06/15/2017 22:10:26     0   0   SQL1064N  DB2STOP processing was successful.
06/15/2017 22:10:27     1   0   SQL1064N  DB2STOP processing was successful.
06/15/2017 22:10:27     2   0   SQL1064N  DB2STOP processing was successful.
06/15/2017 22:10:27     3   0   SQL1064N  DB2STOP processing was successful.
SQL1064N  DB2STOP processing was successful.

 
说明1：
如果不安装ksh，那么db2_all "date"测试的时候，会出现报错
-su: /share/dpf105/sqllib/bin/db2_all: /bin/ksh: bad interpreter: No such file or directory

说明2：
如果不加 '-f sysreq'选项，db2_install会由于下面的报错而中止，这个报错的意思是缺少32-bit的库文件，由于我们的安装的是64bit的DB2，如果没有32-bit的应用，可以忽略这个报错。加上'-f sysreq'之后，虽然也会有警告，但安装能完成。
DBT3514W  The db2prereqcheck utility failed to find the following 32-bit library file: "/lib/i386-linux-gnu/libpam.so*". 

说明3：
如果不安装libaio-dev，那么db2start会报错：
db2start: error while loading shared libraries: libaio.so.1: cannot open shared object file: No such file or directory

说明4：
这里要把这一行注释掉，否则最后一步创建数据库(db2sampl)的时候会一直HANG住,并且在db2diag.log中每隔3分钟就出现一次下面的消息：

2017-06-15-09.26.50.472345-420 E96186E683            LEVEL: Error (OS)
PID     : 30914                TID : 140413780354816 PROC : db2sysc 2
INSTANCE: dpf105               NODE : 002
HOSTNAME: db2b
EDUID   : 24                   EDUNAME: db2fcms 2
FUNCTION: DB2 UDB, oper system services, sqloPdbConnectSocket, probe:30
MESSAGE : ZRC=0x810F001D=-2129723363=SQLO_SOCKET_IN_USE
          "Socket bound to an address already"
CALLED  : OS, -, connect                          OSERR: EINVAL (22)
DATA #1 : String, 24 bytes
Unable to connect socket
DATA #2 : socket, 4 bytes
17
DATA #3 : sockaddr, 16 bytes
0x0000000200D94440 : 0200 EA60 C0A8 BB8A 0000 0000 0000 0000    ...`............

2017-06-15-09.26.50.480725-420 I96870E436            LEVEL: Severe
PID     : 30914                TID : 140413780354816 PROC : db2sysc 2
INSTANCE: dpf105               NODE : 002
HOSTNAME: db2b
EDUID   : 24                   EDUNAME: db2fcms 2
FUNCTION: DB2 UDB, fast comm manager, sqkfSendConduit::InitiateLinkConnect, probe:17
RETCODE : ZRC=0x81590070=-2124873616=SQLKF_CONN_INIT_FAIL
          "FCM connection initialization failed"

查看FCM监听端口，发现是在172.0.1.1上监听的：
dpf105@db2a:~$ netstat -an | grep -i 6000
tcp        0      0 127.0.1.1:60000         0.0.0.0:*               LISTEN     
tcp        0      0 127.0.1.1:60001         0.0.0.0:*               LISTEN    
tcp        0      0 0.0.0.0:60006           0.0.0.0:*               LISTEN

如果没有这一行的话，启动实例后就看到是在对应IP上监听的了，创建数据库也很快成功：
dpf105@db2a:~$ netstat -an | grep -i 6000
tcp        0      0 192.168.187.138:60000   0.0.0.0:*               LISTEN     
tcp        0      0 192.168.187.138:60001   0.0.0.0:*               LISTEN     
tcp        0      0 0.0.0.0:60006           0.0.0.0:*               LISTEN