nginx和tomcat使用chroot（jail）相关配置

本文注重配置记录，chroot（jail）作用好处不再赘述。

本文分三部分讲述：配置基本的chroot jail，nginx配置chroot jail，tomcat配置chrootjail。

1.配置基本的chroot jail

1.1.创建一个目录，作为chroot jail的根目录。

# mkdir /home/chroot/jail

1.2.使用ldd命令，找出你想在chroot jail中想运行的命令的依赖库。

# ldd /bin/bashlinux-vdso.so.1 =>  (0x00007fff56fcc000)libtinfo.so.5 => /lib64/libtinfo.so.5 (0x0000003ad1200000)libdl.so.2 => /lib64/libdl.so.2 (0x0000003abe600000)libc.so.6 => /lib64/libc.so.6 (0x0000003abe200000)/lib64/ld-linux-x86-64.so.2 (0x0000003abde00000)

1.3.创建chroot jail根目录的子文件夹，你想在chroot下要运行的东西需要什么，就创建什么，记住服务最小化原则。

# mkdir /home/chroot/jail/bin# mkdir /home/chroot/jail/lib64

1.4.拷贝二进制文件（需要在chroot下运行的）和依赖库到chroot jail目录下。

# cp /bin/bash /home/chroot/jail/bin# cp /lib64/{libtinfo.so.5,libdl.so.2,libc.so.6,ld-linux-x86-64.so.2} \  /home/chroot/jail/lib64

1.5.完成上面操作，就可以进chroot下查看了。

上述操作只是能再chroot下能运行bash，其他操作不可以。因而下列例子中的ls指令找不到

# chroot /home/chroot/jailbash-4.1# pwd/bash-4.1# lsbash: ls: command not foundbash-4.1# exitexit#

这里只能运行一些内嵌的shell，比如pwd，但是其他指令不行，除非你将它的二进制文件和相关依赖库也拷进chroot jail中。

1.6.如果启动某服务总是出错，可以使用strace来查错。在nginx配置最后会补充。

2.nginx配置chroot jail

nginx的安装方式省略，就是下载tar.gz，解压，configure，make，make install。。。

这里配置针对CentOS6.x 64位系统。

2.1.指定chroot目录，也就是1.1.中说的根目录。

为命名规范统一，都做成以下目录结构：

# D=/home/nginx/jail# mkdir -p $D

2.2.创建隔离环境，jail根目录下的子目录。

# mkdir -p $D/etc# mkdir -p $D/dev# mkdir -p $D/var# mkdir -p $D/usr# mkdir -p $D/usr/local/nginx# mkdir -p $D/tmp# chmod 1777 $D/tmp# mkdir -p $D/var/tmp# chmod 1777 $D/var/tmp# mkdir -p $D/lib64

2.3.在$D/dev中创建需要的设备，应该是缓冲区。

这里使用mknod 命令创建缓存文件：

# /bin/mknod -m 0666 $D/dev/null c 1 3# /bin/mknod -m 0666 $D/dev/random c 1 8# /bin/mknod -m 0444 $D/dev/urandom c 1 9

2.4.拷贝所有的nginx文件到jail中。

# /bin/cp -farv /usr/local/nginx/* $D/usr/local/nginx

2.5.拷贝依赖库到jail中。（2.5与2.4相当于1.4中的过程）

# ldd /usr/local/nginx/sbin/nginx

需要什么拷什么，服务最小化。

2.6.拷贝/etc到jail。

nixCraft教程中专门指出这些，应该是nginx运行时会用到的东西。

# cp -fv /etc/{group,prelink.cache,services,adjtime,shells,gshadow,shadow,hosts.deny,localtime,nsswitch.conf,nscd.conf,prelink.conf,protocols,hosts,passwd,ld.so.cache,ld.so.conf,resolv.conf,host.conf} $D/etc

添加一些文件夹：

# cp -avr /etc/{ld.so.conf.d,prelink.conf.d} $D/etc

2.7.启动nginx。

如果有正在运行的nginx，首先要关闭之：

# killall -9 nginx

在chroot中开启nginx：

# /usr/sbin/chroot /home/nginx/jail /usr/local/nginx/sbin/nginx -t# /usr/sbin/chroot /home/nginx/jail /usr/local/nginx/sbin/nginx

也可以先进chroot，再开启：

# chroot /home/nginx/jail bash-4.1# /usr/local/nginx/sbin/nginx -tbash-4.1# /usr/local/nginx/sbin/nginx

将其配置为开机自启：

# echo '/usr/sbin/chroot /home/nginx/jail /usr/local/nginx/sbin/nginx' >> /etc/rc.local

编辑chroot中nginx的配置文件：

# cd /home/nginx/jail/usr/local/nginx/conf/# vi nginx.conf

保存关闭后，测试并重启nginx：

# /usr/sbin/chroot /home/nginx/jail /usr/local/nginx/sbin/nginx -t# /usr/sbin/chroot /home/nginx/jail /usr/local/nginx/sbin/nginx -s reload

如果直接copy的chroot环境，nginx可能配置文件不识别，执行：

# /usr/sbin/chroot /home/nginx/jail /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

再测试重启nginx。

2.8.如果环境还是有问题，使用strace追踪错误。（本方法配置tomcat或其他服务也试用，之后不再赘述）

# strace -f -o /tmp/nginx.strace chroot /nginx /usr/local/nginx/sbin/nginx -t 

strace可能需要安装。
执行完语句，会有一些追踪，在/tmp/nginx.strace文件中，会有更详细的追踪。

自己在配置环境时，就是子啊该文件中发现，缺失了某个包，将其加入chroot jail中，启动正常。

2.9.补充隐藏nginx版本号

1）编辑nginx.conf文件：

http {
    ……省略
    sendfile on;
    tcp_nopush on;
    keepalive_timeout 60;
    tcp_nodelay on;
    server_tokens off;
    …….省略   

}
2）编辑php-fpm配置文件，如fastcgi.conf或fcgi.conf（这个配置文件名也可以自定义的，根据具体文件名修改）：

找到：
fastcgi_param SERVER_SOFTWARE nginx/$nginx_version;
改为：
fastcgi_param SERVER_SOFTWARE nginx;

3）重启nginx

重启后，可以用Nmap等软件扫一下看看。

3.tomcat配置chroot jail

3.1.创建chroot jail根目录。

# mkdir /home/tomcat/jail

3.2.创建chroot jail目录结构。

# cd /home/tomcat/jail# mkdir -p lib lib64 etc tmp dev usr# chmod 755 etc dev usr# chmod 1777 tmp

# cp -a /etc/hosts etc/hosts

3.3.安装java环境，并拷贝root安装的环境到chroot中。

# mkdir -p usr/java# cp -a /usr/java/jdk1.7.0_67 usr/java

3.4.查找拷贝java的依赖库

# ldd /usr/java/jdk1.7.0_67/bin/javalinux-vdso.so.1 =>  (0x00007fff532d1000)libpthread.so.0 => /lib64/libpthread.so.0 (0x00007fc36c8f2000)libjli.so => /usr/java/jdk1.7.0_67/bin/../lib/amd64/jli/libjli.so (0x00007fc36c6da000)libdl.so.2 => /lib64/libdl.so.2 (0x00007fc36c4d6000)libc.so.6 => /lib64/libc.so.6 (0x00007fc36c142000)/lib64/ld-linux-x86-64.so.2 (0x00007fc36cb17000)

只拷贝上述4个lib64中的库，另外还需要拷贝2个JVM需要的库：

# cp -p /lib64/libm.so.6 lib64/# cp -p /lib64/libnsl.so.1 lib64/

3.5.在运行JVM之前，还需要做一些工作，使得chroot更像一个真实的root环境。

创建/dev和其中的子项：

# cd /home/tomcat/jail# mkdir -p /home/tomcat/jail/dev/pts# /dev/MAKEDEV -d /home/tomcat/jail/dev null random urandom zero loop* log console# cp /dev/MAKEDEV /home/tomcat/jail/dev# cp -a /dev/shm /home/tomcat/jail/dev/

3.6.挂载/proc。

# mkdir -p /home/tomcat/jail/proc# mount -t proc proc /home/tomcat/jail/proc

这一步挂载完后，在chroot下就可以用java了，可以进入chroot通过以下命令测试：

bash-4.1# /usr/java/jdk1.7.0_67/bin/java -version

额。。前提是你已经将bash，sh在chroot中做了一份。或者这个3.x全部做完后，再此时也阔以哒~

3.7.添加其他需要文件和依赖库。

拷贝etc下的三个文件，不需要的尽量不要拷，还是那句话。。服务最小化。。

cp -a /etc/{hosts,resolv.conf,nsswitch.conf} /home/tomcat/jail/etc/ 

还有三个命名支持的依赖库需要拷贝

cp -p /lib64/libresolv.so.2 lib64/cp -p /lib64/libnss_dns.so.2 lib64/cp -p /lib64/libnss_files.so.2 lib64/

再将/bin/bash 和/bin/sh做到chroot中，参考1.x。其中sh在centos中是bash的一个软连接。

在这一步后，java在chroot中就可以工作了，再出错就用strace排错。

java运行环境搭好后，开始配置tomcat。

3.8.tomcat安装配置。

tomcat一般不需要安装，算是绿化的吧，下载解压包，在chroot jail目录中解压即可。

我直接压缩在了jail根目录。

尝试运行，会有如下结果：

bash-4.1# /apache-tomcat-7.0.57/bin/catalina.sh start                      /apache-tomcat-7.0.57/bin/catalina.sh: line 102: uname: command not found/apache-tomcat-7.0.57/bin/catalina.sh: line 122: dirname: command not foundCannot find //bin/setclasspath.shThis file is needed to run this program

需要将uname和dirname两个二进制文件和依赖库copy进来，做法与bash相同。

# cp /bin/uname bin/# mkdir usr/bin# cp /usr/bin/dirname usr/bin

在运行tomcat，发现还有一点小问题：

bash-4.1# /apache-tomcat-7.0.57/bin/catalina.sh start/apache-tomcat-7.0.57/bin/catalina.sh: line 203: tty: command not foundUsing CATALINA_BASE:   /apache-tomcat-7.0.57Using CATALINA_HOME:   /apache-tomcat-7.0.57Using CATALINA_TMPDIR: /apache-tomcat-7.0.57/tempUsing JRE_HOME:        /usr/java/jdk1.7.0_67Using CLASSPATH:       /apache-tomcat-7.0.57/bin/bootstrap.jar:/apache-tomcat-7.0.57/bin/tomcat-juli.jar/apache-tomcat-7.0.57/bin/catalina.sh: line 368: touch: command not foundTomcat started.

再添加这个几个东西：

# cp -p /lib64/librt.so.1 lib64/# cp /usr/bin/tty usr/bin/# cp /bin/touch bin/

这样，tomcat在chroot容器中可以正常运行了。

将其配置为开机自启，在rc.local末尾追加：

export JAVA_HOME=/usr/local/java/jdk1.7.0_25export JRE_HOME=$JAVA_HOME/jremount -t proc proc /home/tomcat/jail/proc &>/dev/null/usr/sbin/chroot /home/tomcat/jail /usr/tomcat/bin/catalina.sh start

注意这个java路径，root与chroot要一致。

参考文献：

[1] 3.13 Configuring and Using Chroot Jails Chapter 3 Implementing Oracle Linux Security Guide for Release 6

[2] Linux nginx: Chroot (Jail) Setup By NIXCRAFT

[3] Tomcat: The Definitive Guide: The Definitive Guide By Jason Brittain, Ian F. Darwin