squid3.0缓存服务器编译安装

在Linux下面部署应用的时候，有时候会遇上Socket/File: Can’t open so many files的问题，比如还有Squid做代理,当文件打开数到900多时速能就非常快的下降，有可能打不开网页.
其实Linux是有文件句柄限制的，而且Linux默认不是很高，一般都是1024，生产服务器用其实很容易就达到这个数量.

查看方法:用ulimit -a来查看所有限制值

[root@centos5 ~]# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
max nice                        (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 4096
max locked memory       (kbytes, -l) 32
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
max rt priority                 (-r) 0
stack size              (kbytes, -s) 10240
cpu time               (seconds, -t) unlimited
max user processes              (-u) 4096
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited||<

其中 “open files (-n) 1024 “是Linux操作系统对一个进程打开的文件句柄数量的限制(也包含打开的SOCKET数量,可影响MySQL的并发连接数目).这个值可用ulimit 命令来修改,但ulimit命令修改的数值只对当前登录用户的目前使用环境有效,系统重启或者用户退出后就会失效.
系统总限制是在这里，/proc/sys/fs/file-max.可以通过cat查看目前的值，修改/etc/sysctl.conf 中也可以控制.
另外还有一个，/proc/sys/fs/file-nr，可以看到整个系统目前使用的文件句柄数量,查找文件句柄问题的时候，还有一个很实用的程序lsof.可以很方便看到某个进程开了那些句柄.也可以看到某个文件/目录被什么进程占用了.

修改方法:
若要令修改ulimits的数值永久生效,则必须修改配置文档,可以给ulimit修改命令放入/etc/profile里面，这个方法实在是不方便,还 有一个方法是修改/etc/sysctl.conf .我修改了，测试过,但对用户的ulimits -a 是不会改变的。只是/proc/sys/fs/file-max的值变了.(我给命令放到rc.local中失败)
我认为正确的做法，应该是修改/etc/security/limits.conf里面有很详细的注释，比如

* soft nofile 32768
* hard nofile 65536

也可以直接运行下面这个shell。直接copy到你的终端中运行就好了.
echo -ne ”
* soft nofile 65536
* hard nofile 65536
” >>/etc/security/limits.conf

就可以将文件句柄限制统一改成软32768，硬65536.配置文件最前面的是指domain，设置为星号代表全局，另外你也可以针对不同的用户做出不同的限制

注意.这个当中的硬限制是实际的限制，而软限制，是warnning限制，只会做出warning.其实ulimit命令本身就有分软硬设置，加-H就是硬，加-S就是软
默认显示的是软限制，如果运行ulimit命令修改的时候没有加上的话，就是两个参数一起改变.

生效:

修改完重新登录就可以见到.(我的系统是Centos5.1.修改了，重新登录后就立刻生效.可以用ulimit -a 查看确认.)

如果你使用squid的话,你要在/etc/init.d/squid的文件加入ulimit -HSn 65535.另外,在squid.conf中也要加入max_filedesc 16384

修改squid的配置文件中关于cache dir设置 （其他设置根据需要确定）

# cache_dir ufs /cache 3000 32 128

为了提高系统性能，做以下调整

#修改/etc/rc.loca 中的打开时端口数

# echo "10240    65535" > /proc/sys/net/ipv4/ip_local_port_range

#修改进程使用内存限制

# echo 2147483648 > /proc/sys/kernel/shmmax

#修改打开文件句柄数

   ulimit -Hn 65535
   ulimit -n 65535
   ulimit -u 16384

1、直接用ulimit命令
ulimit -n 65535

2、修改/proc/sys/net/ipv4/ip_conntrack_max为65535
或者是/etc/sysctl.conf中加入ip_conntrack_max=65535

3、请首先编辑/usr/include/bits/types.h 文件，改变__FD_SETSIZE 的值：
#define _ _FD_SETSIZE 65535

下一步，使用这个命令增加内核文件描述符的限制：
# echo 65535 > /proc/sys/fs/file-max

最后，增加进程文件描述符的限制，在你即将编译squid 的同一个shell 里执行：
# ulimit -Hn 65535

该命令必须以root 运行，仅仅运行在bash shell。不必重启机器。

查看当前连接数，查看/proc/net/ip_conntrack这个文件，用以下命令

# less /proc/net/ip_conntrack |wc -l

# wget http://www.squid-cache.org/Versions/v3/3.0/squid-3.0.STABLE18.tar.gz
# tar zxvf squid-3.0.STABLE18.tar.gz
# cd squid-3.0.STABLE18
# ./configure -prefix=/usr/local/squid -enable-dlmalloc -enable-debug-cbdata -enable-async-io=100 -with-pthreads-enable-storeio="aufs,coss,diskd,ufs" -enable-removal-policies="heap,lru" -enable-icmp -enable-delay-pools -enable-useragent-log -enable-referer-log -disable-wccp -disable-wccpv2 -enable-kill-parent-hack -enable-arp-acl -enable-snmp -enable-default-err-language=Simplify_Chinese -enable-err-languages="Simplify_Chinese English" -disable-poll -enable-epoll -disable-ident-lookups -disable-internal-dns -enable-truncate -enable-underscores -enable-basic-auth-helpers="NCSA" -enable-stacktrace -with-winbind-auth-challenge -enable-large-cache-files -with-large-files -enable-x-accelerator-var
# make
# make install
chmod -R 777 cache目录
# chmod -R 777 /usr/local/squid/var/

创建缓存目录
# /usr/local/squid/sbin/squid -z
测试Squid运行状况
# /usr/local/squid/sbin/squid -NCd1
成功后将出现”Ready to serve requests”.否则请检查配置文件”

启动squid
# /usr/local/squid/sbin/squid -sD

############# squid start ##############
ulimit -HSn 65535
/usr/local/squid/sbin/squid -s -f /usr/local/squid/etc/squid.conf
########################################

相关命令
停止squid
/usr/local/squid/sbin/squid -k shutdown
启用新配置
/usr/local/squid/sbin/squid -k reconfig
通过crontab每小时截断/轮循日志
59 * * * * /usr/local/squid/sbin/squid -k rotate
查看squid运行状况
/usr/local/squid/bin/squidclient -p 80 mgr:info
/usr/local/squid/bin/squidclient -p 80 mgr:5min
查看squid内存使用情况
/usr/local/squid/bin/squidclient -p 80 mgr:mem
查看squid磁盘使用情况
/usr/local/squid/bin/squidclient -p 80 mgr:diskd
查看squid已缓存列表（小心使用，可能会导致crash）
/usr/local/squid/bin/squidclient -p 80 mgrbjects
强制更新某个url
/usr/local/squid/bin/squidclient -p 80 -m PURGE http://img.test.com/h/a.jpg
查看squid缓存到内存cache中并返回给访问用户的项
#cat /var/log/squid/access.log | grep TCP_MEM_HIT
查看squid缓存到磁盘cache中并返回给访问用户的项
#cat /usr/local/squid/var/logs/access.log | grep TCP_HIT
查看没被squid缓存住，直接从原始服务器获取并返回给访问用户的项
#cat /usr/local/squid/var/logs/access.log | grep TCP_MISS

参考:
http://apps.hi.baidu.com/share/detail/4494088