打建性能比squid高很多的varnish服务器

我在设计系统架构时，进行了大胆的尝试，只用6台Web服务器（除开FLV视频存储服务器），达到了可承受4000万PV（页面访问量）的性能：

抛弃了 Apache，因为它能承受的并发连接相对较低；
抛弃了 Squid，因为它在内存利用、访问速度、并发连接、清除缓存等方面不如 Varnish；
抛弃了 PHP4，因为 PHP5 处理面向对象代码的速度要比 PHP4 快，另外，PHP4 已经不再继续开发；
抛弃了 F5 BIG-IP 负载均衡交换机，F5 虽然是个好东西，但由于价格不菲，多个部门多个产品都运行在其之上，流量大、负载高，从而导致性能大打折扣；

利用 Varnish cache 减少了90%的数据库查询，解决了MySQL数据库瓶颈；
利用 Varnish cache 的内存缓存命中加快了网页的访问速度；
利用 Nginx + PHP5(FastCGI) 的胜过Apache 10倍的高并发性能，以最少的服务器数量解决了PHP动态程序访问问题；
利用 Memcached 处理实时数据读写；
利用 HAProxy 做接口服务器健康检查；

经过压力测试，每台Web服务器能够处理3万并发连接数，承受4千万PV完全没问题。

保证4千万PV的并发连接数：(40000000PV / 86400秒 * 10个派生连接数 * 5秒内响应 * 5倍峰值) / 6台Web服务器 = 19290连接数

-------------------------------------------------------------------------------------------------------

创建Varnish配置文件：
vi /usr/local/varnish/vcl.conf

输入以下内容：
backend myblogserver {
set backend.host = "192.168.0.5";
set backend.port = "80";
}

acl purge {
"localhost";
"127.0.0.1";
"192.168.1.0"/24;
}

sub vcl_recv {
if (req.request == "PURGE") {
if (!client.ip ~ purge) {
error 405 "Not allowed.";
}
lookup;
}

if (req.http.host ~ "^blog.s135.com") {
set req.backend = myblogserver;
if (req.request != "GET" && req.request != "HEAD") {
pipe;
}
else {
lookup;
}
}
else {
error 404 "Zhang Yan Cache Server";
lookup;
}
}

sub vcl_hit {
if (req.request == "PURGE") {
set obj.ttl = 0s;
error 200 "Purged.";
}
}

sub vcl_miss {
if (req.request == "PURGE") {
error 404 "Not in cache.";
}
}

sub vcl_fetch {
if (req.request == "GET" && req.url ~ "\.(txt|js)$") {
set obj.ttl = 3600s;
}
else {
set obj.ttl = 30d;
}
}

这里，我对这段配置文件解释一下：
(1)、Varnish通过反向代理请求后端IP为192.168.0.5，端口为80的web服务器；
(2)、Varnish允许localhost、127.0.0.1、192.168.0.***三个来源IP通过PURGE方法清除缓存；
(3)、Varnish对域名为blog.s135.com的请求进行处理，非blog.s135.com域名的请求则返回“Zhang Yan Cache Server”；
(4)、Varnish对HTTP协议中的GET、HEAD请求进行缓存，对POST请求透过，让其直接访问后端Web服务器。之所以这样配置，是因为POST请求一般是发送数据给服务器的，需要服务器接收、处理，所以不缓存；
(5)、Varnish对以.txt和.js结尾的URL缓存时间设置1小时，对其他的URL缓存时间设置为30天。
5、启动Varnish

ulimit -SHn 51200
/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/vcache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on

6、启动varnishncsa用来将Varnish访问日志写入日志文件：

/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/varnish.log &

7、如果想配置成开机自动启动Varnish

vi /etc/rc.local

在末尾增加以下内容：

ulimit -SHn 51200
/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/vcache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on
/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/youvideo.log &

8、优化Linux内核参数

vi /etc/sysctl.conf

在末尾增加以下内容：

net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000    65000

再看看如何管理Varnish：
1、查看Varnish服务器连接数与命中率：

/usr/local/varnish/bin/varnishstat -n /var/vcache

输出的结果如下图显示: 

2、通过Varnish管理端口进行管理：
用help看看可以使用哪些Varnish命令：

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 help

3、通过Varnish管理端口，使用正则表达式批量清除缓存：
(1)、例：清除类似http://blog.s135.com/a/zhangyan.html的URL地址）：

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge /a/

(2)、例：清除类似http://blog.s135.com/tech的URL地址：

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge w*$

(3)、例：清除所有缓存：
/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge *$

附1：2007年12月10日，我写了一个每天0点运行，按天切割Varnish日志，生成一个压缩文件，同时删除上个月旧日志的脚本（/var/logs/cutlog.sh）：
/var/logs/cutlog.sh文件内容如下：

#!/bin/sh
# This file run at 00:00
date=$(date -d "yesterday" +"%Y-%m-%d")
pkill -9 varnishncsa
mv /var/logs/youvideo.log /var/logs/${date}.log
/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/youvideo.log &
mkdir -p /var/logs/youvideo/
gzip -c /var/logs/${date}.log > /var/logs/youvideo/${date}.log.gz
rm -f /var/logs/${date}.log
rm -f /var/logs/youvideo/$(date -d "-1 month" +"%Y-%m*").log.gz

设置在每天00:00定时执行：

/usr/bin/crontab -e
0 0 * * * /bin/sh /var/logs/cutlog.sh