使用Varnish代替Squid做网站缓存加速器的详细解决方案

news/2024/5/14 22:29:11/文章来源:https://blog.csdn.net/phphot/article/details/2086148

 

 我曾经写过一篇文章──《初步试用Squid的替代产品──Varnish Cache网站加速器》,但当时仅仅是用着玩,没做深入研究。

  今天写的这篇关于Varnish的文章,已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少,中文资料更是微乎其微,希望本文能够吸引更多的人研究、使用Varnish。

  在我看来,使用Varnish代替Squid的理由有三点:
  1、Varnish采用了“Visual Page Cache”技术,在内存的利用上,Varnish比Squid具有优势,它避免了Squid频繁在内存、磁盘中交换文件,性能要比Squid高。
  2、Varnish的稳定性还不错,我管理的一台图片服务器运行Varnish已经有一个月,没有发生过故障,而进行相同工作的Squid服务器就倒过几次。
  3、通过Varnish管理端口,可以使用正则表达式快速、批量地清除部分缓存,这一点是Squid不能具备的。

  点击在新窗口中浏览此图片



  下面来安装Varnish网站缓存加速器(Linux系统):
  1、创建www用户和组,以及Varnish缓存文件存放目录(/var/vcache):

 

/usr/sbin/groupadd www -g 48
/usr/sbin/useradd -u 48 -g www www
mkdir -p /var/vcache
chmod +w /var/vcache
chown -R www:www /var/vcache



  2、创建Varnish日志目录(/var/logs/):

mkdir -p /var/logs
chmod +w /var/logs
chown -R www:www /var/logs



  3、编译安装varnish:

wget http://blog.s135.com/soft/linux/varnish/varnish-1.1.2.tar.gz
tar zxvf varnish-1.1.2.tar.gz
cd varnish-1.1.2
./configure --prefix=/usr/local/varnish
make && make install



  4、创建Varnish配置文件:

vi /usr/local/varnish/vcl.conf


  输入以下内容:

引用
backend myblogserver {
       set backend.host = "192.168.0.5";
       set backend.port = "80";
}

acl purge {
       "localhost";
       "127.0.0.1";
       "192.168.1.0"/24;
}

sub vcl_recv {
       if (req.request == "PURGE") {
               if (!client.ip ~ purge) {
                       error 405 "Not allowed.";
               }
               lookup;
       }

       if (req.http.host ~ "^blog.s135.com") {
               set req.backend = myblogserver;
               if (req.request != "GET" && req.request != "HEAD") {
                       pipe;
               }
               else {
                       lookup;
               }
       }
       else {
               error 404 "Zhang Yan Cache Server";
               lookup;
       }
}

sub vcl_hit {
       if (req.request == "PURGE") {
               set obj.ttl = 0s;
               error 200 "Purged.";
       }
}

sub vcl_miss {
       if (req.request == "PURGE") {
               error 404 "Not in cache.";
       }
}

sub vcl_fetch {
       if (req.request == "GET" && req.url ~ "/.(txt|js)$") {
               set obj.ttl = 3600s;
       }
       else {
               set obj.ttl = 30d;
       }
}


  这里,我对这段配置文件解释一下:
  (1)、Varnish通过反向代理请求后端IP为192.168.0.5,端口为80的web服务器;
  (2)、Varnish允许localhost、127.0.0.1、192.168.0.***三个来源IP通过PURGE方法清除缓存;
  (3)、Varnish对域名为blog.s135.com的请求进行处理,非blog.s135.com域名的请求则返回“Zhang Yan Cache Server”;
  (4)、Varnish对HTTP协议中的GET、HEAD请求进行缓存,对POST请求透过,让其直接访问后端Web服务器。之所以这样配置,是因为POST请求一般是发送数据给服务器的,需要服务器接收、处理,所以不缓存;
  (5)、Varnish对以.txt和.js结尾的URL缓存时间设置1小时,对其他的URL缓存时间设置为30天。

  5、启动Varnish

ulimit -SHn 51200
/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/vcache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on



  6、启动varnishncsa用来将Varnish访问日志写入日志文件:

/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/varnish.log &



  7、配置开机自动启动Varnish

vi /etc/rc.local


  在末尾增加以下内容:

引用
ulimit -SHn 51200
/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/vcache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on
/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/youvideo.log &



  8、优化Linux内核参数

vi /etc/sysctl.conf


  在末尾增加以下内容:

引用
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000    65000




  再看看如何管理Varnish:
  1、查看Varnish服务器连接数与命中率:

/usr/local/varnish/bin/varnishstat


  点击在新窗口中浏览此图片

  2、通过Varnish管理端口进行管理:
  用help看看可以使用哪些Varnish命令:

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 help


引用
Available commands:
ping [timestamp]
status
start
stop
stats
vcl.load
vcl.inline
vcl.use
vcl.discard
vcl.list
vcl.show
param.show [-l] [ ]
param.set
help [command]
url.purge
dump.pool



  3、通过Varnish管理端口,使用正则表达式批量清除缓存:
  (1)、例:清除类似http://blog.s135.com/a/zhangyan.html的URL地址):

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge /a/


  (2)、例:清除类似http://blog.s135.com/tech的URL地址:

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge w*$


  (3)、例:清除所有缓存:

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:3500 url.purge *$



  4、一个清除Squid缓存的PHP函数(清除Varnish缓存同样可以使用该函数,无需作任何修改,十分方便):

view plaincopy to clipboardprint?
  1. <?php   
  2. function purge($ip$url)   
  3. {   
  4.     $errstr = '';   
  5.     $errno = '';   
  6.     $fp = fsockopen ($ip, 80, $errno$errstr, 2);   
  7.     if (!$fp)   
  8.     {   
  9.          return false;   
  10.     }   
  11.     else  
  12.     {   
  13.         $out = "PURGE $url HTTP/1.1/r/n";   
  14.         $out .= "Host:blog.s135.com/r/n";   
  15.         $out .= "Connection: close/r/n/r/n";   
  16.         fputs ($fp$out);   
  17.         $out = fgets($fp , 4096);   
  18.         fclose ($fp);   
  19.         return true;   
  20.     }   
  21. }   
  22.   
  23. purge("192.168.0.4""/index.php");   
  24. ?>  



  附1:Varnish官方网站:http://www.varnish-cache.org/

  附2:2007年12月10日,我写了一个每天0点运行,按天切割Varnish日志,生成一个压缩文件,同时删除上个月旧日志的脚本(/var/logs/cutlog.sh):
  /var/logs/cutlog.sh文件内容如下:

引用
#!/bin/sh
# This file run at 00:00
date=$(date -d "yesterday" +"%Y-%m-%d")
pkill -9 varnishncsa
mv /var/logs/youvideo.log /var/logs/${date}.log
/usr/local/varnish/bin/varnishncsa -n /var/vcache -w /var/logs/youvideo.log &
mkdir -p /var/logs/youvideo/
gzip -c /var/logs/${date}.log > /var/logs/youvideo/${date}.log.gz
rm -f /var/logs/${date}.log
rm -f /var/logs/youvideo/$(date -d "-1 month" +"%Y-%m*").log.gz


  设置在每天00:00定时执行:
  

/usr/bin/crontab -e

  或者  

vi /var/spool/cron/root

  输入以下内容:

引用
0 0 * * * /bin/sh /var/logs/cutlog.sh

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_771823.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LAMP网站架构方案分析

LAMP&#xff08;Linux-Apache-MySQL-PHP&#xff09;网站架构是目前国际流行的Web框架&#xff0c;该框架包括&#xff1a;Linux操作系统&#xff0c;Apache网络服务器&#xff0c;MySQL数据库&#xff0c;Perl、PHP或者Python编程语言&#xff0c;所有组成产品均是开源软件&a…

网站安全演讲稿

主要包括HTML字符破坏、外部提交、SQL注入、XSS跨站攻击等几个方面。

大型互联网网站架构心得

我们知道&#xff0c;对于一个大型网站来说&#xff0c;可伸缩性是非常重要的&#xff0c;怎么样在纵向和横向有良好的可伸缩性&#xff0c;就需要在做架构设计的时候考虑到一个分的原则&#xff0c;我想在多个方面说一下怎么分&#xff1a; 首先是横向的分&#xff1a;1. 大的…

.net core 跳转页面_网站怎么做404页面,以及网站怎样绑定多个域名

为了使网站更好地为用户浏览和更好的体验&#xff0c;有时用户在打开网站时会有一些错误页面。 这时&#xff0c;我们必须在网站中创建一个404页面以跳转到该网站的首页&#xff0c;这对于保留用户是有好处的&#xff0c;同时有效地告诉搜索索引这些页面已经消失了&#xff01;…

网站可以如此复制?

论坛中碰到如此问题&#xff1a;我们做了一个网站,域名是www.3322173.com 没想到今天忽然发现了www.qiepeng.cn的内容和我们的是一模一样...内容也是同步更新,只是把内容中3322173.com替换成qiepeng.cn 我关闭我自己的IIS后,两个域名都不能访问了. 我郁闷啊,这是什么样的技术哦…

一步步构建大型网站架构

一步步构建大型网站架构 之前我简单向大家介绍了各个知名大型网站的架构&#xff0c;MySpace的五个里程碑、Flickr的架构、YouTube的架构、PlentyOfFish的架构、WikiPedia的架构。这几个都很典型&#xff0c;我们可以从中获取很多有关网站架构方面的知识&#xff0c;看了之后你…

Anonymous几天之内攻陷500多个中国网站

根据CNET的报道&#xff0c;Anonymous***激进组织已经在几天之内黑掉了超过500个中国政府/商业网站&#xff0c;并号召中国***加入他们。 The hacked Web site for the Central Business District in Chengdu, China. (Credit: Screenshot by Steven Musil/CNET)

烂泥:使用火狐解决网站图片不能复制下载的问题

本文首发于&#xff1a;烂泥行天下www.lanni654321.com由LureDresswww.luredress.com提供赞助 由于博客的需要&#xff0c;需要转载和下载一些网络上的图片&#xff0c;比如最近在阿里巴巴上看到的图片。想下载一些图片&#xff0c;但是阿里巴巴禁用鼠标的右键功能。网络上也有…

Java实现网站请求流量分析统计

如上图所描绘的&#xff0c;在不断刷新test.html请求页面时&#xff0c;上图total.html页面会实时的更新&#xff08;1秒响应更新一次&#xff09;&#xff0c;折线图会实时进行上下变动。其中需要导入echarts.min.js和jquery-3.5.1.min.js和fastjson-1.2.53.jar包。 0.首先是…

从vancl看垂直商业网站的崛起

如果说2007年IT业内的几大事件&#xff0c;卖衬衣的卖火了&#xff0c;这肯定是2007年的重大事件之一。提起卖衬衣的&#xff0c;大家肯定会想到的是PPG&#xff0c;但我为什么不拿PPG做标题呐&#xff1f;我认为PPG并不是真正的互联网公司&#xff0c;PPG只是打了一个网络直销…

55个漂亮的蓝色风格网站设计作品欣赏(上篇)

蓝色是光的三原色中的一元&#xff0c;是最冷的色彩&#xff0c;非常纯净&#xff0c;通常让人联想到海洋、天空、水、宇宙。纯净的蓝色表现出一种美丽、冷静、理智、安详与广阔。今天&#xff0c;本文收集了一些优秀的蓝色风格的网站设计作品与大家分享&#xff0c;一起欣赏。…

大型电子商务网站架构求解

这是一个技术提问帖,更是一个技术回复分享帖!希望有经验的朋友能够不吝赐教,让我们能在回复中分享到技术!同样希望管理员同志不要将此贴移出首页区,在讨论中学习和分享知识也是一种学习的方式,不是吗?---------------------------------华丽的分割线-------------------------…

Apache主导全美100大网站

随着同 IIS 的竞争以及 Lighttpd 的崛起&#xff0c;关于 Apache 市场下滑的声音不绝于耳&#xff0c;但 Pingdom 的统计表明&#xff0c;Apache仍然主导全美100大网站&#xff0c;占据了49%的市场份额。在 Pingdom 检测的众多网站中&#xff0c;Web服务器的使用五花八门&…

Wordpress Seo 优化的几个建议

WordPress SEO一直是大家很关系的问题&#xff0c;我们也曾经发过WordPress SEO 完全指南&#xff0c;那篇文章系统而详细的见解了如何对WordPress进行优化&#xff0c;今天Wopus中文平台的SEO顾问swsw007给大家分享他的一些WordPress SEO的技巧。一、3步把wordpress打成seo良好…

年度盛宴——2012年排名前20的 HTML5 应用和网站作品

过去的2012年&#xff0c;Web 领域有众多新变化&#xff1a;HTML5 将在2014年成为推荐标准&#xff1b;W3C 任命了4位新编辑来管理 HTML5 规范并托管到 Github 上面&#xff1b;WHATWG 继续致力于活动的 HTML 标准&#xff08;Living Standard&#xff09;。 您可能感兴趣的相关…

android客户端和网站数据交互的实现(基于Http协议获取数据方法)

android客户端一般不直接访问网站数据库&#xff0c;而是像浏览器一样发送get或者post请求&#xff0c;然后网站返回客户端能理解的数据格式&#xff0c;客户端解析这些数据&#xff0c;显示在界面上&#xff0c;常用的数据格式是xml和json。 可以理解客户端其实是一个你自己定…

ASP.NET网站管理工具的初始配置

ASP.NET 网站管理工具是ASP.NET2.0以来VS提供的操作Web.config的GUI.使用起来比直接编辑Web.config方便一些.但初始化配置时会遇到以下麻烦. 参考几个blog和俺自己的实验,总结点东西写写. 1、打开ASP.NET网站管理工具 有两个方法可以打开这个工具。 &#xff08;1&#xff…

网站加速将由CDN技术实现

2019独角兽企业重金招聘Python工程师标准>>> 过去的两年里,人们熟悉互联网CDN(内容分发网络)越来越深入的理解和印象。如果以前的用户下载信息,软件,甚至玩网络游戏已经在参考的言语CDN的技术,所以现在人们分享视频,视频点播流媒体或广播更依赖加。CDN毫无疑问,CDN技…

idc云服务器网站功能,idc云服务器网站

idc云服务器网站 内容精选换一换在云服务器上搭建网站后&#xff0c;部分客户通过本地网络访问网站时出现偶发性无法访问的情况。确认客户使用的本地网络。若客户的本地网络是NAT网络(本地主机通过NAT功能使用公网IP地址访问弹性云服务器)&#xff0c;可能会导致该问题。若客户…

工作系列之可爱屋早教中心网站重构

2010年下半年&#xff0c;经过朋友的推荐&#xff0c;有幸参与到可爱屋早教中心网站重构项目中。可爱屋早教中心在2010年业务经过一次大的升级&#xff0c;急需扩展招生渠道&#xff0c;因此网络招生自然而然提上了日程。他们的官网由以前的工程师建设好以后&#xff0c;托管在…