利用 squid 反向代理提高网站性能

news/2024/5/16 8:15:11/文章来源:https://blog.csdn.net/bytxl/article/details/25914417

本文在介绍 squid 反向代理的工作原理的基础上,指出反向代理技术在提高网站访问速度,增强网站可用性、安全性方面有很好的用途。作者在具体的实验环境下,利用 DNS 轮询和 Squid 反向代理技术,实现了网站的负载均衡,从而提高了网站的可用性和可靠性。

现在有许多大型的门户网站如 SINA 都采用 squid 反向代理技术来加速网站的访问速度,可将不同的 URL 请求分发到后台不同的 WEB 服务器上,同时互联网用户只能看到反向代理服务器的地址,加强了网站的访问安全。

反向代理的概念

反向代理服务器又称为 WEB 加速服务器,它位于 WEB 服务器的前端,充当 WEB 服务器的内容缓存器。其系统结构如图 1

图 1. 系统结构

反向代理服务器是针对 WEB 服务器设置的,后台 WEB 服务器对互联网用户是透明的,用户只能看到反向代理服务器的地址,不清楚后台 WEB 服务器是如何组织架构的。当互联网用户请求 WEB 服务时,DNS 将请求的域名解析为反向代理服务器的 IP 地址,这样 URL 请求将被发送到反向代理服务器,由反向代理服务器负责处理用户的请求与应答、与后台 WEB 服务器交互。利用反向代理服务器减轻了后台 WEB 服务器的负载,提高了访问速度,同时避免了因用户直接与 WEB 服务器通信带来的安全隐患。

Squid 反向代理的实现原理

目前有许多反向代理软件,比较有名的有 Nginx 和 Squid 。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。

Squid是由美国政府大力资助的一项研究计划,其目的为解决网络带宽不足的问题,支持HTTP,HTTPS,FTP 等多种协议,是现在 Unix 系统上使用、最多功能也最完整的一套软体。下面将重点介绍 Squid 反向代理的实现原理和在提高网站性能方面的应用。

Squid反向代理服务器位于本地 WEB 服务器和 Internet 之间 , 组织架构如图 2:

图 2. 组织架构

客户端请求访问 WEB 服务时,DNS 将访问的域名解析为 Squid 反向代理服务器的 IP 地址,这样客户端的 URL 请求将被发送到反向代理服务器。如果 Squid 反向代理服务器中缓存了该请求的资源,则将该请求的资源直接返回给客户端,否则反向代理服务器将向后台的 WEB 服务器请求资源,然后将请求的应答返回给客户端,同时也将该应答缓存在本地,供下一个请求者使用。

Squid 反向代理一般只缓存可缓冲的数据(比如 html 网页和图片等),而一些 CGI 脚本程序或者 ASP、JSP 之类的动态程序默认不缓存。它根据从 WEB 服务器返回的 HTTP 头标记来缓冲静态页面。有四个最重要 HTTP 头标记:

  • Last-Modified: 告诉反向代理页面什么时间被修改
  • Expires: 告诉反向代理页面什么时间应该从缓冲区中删除
  • Cache-Control: 告诉反向代理页面是否应该被缓冲
  • Pragma: 用来包含实现特定的指令,最常用的是 Pragma:no-cache

利用 Squid 反向代理加速网站实例

本实例的域名是 wenjin.cache.ibm.com.cn,通过DNS的轮询技术,将客户端的请求分发给其中一台 Squid 反向代理服务器处理,如果这台 Squid 缓存了用户的请求资源,则将请求的资源直接返回给用户,否则这台 Squid 将没有缓存的请求根据配置的规则发送给邻居 Squid 和后台的 WEB 服务器处理,这样既减轻后台 WEB 服务器的负载,又提高整个网站的性能和安全性。该系统结构图 3 如下:

图 3. 系统结构

配置的系统环境:

  • 一台 DNS 服务器:操作系统 Freebsd,软件 BIND 9.5,IP 192.168.76.222 ;
  • 三台 Squid 服务器:操作系统 Linux AS 4,软件 Squid 3.0,相应的 IP 如下:
Squid1:192.168.76.223 Squid2:192.168.76.224 Squid3:192.168.76.225
  • 三台 WEB 服务器:操作系统 Linux AS 4,应用软件 Tomcat 5.0+Mysql,相应的 IP 地址如下:
webServer1:210.82.118.195 webServer2:192.168.76.226 webServer1:192.168.76.227

应用软件的安装和配置

配置 DNS 服务器

软件利用 Freebsd 自带的 bind 9.5(DNS服务器软件) 。然后针对该系统配置 bind,首先修改 bind 的配置文件 /etc/namedb/named.conf,在文件中添加

zone "cache.ibm.com.cn"{ type master; file "master/ cache.ibm.com.cn "; };

再在 /etc/namedb/master 目录下添加 cache.ibm.com.cn 文件,该文件的内容如下:

$TTL    3600 @       IN      SOA     search. ibm.com.cn. root. ibm.com.cn.  ( 20080807        ; Serial 3600    ; Refresh 900     ; Retry 3600000 ; Expire 3600 )  ; Minimum IN      NS      search.ibm.com.cn. 1       IN      PTR     localhost.ibm.com.cn. wenjin  IN      A       192.168.76.223 wenjin  IN      A       192.168.76.224 wenjin  IN      A       192.168.76.225

这样当用户请求的时候,DNS 通过轮询机制将 wenjin.cache.ibm.com.cn 的域名解析为 192.168.76.223、192.168.76.224 和 192.168.76.225 其中之一。

配置完成后,运行 rndc star t 启动 bind 服务。可在 /etc/rc.conf 中设置 named_enable="YES" 使得开机自启动。

用 ps – A |grep named 查看 bind 服务是否起来;

用 nslookup wenjin.cache.ibm.com.cn 测试 bind 服务是否正常运行。

配置 Squid1 服务器

  1. 下载 squid-3.0.STABLE8.tar.gz 源码包,将其放在 /home 目录下
  2. 解压缩tar – zxvf squid-3.0.STABLE8.tar.gz
    设置配置参数:cd squid-3.0.STABLE10
    ./configure – prefix=/usr/local/squid

    将 squid 安装在 /usr/local 目录下
  3. 编译安装:make&make install安装完以后会在 /usr/local 目录下看见 squid 目录。
  4. 配置 squid 配置文件

    编辑 squid.conf 文件,vi /usr/local/squid/etc/squid.conf

    cache_effective_user squid cache_effective_group squid ######### 设定 squid 的主机名 , 如无此项 squid 将无法启动visible_hostname squid1.nlc.gov.cn ############# 配置 squid 为加速模式 ################# http_port 80 accel vhost vport icp_port 3130 ##### 配置 squid2、squid3 为其邻居,当 squid1 在其缓存中没有找到请求的资源时,通过 ICP 查询去其邻居中取得缓存cache_peer squid2.ibm.com.cn sibling 80 3130 cache_peer squid3.ibm.com.cn sibling 80 3130 ##### squid1 的三个父节点,originserver 参数指明是源服务器,round-robin  参数指明 squid 通过轮询方式将请求分发到其中一台父节点;squid 同时会对这些父节点的健康状态进行检查,如果父节点 down 了,
    那么 squid 会从剩余的 origin 服务器中抓取数据cache_peer 210.82.118.195 parent 8080 0 no-query originserver round-robin \ name=webServer1 cache_peer 192.168.76.226 parent 8080 0 no-query originserver round-robin \ name=webServer2 cache_peer 192.168.76.227 parent 8080 0 no-query originserver round-robin \ name=webServer3 #### 将 wenjin.cache.ibm.com.cn 域的请求通过 RR 轮询方式转发到三个父节点中的一个cache_peer_domain webServer1 webServer2 webServer3 wenjin.cache.ibm.com.cn ##### 下面是一些访问控制、日志和缓存目录的设置acl localnet src 192.168.76.223 192.168.76.224 192.168.76.225 acl all src 0.0.0.0/0.0.0.0 http_access allow all icp_access allow localnet cache_log /usr/local/squid/var/logs/cache.log access_log /usr/local/squid/var/logs/access.log squid cache_dir ufs /usr/local/squid/var/cache/ 1000 16 256 ####### 对 squid 的一些优化 ############### maximum_object_size 10240 KB  ### 能缓存的最大对象为 10M maximum_object_size_in_memory 512 KB ### 内存中缓存的最大对象 512K cache_mem 256 MB  ###squid 用于缓存的内存量

    保存后 :wq 退出。

    在 /etc/hosts 文件中添加

    192.168.76.223  squid1.ibm.com.cn 192.168.76.224  squid2.ibm.com.cn 192.168.76.225  squid3.ibm.com.cn

    保存后 : wq 退出。

    检查 squid 配置文件正确与否:/usr/local/squid/bin/squid – k parse

    生成缓存目录/usr/local/squid/bin/squid – z

    启动squid:/usr/local/squid/bin/squid

    配置 squid2 和 squid3 服务器

    squid2 和 squid3 服务器的配置方法和配置参数和 squid1 一样,配置完成后,分别启动这两个服务器上的 squid 服务。

    在 squid 的日志文件 cache.log 中,出现如下日志信息则说明三台 squid 之间成功配置为 sibling,且配置了三个父代理。

    2008/11/17 10:08:47| Configuring Sibling squid1.ibm.com.cn/80/3130 2008/11/17 10:08:47| Configuring Sibling squid3.ibm.com.cn/80/3130 2008/11/17 10:08:47| Configuring Parent 210.82.118.195/8080/0 2008/11/17 10:08:47| Configuring Parent 192.168.76.226/8080/0 2008/11/17 10:08:47| Configuring Parent 192.168.76.227/8080/0 2008/11/17 10:08:47| Ready to serve requests.

测试

测试之前,保证 DNS 服务、三台 squid 服务和三台 web 服务都正常起来。在客户端输入http://wenjin.cache.ibm.com.cn,则正确的显示该网页。服务器端的响应对客户端是透明的,客户端不知道请求是由哪台 WEB 服务器处理的;而且其中某台 Squid 服务器或 WEB 服务器发生故障,也不影响服务的正常运行。

总结

Squid 是一个开源的软件,利用它的反向代理技术可以提高网站系统的访问速度。本文在真实的网络环境下,利用三台 squid 反向代理服务器加速了网站的性能,同时结合 DNS 轮询技术实现了网站的负载均衡。经过一段时间的测试和试运行,该网站的访问速度和可用性方面都有很大的提高,从未出现过网站服务中断情况。

参考资料

  • squid 3.0 反向代理加速模式配置 :http://www.hiadmin.com/squid-3%E5%8A%A0%E9%80%9F%E6%A8%A1%E5%BC%8F%E9%85%8D%E7%BD%AE/
  • Linux 下 DNS 轮询与 Squid 反向代理结合 :http://www.souzl.com/article/2008/1112/article_453.html
  • 在 developerWorks Linux 专区 寻找为 Linux 开发人员(包括Linux 新手入门)准备的更多参考资料,查阅我们最受欢迎的文章和教程。
  • 在 developerWorks 上查阅所有 Linux 技巧 和 Linux 教程。

http://www.ibm.com/developerworks/cn/linux/l-cn-squid/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_734991.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

EntityFramework+EntityFramework.SqlServerCompact部署网站

1,最好通过Nuget添加引用EntityFramework.SqlServerCompact,省得去手动填写配置文件。 2,部署后遇到如下的问题: 原因是打包后的Bin下面缺少System.Data.SqlServerCe.dll驱动。 需要到C:\Program Files\Microsoft SQL Server Comp…

移动网站性能优化:网页加载技术概览

为什么80%的码农都做不了架构师?>>> 本文翻译自 Tammy Everts。 性能一直是网站成功的关键。越来越多的研究已经证明,不管是小型电商,还是像沃尔玛那样的连锁店,即使是页面加载时间方面的细微改善,都可以带…

跨网站脚本攻击(XSS)的原理与防范对策

摘要:随着计算机网络技术的迅速发展,网络安全问题已变得越来越受到人们的重视,网络攻击形式多种多样,很多蠕虫病毒、木马病毒等植入到某些网页中,给网络用户带来了很大的安全隐患。其中XSS跨网站脚本攻击,恶…

介绍MyBatis代码生成网站(三) --- [ Java实体 ] 实际生成效果

为什么80%的码农都做不了架构师?>>> 实际生成的Java实体 , 注意: 最下方的 [ Copy专用区 ] ,很实用的 , 每个字段的Html标签也在该区域. package com.icsm.paybank.entity;import java.io.Serializable; import java.util.*; import java.text.SimpleDa…

SEO月入破万的难点是什么?说说9.10月份月入破万的经历

很多人问了一个让笔者非常尴尬的问题,目前收入多少?笔者只能笑答曰:勉强够糊口。SEO能不能月入破万,关于这些问题真的很难回答,做SEO破万的大神有很多,因此做SEO是有月入破万的可能,可以是在企业上班的网络…

黄聪:如何添加360浏览器(chrome)添加JavaScript例外,禁止网站加载JS

注意:通配符两侧的[]不能省略转载于:https://www.cnblogs.com/huangcong/p/4903422.html

速都app推广:移动网页seo优化和APP发布与aso优化试水

本周主要是熟悉APP发布平台和发布与整理一些日常生活百科资料...实不相瞒,本周我百分之70的时间用于APP平台推广以及各大搜索引擎对APP的域名抓取... 一、先总结下搜索引擎优化APP现状,一句话,很茫然..我看了乡音秀推广模式:他们百…

ShopNC本地生活o2o网站的源代码,没有域名限制

较前某VIP源代码论坛分享了套ShopNC本地生活o2o站点系统。下载过来却发现根本不能用,所以一直没分享出来。今天咱们这边分享的这套ShopNC本地生活o2o站点源代码,无不论什么的限制,直接install就能够了。很easy方便。 ----------------------…

大型网站技术学习-2. 云计算之OpenStack简述

上一章讲,虚拟化能够充分的利用资源,带来各种各样的好处。 当一个网站不大,只需要四五台机器就可以支撑的时候,可以采用手工的方式虚拟机,但是当网站流量很高,需要成千上万台机器的时候,那就非常…

使用webpasser抓取某笑话网站整站内容

使用webpasser框架抓取某一笑话网站整站内容。webpasser是一款可配置的爬虫框架,内置页面解析引擎,可快速配置出一个爬虫任务。配置方式将页面解析和数据存储分离,如果目标网站改版,也可以快速修复。 配置说明如下(该例…

大型分布式网站架构设计与实践——集群监控

一、监控指标 成熟稳健的系统往往需要对集群运行时的各个指标进行收集,如系统的load、CPU的利用率、I/O繁忙程度、网络traffic、内存利用率、应用心跳等。 1、load系统的load被定义为特定时间间隔内运行队列中的平均线程数,每一个CPU的核都维护了一个运行…

用户访问网站的完整流程

用户访问网站的完整流程在浏览器输入想要访问的域名之后,浏览器会进行域名解析获得IP地址,在经过TCP的连接,实现数据的传输就会有两种报文,及请求报文和响应报文。最终才能实现通信。因此想要实现通信,就得先弄懂DNS的…

使用Python Django在Ubuntu下搭建数据库型网站

最近想做一个数据库网站,我对Python很熟悉,也了解到Django很好用,于是说搞就搞。 首先,在快云上买了一个vps,一元试用一个月,Ubuntu系统。 1.安装Django apt-get update apt-get install python-pip python…

大流量网站性能优化:一步一步打造一个适合自己的BigRender插件

BigRender 当一个网站越来越庞大,加载速度越来越慢的时候,开发者们不得不对其进行优化,谁愿意访问一个需要等待 10 秒,20 秒才能出现的网页呢? 常见的也是相对简单易行的一个优化方案是 图片的延迟加载。一个庞大的页面…

快信达SEO记录2016.07.16

为什么80%的码农都做不了架构师?>>> 2016-7-16 快信达网站改版完成,将顶级域名301转向到www二级域名,友情链接0个,外链1个欣联盛。 seo策略规划: 改版后先不换友链,持续更新文章,看…

移动端页面SEO优化需要注意的10个要点

如今,移动互联网已经成为互联网组成的非常重要的一个分支,如果说以前对移动页面没有很规范的优化和高质量内容评判划分标准,但现在随着各大搜索引擎发布了移动建站指南,图文并茂的描述了如何提高移动站在百度质量度的等级&#xf…

大型网站技术架构(3):WEB 前端性能优化

为什么80%的码农都做不了架构师?>>> 上次说到了性能优化策略,根据网站的分层架构,可以大致的分为 web 前端性能优化,应用服务器性能优化,存储服务器性能优化三大类 这次来说一下 web 前端性能优化&#xf…

借助GitHub pages搭建静态个人网站并绑定域名

借助GitHub pages搭建静态个人网站并绑定域名 借助GitHub pages搭建静态个人网站并绑定域名一、简介二、准备1.注册GitHub账号2.安装好Git3.购买域名(非必选) 三、创建、设置GitHub pages并绑定域名1.创建仓库2.设置仓库3.进行网站开发4.域名绑定&#x…

java获取https网站证书,附带调用https:webservice接口

一、java 获取https网站证书: 1、创建一个java工程,新建InstallCert类,将以下代码复制进去 package com; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import j…

Gif 网站图

转载于:https://www.cnblogs.com/wwknan/p/10517552.html