利用 squid 反向代理提高网站性能(转)

news/2024/5/20 4:45:10/文章来源:https://blog.csdn.net/weixin_30347335/article/details/96841147
本文在介绍 squid 反向代理的工作原理的基础上,指出反向代理技术在提高网站访问速度,增强网站可用性、安全性方面有很好的用途。作者在具体的实验环境下,利用 DNS 轮询和 Squid 反向代理技术,实现了网站的负载均衡,从而提高了网站的可用性和可靠性。

本文在介绍 squid 反向代理的工作原理的基础上,指出反向代理技术在提高网站访问速度,增强网站可用性、安全性方面有很好的用途。作者在具体的实验环境下,利用 DNS 轮询和 Squid 反向代理技术,实现了网站的负载均衡,从而提高了网站的可用性和可靠性。

现在有许多大型的门户网站如 SINA 都采用 squid 反向代理技术来加速网站的访问速度,可将不同的 URL 请求分发到后台不同的 WEB 服务器上,同时互联网用户只能看到反向代理服务器的地址,加强了网站的访问安全。

反向代理的概念

反向代理服务器又称为 WEB 加速服务器,它位于 WEB 服务器的前端,充当 WEB 服

务器的内容缓存器。其系统结构如图 1


图 1. 系统结构 

反 向代理服务器是针对 WEB 服务器设置的,后台 WEB 服务器对互联网用户是透明的,用户只能看到反向代理服务器的地址,不清楚后台 WEB 服务器是如何组织架构的。当互联网用户请求 WEB 服务时,DNS 将请求的域名解析为反向代理服务器的 IP 地址,这样 URL 请求将被发送到反向代理服务器,由反向代理服务器负责处理用户的请求与应答、与后台 WEB 服务器交互。利用反向代理服务器减轻了后台 WEB 服务器的负载,提高了访问速度,同时避免了因用户直接与 WEB 服务器通信带来的安全隐患。

 Squid 反向代理的实现原理

目 前有许多反向代理软件,比较有名的有 Nginx 和 Squid 。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。

Squid 是由美国政府大力资助的一项研究计划,其目的为解决网络带宽不足的问题,支持HTTP ,HTTPS,FTP 等多种协议,是现在 Unix 系统上使用、最多功能也最完整的一套软体。下面将重点介绍 Squid 反向代理的实现原理和在提高网站性能方面的应用。

Squid 反向代理服务器位于本地 WEB 服务器和 Internet 之间 , 组织架构如图 2:


图 2. 组织架构 

客 户端请求访问 WEB 服务时,DNS 将访问的域名解析为 Squid 反向代理服务器的 IP 地址,这样客户端的 URL 请求将被发送到反向代理服务器。如果 Squid 反向代理服务器中缓存了该请求的资源,则将该请求的资源直接返回给客户端,否则反向代理服务器将向后台的 WEB 服务器请求资源,然后将请求的应答返回给客户端,同时也将该应答缓存在本地,供下一个请求者使用。

Squid 反向代理一般只缓存可缓冲的数据(比如 html 网页和图片等),而一些 CGI 脚本程序或者 ASP、JSP 之类的动态程序默认不缓存。它根据从 WEB 服务器返回的 HTTP 头标记来缓冲静态页面。有四个最重要 HTTP 头标记:

  • Last-Modified: 告诉反向代理页面什么时间被修改
  • Expires: 告诉反向代理页面什么时间应该从缓冲区中删除
  • Cache-Control: 告诉反向代理页面是否应该被缓冲
  • Pragma: 用来包含实现特定的指令,最常用的是 Pragma:no-cache

 



 回页首

 

利用 Squid 反向代理加速网站实例

本实例的域名是 wenjin.cache.ibm.com.cn ,通过DNS 的 轮询技术,将客户端的请求分发给其中一台 Squid 反向代理服务器处理,如果这台 Squid 缓存了用户的请求资源,则将请求的资源直接返回给用户,否则这台 Squid 将没有缓存的请求根据配置的规则发送给邻居 Squid 和后台的 WEB 服务器处理,这样既减轻后台 WEB 服务器的负载,又提高整个网站的性能和安全性。该系统结构图 3 如下:


图 3. 系统结构 

配置的系统环境:

  • 一台 DNS 服务器:操作系统 Freebsd,软件 BIND 9.5,IP 192.168.76.222 ;
  • 三台 Squid 服务器:操作系统 Linux AS 4,软件 Squid 3.0,相应的 IP 如下:
Squid1:192.168.76.223 
Squid2:192.168.76.224
Squid3:192.168.76.225

 

  • 三台 WEB 服务器:操作系统 Linux AS 4,应用软件 Tomcat 5.0+Mysql,相应的 IP 地址如下:
webServer1:210.82.118.195 
webServer2:192.168.76.226
webServer1:192.168.76.227

 

应用软件的安装和配置

配置 DNS 服务器

软件利用 Freebsd 自带的 bind 9.5 。然后针对该系统配置 bind,首先修改 bind 的配置文件 /etc/namedb/named.conf,在文件中添加

zone "cache.ibm.com.cn"{ 
type master;
file "master/ cache.ibm.com.cn ";
};

 

再在 /etc/namedb/master 目录下添加 cache.ibm.com.cn 文件,该文件的内容如下:

$TTL    3600 
@ IN SOA search. ibm.com.cn. root. ibm.com.cn. (
20080807 ; Serial
3600 ; Refresh
900 ; Retry
3600000 ; Expire
3600 ) ; Minimum
IN NS search.ibm.com.cn.
1 IN PTR localhost.ibm.com.cn.
wenjin IN A 192.168.76.223
wenjin IN A 192.168.76.224
wenjin IN A 192.168.76.225

 

这样当用户请求的时候,DNS 通过轮询机制将 wenjin.cache.ibm.com.cn 的域名解析为 192.168.76.223、192.168.76.224 和 192.168.76.225 其中之一。

配置完成后,运行 rndc star t 启动 bind 服务。可在 /etc/rc.conf 中设置 named_enable="YES" 使得开机自启动。

用 ps – A |grep named 查看 bind 服务是否起来;

用 nslookup wenjin.cache.ibm.com.cn 测试 bind 服务是否正常运行。

配置 Squid1 服务器

  1. 下载 squid-3.0.STABLE8.tar.gz 源码包,将其放在 /home 目录下
  2. 解压缩tar – zxvf squid-3.0.STABLE8.tar.gz 
    设置配置参数:cd squid-3.0.STABLE10 
    ./configure – prefix=/usr/local/squid

    将 squid 安装在 /usr/local 目录下
  3. 编译安装:make&make install 安装完以后会在 /usr/local 目录下看见 squid 目录。
  4. 配置 squid 配置文件

    编辑 squid.conf 文件,vi /usr/local/squid/etc/squid.conf

    cache_effective_user squid 
    cache_effective_group squid
    ######### 设定 squid 的主机名 , 如无此项 squid 将无法启动
    visible_hostname squid1.nlc.gov.cn
    ############# 配置 squid 为加速模式 #################
    http_port 80 accel vhost vport
    icp_port 3130
    ##### 配置 squid2、squid3 为其邻居,当 squid1 在其缓存中没有找到请求的资源时,
    通过 ICP 查询去其邻居中取得缓存
    cache_peer squid2.ibm.com.cn sibling 80 3130
    cache_peer squid3.ibm.com.cn sibling 80 3130
    ##### squid1 的三个父节点,originserver 参数指明是源服务器,
    round-robin 参数指明 squid 通过轮询方式将请求分发到其中一台父节点;
    squid 同时会对这些父节点的健康状态进行检查,如果父节点 down 了,
    那么 squid 会从剩余的 origin 服务器中抓取数据
    cache_peer 210.82.118.195 parent 8080 0 no-query originserver round-robin /
    name=webServer1
    cache_peer 192.168.76.226 parent 8080 0 no-query originserver round-robin /
    name=webServer2
    cache_peer 192.168.76.227 parent 8080 0 no-query originserver round-robin /
    name=webServer3
    #### 将 wenjin.cache.ibm.com.cn 域的请求通过 RR 轮询方式转发到三个父节点中的一个
    cache_peer_domain webServer1 webServer2 webServer3 wenjin.cache.ibm.com.cn
    ##### 下面是一些访问控制、日志和缓存目录的设置
    acl localnet src 192.168.76.223 192.168.76.224 192.168.76.225
    acl all src 0.0.0.0/0.0.0.0
    http_access allow all
    icp_access allow localnet
    cache_log /usr/local/squid/var/logs/cache.log
    access_log /usr/local/squid/var/logs/access.log squid
    cache_dir ufs /usr/local/squid/var/cache/ 1000 16 256
    ####### 对 squid 的一些优化 ###############
    maximum_object_size 10240 KB ### 能缓存的最大对象为 10M
    maximum_object_size_in_memory 512 KB ### 内存中缓存的最大对象 512K
    cache_mem 256 MB ###squid 用于缓存的内存量

    保存后 :wq 退出。

    在 /etc/hosts 文件中添加

    192.168.76.223  squid1.ibm.com.cn 
    192.168.76.224 squid2.ibm.com.cn
    192.168.76.225 squid3.ibm.com.cn

    保存后 : wq 退出。

    检查 squid 配置文件正确与否:/usr/local/squid/bin/squid – k parse

    生成缓存目录/usr/local/squid/bin/squid – z

    启动squid:/usr/local/squid/bin/squid

    配置 squid2 和 squid3 服务器

    squid2 和 squid3 服务器的配置方法和配置参数和 squid1 一样,配置完成后,分别启动这两个服务器上的 squid 服务。

    在 squid 的日志文件 cache.log 中,出现如下日志信息则说明三台 squid 之间成功配置为 sibling,且配置了三个父代理。

    2008/11/17 10:08:47| Configuring Sibling squid1.ibm.com.cn/80/3130 
    2008/11/17 10:08:47| Configuring Sibling squid3.ibm.com.cn/80/3130
    2008/11/17 10:08:47| Configuring Parent 210.82.118.195/8080/0
    2008/11/17 10:08:47| Configuring Parent 192.168.76.226/8080/0
    2008/11/17 10:08:47| Configuring Parent 192.168.76.227/8080/0
    2008/11/17 10:08:47| Ready to serve requests.

测试

测试之前,保证 DNS 服务、三台 squid 服务和三台 web 服务都正常起来。在客户端输入http://wenjin.cache.ibm.com.cn ,则正确的显示该网页。服务器端的响应对客户端是透明的,客户端不知道请求是由哪台 WEB 服务器处理的;而且其中某台 Squid 服务器或 WEB 服务器发生故障,也不影响服务的正常运行。

转载于:https://www.cnblogs.com/tonykan/archive/2013/05/21/3091411.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_743574.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

换服务器要重新百度站长验证站点吗6,六个步骤搞定更换网站服务器

原标题:六个步骤搞定更换网站服务器最近又不少站长朋友发帖咨询说要更换网站的服务器了,但是怕误操作导致网站被K,因为已经有不少的站长朋友来反馈,说自己因为换了IP导致网站被K了。那么今天云雀运维就来跟大家谈一下,…

lamp部署php工程,Centos7运维(2)-第一次在Linux下部署PHP项目,采用LAMP网站架构(Linux+Apache+MySQL+PHP)...

LAMP指的Linux(操作系统)、Apache(HTTP 服务器),MySQL(数据库软件) 和PHP(有时也是指Perl或Python) 的缩写,一般用来搭建web 服务器。(1)Mysql 5.61.下载mysql-server文件[rootCentos~]# wget http://dev.mysql.com/get/mysql-community-release-el7-5.n…

伪静态隐藏域名后缀_网站建设三部曲:域名程序+主机

怎么建设网站,企业外包,个人研究,做为一个建站老手,我给大家说一下建站的三部曲:域名、程序、主机。如果说有第四部和第五六步的话,那么就是备案、友链等。一、关于域名兄弟啊,注册域名还是尽早…

hishop网站迁移后出现DataProtectionConfigurationProvider错误(转)

配置错误说明: 在处理向该请求提供服务所需的配置文件时出错。请检查下面的特定错误详细信息并适当地修改配置文件。分析器错误信息: 未能使用提供程序“DataProtectionConfigurationProvider”进行解密。提供程序返回错误信息为: 该项不适于在指定状态下使用。 (异常来自 HRES…

【项目总结】扯一扯电商网站前端css的整体架构设计(1)

最近半忙不忙的写了一个外包网站,网站主要功能是艺术品竞拍和艺术衍生品的销售。工程已经完成了80%左右,现在前后端代码量已经50W行左右,我主要负责的是前端设计和前端布局。下面就先放一个网站的设计图吧,因为涉及到甲方的“商业…

tomcat找不到servlet这个类_办公中常用的模板和工具找不到?这个网站就能帮到你...

相信大家都知道我们平时办公的时候,需要去找一些办公类的资源,但是去哪里找免费的呢?只需要用到一个网站就够了,各种模板和抠图功能都有,总有一款适合你!一、PPT资源1、PPT模板首先我们登陆办公资源网这个网…

化工网站开发_石油化工行业网站定制 | 石油化工产品销售网站制作

在网站建设中,如果想要运营好网站,那么一定是离不开对网站的访问信息进行收集、记录并归类,还要在统计这些数据的基础上进行深度分析,来找到网站出现的一些问题,从而进行整改。今天我们来具体说说网站建设中&#xff0…

Python进阶学习网站

2019独角兽企业重金招聘Python工程师标准>>> www.scipy.org 科学 数学 工程 http://www.pygame.org/lofi.html http://www.pygame.org/news.html pygame(库)是一个免费和开源的Python编程语言库,用于制作多媒体应…

反复刷新增加访问量_基于爬虫刷新某网站访问量!我说怎么上千万呢!

前言:前一段时间看到有博友写了爬虫去刷新博客访问量一篇文章,当时还觉得蛮有意思的,就保存了一下,但是当我昨天准备复现的时候居然发现文章404了。所以本篇文章仅供学习交流,严禁用于商业用途当我在写文章的同时&…

php 禁止抓取,服务器反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站

一、Apache①、通过修改 .htaccess 文件修改网站目录下的.htaccess,添加如下代码即可(2 种代码任选):可用代码 (1):RewriteEngineOnRewriteCond %{HTTP_USER_AGENT} (^$|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDadd…

java天气获取网站_java扒取天气网站的数据

1:由于天气apk接口不稳定所以经常获取不到信息。于是就动手写一个扒取天气网站上的数据然后做成json,apk直接调用服务器上扒取的数据增加稳定性。2:项目主要是用servlet然后正则表达式来提取网站信息。3:我觉得比较难得地方就是如何写正确的正则来提取出…

使用Varnish为web网站加速

使用Varnish为网站加速varnish概述 Varnish是一款高性能的开源HTTP加速器,挪威最大的在线报纸Verdens Gang (http://www.vg.no) 使用3台Varnish代替了原来的12台squid,性能居然比以前更好。Varnish 的作者Poul-Henning Kamp是FreeBSD的内核开发者之一&am…

iis网站域名绑定

这里解释两种绑定 一、全局ip未分配 二、绑定指定域名 1、添加主机名 注释:没有绑定主机名的进站默认就会被访问。绑定主机名的进站访问特定主机名的网站。转载于:https://www.cnblogs.com/zz-930474270/p/4569358.html

谈谈网站防盗链

引子:明明引用了一个正确的图片地址,但显示出来的却是一个红叉或写有“此图片仅限于***网站用户交流沟通使用”之类的“假图片”(下图便是网易博客的防盗链效果)。用嗅探软件找到了多媒体资源的真实地址用下载软件仍然不能下载。下…

从服务器检索时出错dfdferh01_服务器空间的稳定性对seo优化非常重要—竹晨网络...

网站降权是指搜索引擎对网站评定的级别下降,是搜索引擎对网站进行的一种处罚方式。通常多为网站自身作弊导致的,改正错误一段时间后会自行恢复。特征一:关键词排名大幅度下降特征二:网站收录量减少特征三:搜索引擎快照…

对公司网站DNS解析异常的排查与处理

这周可谓是屋漏连夜雨,先是nfs挂载出现问题,紧接着住处的厕所堵了,然后又是今天的域名解析异常导致服务访问返回404。我们的域名是解析到两个IP,分别是电信跟网通。异常情景:用户打开页面登录后图片上传跟显示出现异常…

php多站点建站,wordpress多站点子目录多域名建站 管理开启方法

最近打算折腾一个主题演示站,给每个主题使用独立的子站点来搭建演示,如果是Apache环境,配置就比较容易,但是倡萌使用的是 Nginx,花了大量的时间测试了N多网络上的伪静态规则,最终找到了完美的解决方法。下面…

如何查看任何一下网站的全部二级域名?

快速教会你查看任何一个网站的全部二级域名。请看我的讲解吧! 方法/步骤 1方法其实很简单。首先,我们随便找一个搜索引擎。我以百度搜索引擎为例。 2我以腾讯QQ这个网站为例。我们在搜索框内输入site:*qq.com这下我们就可以搜索到这个网站所有二级域名以…

linux系统 网站木马后门Webshell查杀工具源码

后门这东西好让人头疼,第一文件太多了,不容易找,第二,难找,需要特征匹配啊。搞了一个python版查杀php webshell后门工具,大家可以增加后门的特征码,然后甩到后台给他查杀就可以了。适合Linux系统…

SEO算法深度分析之倒排索引,来解释SEO排名的问题

今天给大家分享一下倒排索引的一些事情,为什么要说倒排索引呢?因为当用户搜索一个词的时候,返回的搜索结果页面就是经过倒排索引和一系列算法过滤后的结果排序,seo苦苦追求的不就是排名的多少吗?说的通俗一点,其实搜索引擎的索引…