【大型网站技术实践】初级篇:借助Nginx搭建反向代理服务器

news/2024/5/20 13:20:22/文章来源:https://blog.csdn.net/weixin_30388677/article/details/95550305

  转载自:周旭龙  http://www.cnblogs.com/edisonchou/p/4126742.html 

一、反向代理:Web服务器的“经纪人”

1.1 反向代理初印象

  反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个服务器

lbs

  从上图可以看出:反向代理服务器位于网站机房,代理网站Web服务器接收Http请求,对请求进行转发。

1.2 反向代理的作用

  ①保护网站安全:任何来自Internet的请求都必须先经过代理服务器;

  ②通过配置缓存功能加速Web请求:可以缓存真实Web服务器上的某些静态资源,减轻真实Web服务器的负载压力;

  ③实现负载均衡:充当负载均衡服务器均衡地分发请求,平衡集群中各个服务器的负载压力;

lb

二、初识Nginx:简单却不平凡

2.1 Nginx是神马?

  Nginx是一款轻量级的网页服务器、反向代理器以及电子邮件代理服务器。其将源代码以类BSD许可证的形式发布,因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。

Source:Nginx(发音同engine x),它是由俄罗斯程序员Igor Sysoev所开发的。起初是供俄国大型的门户网站及搜索引擎Rambler(俄语:Рамблер)使用。此软件BSD-like协议下发行,可以在UNIX、GNU/Linux、BSD、Mac OS X、Solaris,以及Microsoft Windows等操作系统中运行。

  说到Web服务器,Apache服务器和IIS服务器是两大巨头;但是运行速度更快、更灵活的对手:Nginx 正在迎头赶上。

2.2 Nginx的应用现状

  Nginx 已经在俄罗斯最大的门户网站── Rambler Media(www.rambler.ru)上运行了3年时间,同时俄罗斯超过20%的虚拟主机平台采用Nginx作为反向代理服务器。

  在国内,已经有 淘宝、新浪博客、新浪播客、网易新闻、六间房、56.com、Discuz!、水木社区、豆瓣、YUPOO、海内、迅雷在线 等多家网站使用 Nginx 作为Web服务器或反向代理服务器。

2.3 Nginx的核心特点

  (1)跨平台:Nginx 可以在大多数 Unix like OS编译运行,而且也有Windows的移植版本;

  (2)配置异常简单:非常容易上手。配置风格跟程序开发一样,神一般的配置;

  (3)非阻塞、高并发连接:数据复制时,磁盘I/O的第一阶段是非阻塞的。官方测试能够支撑5万并发连接,在实际生产环境中跑到2~3万并发连接数。(这得益于Nginx使用了最新的epoll模型);

PS:对于一个Web服务器来说,首先看一个请求的基本过程:建立连接---接收数据---发送数据,在系统底层看来 :上述过程(建立连接---接收数据---发送数据)在系统底层就是读写事件

①如果采用阻塞调用的方式,当读写事件没有准备好时,必然不能够进行读写事件,那么久只好等待,等事件准备好了,才能进行读写事件,那么请求就会被耽搁 。

②既然没有准备好阻塞调用不行,那么采用非阻塞调用方式。非阻塞就是:事件马上返回,告诉你事件还没准备好呢,你慌什么,过会再来吧。好吧,你过一会,再来检查一下事件,直到事件准备好了为止,在这期间,你就可以先去做其它事情,然后再来看看事件好了没。虽然不阻塞了,但你得不时地过来检查一下事件的状态,你可以做更多的事情了,但带来的开销也是不小的。

  (4)事件驱动:通信机制采用epoll模型,支持更大的并发连接。

①非阻塞通过不断检查事件的状态来判断是否进行读写操作,这样带来的开销很大,因此就有了异步非阻塞的事件处理机制。这种机制让你可以同时监控多个事件,调用他们是阻塞的,但可以设置超时时间,在超时时间之内,如果有事件准备好了,就返回。这种机制解决了上面阻塞调用与非阻塞调用的两个问题。

②以epoll模型为例:当事件没有准备好时,就放入epoll(队列)里面。如果有事件准备好了,那么就去处理;如果事件返回的是EAGAIN,那么继续将其放入epoll里面。从而,只要有事件准备好了,我们就去处理它,只有当所有事件都没有准备好时,才在epoll里面等着。这样,我们就可以并发处理大量的并发了,当然,这里的并发请求,是指未处理完的请求,线程只有一个,所以同时能处理的请求当然只有一个了,只是在请求间进行不断地切换而已,切换也是因为异步事件未准备好,而主动让出的。这里的切换是没有任何代价,你可以理解为循环处理多个准备好的事件,事实上就是这样的。

③与多线程方式相比,这种事件处理方式是有很大的优势的,不需要创建线程,每个请求占用的内存也很少,没有上下文切换,事件处理非常的轻量级,并发数再多也不会导致无谓的资源浪费(上下文切换)。对于IIS服务器,每个请求会独占一个工作线程,当并发数上到几千时,就同时有几千的线程在处理请求了。这对操作系统来说,是个不小的挑战:因为线程带来的内存占用非常大,线程的上下文切换带来的cpu开销很大,自然性能就上不去,从而导致在高并发场景下性能下降严重。

总结:通过异步非阻塞的事件处理机制,Nginx实现由进程循环处理多个准备好的事件,从而实现高并发和轻量级。 

  (5)Master/Worker结构:一个master进程,生成一个或多个worker进程。

PS:Master-Worker设计模式核心思想是将原来串行的逻辑并行化,并将逻辑拆分成很多独立模块并行执行。其中主要包含两个主要组件Master和Worker,Master主要将逻辑进行拆分,拆分为互相独立的部分,同时维护了Worker队列,将每个独立部分下发到多个Worker并行执行,Worker主要进行实际逻辑计算,并将结果返回给Master。

问:nginx采用这种进程模型有什么好处?

答:采用独立的进程,可以让互相之间不会影响,一个进程退出后,其它进程还在工作,服务不会中断,Master进程则很快重新启动新的Worker进程。当然,Worker进程的异常退出,肯定是程序有bug了,异常退出,会导致当前Worker上的所有请求失败,不过不会影响到所有请求,所以降低了风险。

  (6)内存消耗小:处理大并发的请求内存消耗非常小。在3万并发连接下,开启的10个Nginx 进程才消耗150M内存(15M*10=150M)。

  (7)内置的健康检查功能:如果 Nginx 代理的后端的某台 Web 服务器宕机了,不会影响前端访问。

  (8)节省带宽:支持 GZIP 压缩,可以添加浏览器本地缓存的 Header 头。

  (9)稳定性高:用于反向代理,宕机的概率微乎其微。

三、构建实战:Nginx+IIS构筑Web服务器集群的负载均衡

  这里我们主要在Windows环境下,通过将同一个Web网站部署到不同服务器的IIS上,再通过一个统一的Nginx反响代理服务器对外提供统一访问接入,实现一个最简化的反向代理和负载均衡服务。但是,受限于实验条件,我们这里主要在一台计算机上进行反向代理、IIS集群的模拟,具体的实验环境如下图所示:我们将nginx服务和web网站都部署在一台计算机上,nginx监听http80端口,而web网站分别以不同的端口号(这里是8050及8060)部署在同一个IIS服务器上,用户访问localhost时,nginx作为反向代理将请求均衡地转发给两个IIS中不同端口的Web应用程序进行处理。虽然实验环境很简单而且有限,但是对于一个简单的负载均衡效果而言,本文是可以达到并且展示的。

3.1 准备一个ASP.NET网站部署到IIS服务器集群中

  (1)在VS中新建一个ASP.NET Web应用程序,但是为了在一台计算机上展示效果,我们将这个Web程序复制一份,并修改两个Web程序的Default.aspx,让其的首页显示不同的一点信息。这里Web1展示的是“The First Web:”,而Web2展示的则是“The Second Web”。

  (2)调试运行,看看两个网站的效果如何?

  ①Web1的展示效果:

  ②Web2的展示效果:

  ③部署到IIS中,分配不同的端口号:这里我选择了Web1:8050,Web2:8060

  (3)总结:在真实环境中,构建Web应用服务器集群的实现是将同一个Web应用程序部署到Web服务器集群中的多个Web服务器上

3.2 下载Nginx并部署到服务器中作为自启动的Windows服务

  (1)到Nginx官网下载Nginx的Windows版本:http://nginx.org/en/download.html(这里我们使用nginx/Windows-1.4.7版本进行实验,本文底部有下载地址)

  (2)解压到磁盘任意目录,例如这里我解压到了:D:\Servers\nginx-1.4.7

  (3)启动、停止和重新加载服务:通过cmd以守护进程方式启动nginx.exe:start nginx.exe,停止服务:nginx -s stop,重新加载配置:nginx -s  reload

  (4)每次以cmd方式启动Nginx服务不符合实际要求,于是我们想到将其注册为Windows服务,并设置为自动启动模式。这里,我们使用一个不错的小程序:“Windows Service Wrapper”,将nginx.exe注册为Windows服务,具体的步凑如下:

  ①下载最新版的 Windows Service Wrapper 程序,比如我下载的名称是 "winsw-1.8-bin.exe"(本文底部有下载地址),然后把它命名成你想要的名字(比如: "nginx-service.exe",当然,你也可以不改名)

  ②将重命名后的 nginx-service.exe 复制到 nginx 的安装目录(比如,我这里是 "D:\Servers\nginx-1.4.7")

  ③在同一个目录下创建一个Windows Service Wrapper 的XML配置文件,名称必须与第一步重命名时使用的名称一致(比如我这里是 "nginx-service.xml",  如果,你没有重命名,则应该是 "winsw-1.8-bin.xml"),这个XML的内容如下:

复制代码
<?xml version="1.0" encoding="UTF-8" ?> <service> <id>nginx</id> <name>Nginx Service</name> <description>High Performance Nginx Service</description> <executable>D:\Servers\nginx-1.4.7\nginx.exe</executable> <logpath>D:\Servers\nginx-1.4.7\</logpath> <logmode>roll</logmode> <depend></depend> <startargument>-p D:\Servers\nginx-1.4.7</startargument> <stopargument>-p D:\Servers\nginx-1.4.7 -s stop</stopargument> </service>
复制代码

  ④在命令行下执行以下命令,以便将其注册成Windows服务:nginx-service.exe install

  ⑤接下来就可以在Windows服务列表看到Nginx服务了,这里我们可以将其设置为自动启动了:

  (5)总结:在Windows环境中,要对外提供的Windows服务一般都要将其启动类型设置为自动

3.3 修改Nginx核心配置文件nginx.conf

  (1)进程数与每个进程的最大连接数:

•nginx进程数,建议设置为等于CPU总核心数
•单个进程最大连接数,那么该服务器的最大连接数=连接数*进程数

  (2)Nginx的基本配置:

•监听端口一般都为http端口:80;
•域名可以有多个,用空格隔开:例如 server_name www.ha97.com ha97.com;

  (3)负载均衡列表基本配置:

    •location / {}:对aspx后缀的进行负载均衡请求,假如我们要对所有的aspx后缀的文件进行负载均衡时,可以这样写:location ~ .*\.aspx$ {}

    •proxy_pass:请求转向自定义的服务器列表,这里我们将请求都转向标识为http://cuitccol.com的负载均衡服务器列表;

    •在负载均衡服务器列表的配置中,weight是权重,可以根据机器配置定义权重(如果某台服务器的硬件配置十分好,可以处理更多的请求,那么可以为其设置一个比较高的weight;而有一台的服务器的硬件配置比较差,那么可以将前一台的weight配置为weight=2,后一台差的配置为weight=1)。weigth参数表示权值,权值越高被分配到的几率越大;

  (4)总结:最基本的Nginx配置差不多就是上面这些内容,当然仅仅是最基础的配置(详细的配置内容请下载底部的nginx-1.4.7详细查看)

3.4 添加Nginx对于静态文件的缓存配置

  为了提高响应速度,减轻真实服务器的负载,对于静态资源我们可以在反向代理服务器中进行缓存,这也是反向代理服务器的一个重要的作用。

  (1)缓存静态资源之图片文件

  root /nginx-1.4.7/staticresources/image:对于配置中提到的jpg/png等文件均定为到/nginx-1.4.7/staticresources/image文件夹中进行寻找匹配并将文件返回;

  expires 7d:过期时效为7天,静态文件不怎么更新,过期时效可以设大一点,如果频繁更新,则可以设置得小一点;

  TIPS:下面的样式、脚本缓存配置同这里一样,只是定位的文件夹不一样而已,不再赘述。

  (2)缓存静态资源之样式文件

  (3)缓存静态资源之脚本文件

  (4)在nginx服务文件夹中创建静态资源文件夹,并要缓存的静态文件拷贝进去:这里我主要将Web程序中用到的image、css以及js文件拷贝了进去;

  (5)总结:通过配置静态文件的缓存设置,对于这些静态文件的请求可以直接从反向代理服务器中直接返回,而无需再将这些静态资源请求转发到具体的Web服务器进行处理了,可以提高响应速度,减轻真实Web服务器的负载压力

3.5 简单测试Nginx反向代理实现负载均衡效果

  (1)第一次访问http://localhost/Default.aspx时从127.0.0.1:8050处理响应返回结果

  (2)第二次访问http://localhost/Default.aspx时从127.0.0.1:8060处理响应返回结果

  (3)多次访问http://localhost/Default.aspx时的截屏:

学习小结

  在本文中,借助了Nginx这个神器简单地在Windows环境下搭建了一个反向代理服务,并模拟了一个IIS服务器集群的负载均衡效果。从这个DEMO中,我们可以简单地感受到反向代理为我们所做的事情,并体会负载均衡是怎么一回事。但是,在目前大多数的应用中,都会将Nginx部署在Linux服务器中,并且会做一些针对负载均衡的优化配置,这里我们所做的仅仅就是一个小小的使用而已(just修改一下配置文件)。不过,万丈高楼平地起,前期的小小体会,也会帮助我们向后期的深入学习奠定一点点的基础。

  突然在QQ空间里看到了朋友送的礼物,猛然发现今天居然是我的阳历生日,好吧,我祝我自己生日快乐,希望自己在未来的日子中能够做更多的实践,分享更多的内容。当然,如果你觉得本文还可以,那也麻烦点个赞,不要吝啬你的鼠标左键哟。

参考资料

(1)丁胖胖,《图解正向代理、反向代理与透明代理》:http://z00w00.blog.51cto.com/515114/1031287

(2)特种兵-AK47,《正向代理与反向代理的区别》:http://blog.csdn.net/m13666368773/article/details/8060481

(3)百度百科,Nginx:http://baike.baidu.com/view/926025.htm?fr=aladdin

(4)51CTO,《Nginx安装配置与服务搭建专题》:http://os.51cto.com/art/201111/304611.htm

(5)红黑联盟,《Nginx配置文件nginx.conf中文详解总结》:http://www.2cto.com/os/201212/176520.html

(6)360doc,《Linux下同步模式、异步模式、阻塞调用与非阻塞调用总结》:http://www.360doc.com/content/13/0117/12/5073814_260691714.shtml 好文一篇,值得阅读

(7)e路相扶,《同步、异步、阻塞与非阻塞》:http://www.cnblogs.com/zhangjun516/archive/2013/04/17/3025902.html

(8)feitianxuxue,《处理大并发之对异步非阻塞的理解》:http://blog.csdn.net/feitianxuxue/article/details/8936802

附件下载

(1)nginx-1.4.7:http://pan.baidu.com/s/1dD2C2zB

(2)winsw-1.8-bin.exe:http://pan.baidu.com/s/1kTihzk7

(3)SimpleNginxDemo:http://pan.baidu.com/s/1bnq5oYz

 

转载于:https://www.cnblogs.com/MyKingDragon/p/4199341.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_747236.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

让你的HTML5CSS3网站在老IE中也能正常显示的3种方法

起初&#xff0c;IE其实也是一款非常有进取心的浏览器。但经过一段时间的蛰伏后&#xff0c;它已经成为了我们生活中的一道障碍。微软现在又重新开始向其它浏览器发起挑战&#xff0c;但事实情况是&#xff0c;新版的现代IE浏览器一直滞后于谷歌浏览器和火狐浏览器。我们还不得…

PHP案例 网站会员管理设计

原文[下载/浏览]&#xff1a;http://www.xilinjie.com/university/123 内容介绍一、概述 会员管理的网页功能在现今网站构建上相当的重要&#xff0c;尤其是对于一些需要付费来取得会员认证的公司和个人网站。为了避免误闯的用户及有心的***&#xff0c;会员认证及管理的方式的…

基于阿里云ECS的phpwind网站备案前如何远程访问调试?

基于阿里云ECS的phpwind网站部署非常方便&#xff0c;但云主机的外网IP绑定域名却比较复杂。先要申请域名&#xff0c;成功后还需要备案。尤其是企业网站备案&#xff0c;需要提交的资料较多&#xff0c;准备资料以及审批的时间较长。这段时间在外网采用IP访问是不行的&#xf…

Python--爬虫之(斗图啦网站)图片爬取

学习重点: 一、主要的安装包&#xff0c;requests、BeautifulSoup4 二、首先爬取每页的网址 三、再爬取每页的全部图片 四、下载图片和设置保存路径和图片名字 五、整合代码 1、主要的安装包requests、BeautifulSoup4  1&#xff09;用来请求网络数据requests 2&#xff09;用…

电商网站jQuery放大镜代码

分享一款电商网站jQuery放大镜代码。这是一款基于jquery.elevatezoom插件实现的类似淘宝放大镜代码&#xff0c;提供40多种参数&#xff0c;可自由配置多种效果&#xff0c;适合电商或图片类网站使用。效果图如下&#xff1a; 在线预览 源码下载 实现的代码。 html代码&…

大型网站技术架构

1. 初始阶段的网站架构一般来讲&#xff0c;大型网站都是从小型网站发展而来&#xff0c;一开始的架构都比较简单&#xff0c;随着业务复杂和用户量的激增&#xff0c;才开始做很多架构上的改进。当它还是小型网站的时候&#xff0c;没有太多访客&#xff0c;一般来讲只需要一台…

IIS7绑定多个HTTPS网站并应用自签名证书

本文主要介绍如何在IIS中添加多个网站并使用同一个数字签名证书(win7IIS7.5) IIS中添加站点site1&#xff0c;端口号为80&#xff0c;主机名为空。如下图&#xff1a;创建证书 IIS->Server Certificates –>Create Self-Signed Certificate ,输入证书名如下图&#xff1a…

01_很好的网站:程序师

2019独角兽企业重金招聘Python工程师标准>>> http://www.techug.com/ 动画讲解Eclipse常用快捷键 http://www.techug.com/eclipse-shortcut-keys 十大编程算法助程序员走上高手之路 http://www.techug.com/10-algorithm-help-programmer-grow-up 转载于:https://my.…

如何构建高性能web网站:分布式缓存

一、数据库前端缓冲区 要清除数据库前缓冲区&#xff0c;首先必须明确什么是文件系统的内核缓冲区&#xff08;Buffer Area&#xff09;&#xff1a;它位于内核的物理内存地址空间&#xff0c;除了使用O_DIRECT比其他标签中打开文件&#xff0c;所有的磁盘的读写操作&#xff0…

7月上旬国内网站流量统计TOP5:新浪跻身五强居四

IDC评述网&#xff08;idcps.com&#xff09;07月15日报道&#xff1a;根据中国互联网协会-中国网站排名公布的最新数据显示&#xff0c;截至2015年7月13日&#xff0c;国内网站独立访问量五强名单分别是百度、腾讯网、360安全中心、新浪网、淘宝网。具体情况如下图所示&#x…

网站集成微博登录功能

前几天写了一篇关于网站集成QQ登录的文章受到不少网友的好评&#xff0c;期间有不少网友私信能不能写一篇关于网站集成新浪微博登录功能的文章&#xff0c;于是这些天抽空写了这篇文章&#xff0c;希望能帮到有需要的朋友。 一.前期准备 网站要想集成新浪微博登录功能&#xff…

个人网站如何赚钱

2019独角兽企业重金招聘Python工程师标准>>> 好多人都说&#xff0c;个人站长已死&#xff0c;许多都开始慢慢转型了。有的开始找合作伙伴&#xff0c;组建团队&#xff0c;有的转型做了自媒体&#xff0c;有的干脆直接去上班了……但是&#xff0c;个人站长真的就没…

安全网站推荐

2019独角兽企业重金招聘Python工程师标准>>> 国内 https://www.t00ls.net t00ls是国内比较低调的民间组织&#xff0c;论坛质量较高。 <?php $head "80vul"; 黑哥所在团队&#xff0c;博客内容质量很好。 Worm.cc 我所在邪红色信息安全组织的不知名博…

分类信息网站大全

2019独角兽企业重金招聘Python工程师标准>>> 分类信息网站大全 &#xff08;排名不分先后&#xff09; 1. 58同城 http://bj.58.com/ 2. 赶集网 http://www.ganji.com/ 3. 中国分类信息网 http://www.fenlei168.com/ 4. 今题网 http://www.jinti.com/ 5. 易…

服务端渲染(回答vue为啥子不支持seo优化,如何解决)

整体目标&#xff1a; 理解服务端渲染的概念会用vue的SSRNuxt中的async 一、基本概念 页面的两种生成方式 用户从浏览器地址栏中输入地址访问服务器上的页面时&#xff0c;服务器可以用两种不同的策略来生成这个页面&#xff0c;对应着程序员写的不同的实现方式。 打开给出…

前端和算法实现:给网站上加上自己的水印(以后用上)

watermark插件的github地址&#xff1a;https://github.com/saucxs/watermark 一、简单 阿里巴巴内网的不可见水印用的是什么算法&#xff1f; 下面的只是简单的加一个很浅的水印&#xff0c;实现起来很容易。 浏览器终端下粘贴下面的代码&#xff0c; 这样就可以加水印了。我选…

网站打开速度多少毫秒为正常_网站测速工具,那些你可能不知道的隐藏功能

文章目录PING命令测速查看内置浏览器的网页加载速度使用工具来测试网站速度新做的网站如果速度不过关基本就等于废了&#xff0c;所以网站上线前测试速度很重要&#xff0c;一般来说网站5秒内打开都是可以接受的&#xff0c;其实我觉得能三秒内打开是最好的。有的朋友觉得自己测…

站长吧asp工具设置_做网站必看:这些网络推广seo工具很不错.

在网络优化的工作中&#xff0c;为了减轻站长们的工作任务&#xff0c;提高他们的工作效率&#xff0c;会采用一些seo工具。俗话说不会用网络推广seo工具的站长不是好站长&#xff0c;要善于利用工具达到效果。1、 站长工具站长工具&#xff0c;是每一位站长都不陌生的工具&…

多布局怎么搭建_为什么网站要做SEO优化?怎么优化比较好?

在竞争激烈的互联网环境中&#xff0c;企业与企业之间的较量除了技能、质量外&#xff0c;还存在一个最重要的竞争---流量的获取。如何降低获客成本&#xff0c;如何让自己的网站排名靠前&#xff0c;如何以最快的速度实现产品/服务的变现等等&#xff0c;成为了众多企业们急迫…

这个网站可以看到古代诗人轨迹地图

在博客上看到一个很有意思的网站分享&#xff0c;能够看到古代诗人的轨迹地图。&#xff08;mark一下&#xff09; 这是一张“唐宋文学编年地图”&#xff0c;尚在测试阶段&#xff0c;数据及界面还在进一步完善。 我们知道&#xff0c;古代交通远没有如今这么发达&#xff0c;…