大型网站架构演变过程、大并发服务器架构

news/2024/5/16 17:42:46/文章来源:https://blog.csdn.net/sina012345/article/details/43907291
大型网站架构演变过程:

[Step1]web server与数据库分离



web动静资源分离

静态请求:如html, js, css, img
动态请求:如jsp, php


[Step2]缓存处理

客户端(浏览器)缓存
前端页面缓存(squid)
页面片段缓存ESI(Edge Side Includes)
本地数据缓存


[Step3]web server集群+读写分离

负载均衡:
前端负载均衡
DNS负载均衡
在DNS服务器中,可以为多个不同的地址配置同一个名字,对于不同的客户机访问同一个名字,得到不同的地址。
反向代理
使用代理服务器将请求发给内部服务器,让代理服务器将请求均匀转发给多台内部web服务器之一,从而达到负载均衡的目的。标准代理方式是客户使用代理访问多个外部Web服务器,而这种代理方式是多个客户使用它访问内部Web服务器,因此也被称为反向代理模式。
基于NAT的负载均衡技术
LVS
F5硬件负载均衡
应用服务器负载均衡
数据库负载均衡

[Step4]CDN、分布式缓存、分库分表




分布式缓存



目前流行分布式缓存方案:memcached、membase、redis等,基本上当前的NoSQL方案都可以用来做分布式缓存方案

库(垂直分区)





分表(水平分区shared)


[Step5]多数据中心+分布式存储与计算


技术点[DFS、Key-Value DB 、 Map/Reduce ]


DFS分布式文件系统,如:Lustre\HDFS\GFS\TFS\FreeNas等
Key-Value DB,也作为NoSQL解决方案,如:BigTable\Tair\Hbase\HyperTable等
Map/Reduce算法(计算框架),基本上现有NoSQL数据库中都支持此算法。
提供完整解决方案:
Google(GFS|BigTable|Map/Reduce)
Apache Hadoop(HDFS|HBase|Map/Reduce) 


大并发服务器架构:





垂直分区:比如用户表、业务表、基础表各有各自的读写数据库。
水平分区:比如用户表、业务表、基础表各有1000条记录,则水平分割分布在10对读写库。

服务器性能杀手:
1、数据拷贝:(缓存,不是指分布式缓存,指的是服务器内部的,如从内核拷贝到应用层的缓存)
2、环境切换:(理性使用多线程)单核(使用状态机编程效果最佳),多线程能够发挥多核服务器最佳性能
3、内存分配:(内存池)减少向操作系统申请内存的次数
4、锁竞争:(通过逻辑尽量减少锁的使用,或者锁的竞争)

转:http://blog.csdn.net/jnu_simba/article/details/15972395

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_907006.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

由12306.cn谈谈网站性能技术

12306.cn网站挂了,被全国人民骂了。我这两天也在思考这个事,我想以这个事来粗略地和大家讨论一下网站性能的问题。因为仓促,而且完全基于本人有限的经验和了解,所以,如果有什么问题还请大家一起讨论和指正。&#xff0…

使用用户控件和定制的Web部件个人化你的门户网站

原著:Ted Pattison,Fritz Onion 原代码下载:WebPart.rar原文出处:ASP.NET 2.0 Personalize Your Portal with User Controls and Custom Web Parts 本文基于 ASP.NET 2.0 的预发行版本,文中提供的所有信息将来都可能发…

使用ASP.Net2.0国际化你的网站祥解

这个功能其实大家早就知道了,现在由于有一个项目要用到这个技术,所以又去全面一些的查找了一下。自己纪录一下,方便于以后查找使用吧。 创建可有多种语言版本的 Web 应用程序在 ASP.NET 2.0 版以前是一项复杂的任务。如果您使用资源文…

centos安装python学习环境和部署web网站

### linux下安装软件的方式 yum安装或者直接下载源码编译安装都行。 yum和源码编译安装的区别? 1.路径区别-yum安装的软件是他自定义的,源码安装的软件./configure --preifx软件安装的绝对路径 2.yum仓库的软件,版本可能比较低,而…

快捷键练习网站

https://www.shortcutfoo.com/

网站上线-新的开始

十分钟空间(https://tmspace.cn)——每天十分钟属于自己的一片空间,学习、阅读、娱乐让自己有一个好的开始。每天坚持十分钟,让自己生活充满幸福。 时间过得真快,现在都已经2020年了,时光匆匆,从…

整个网站变灰css样式

4月4日举行全国哀悼,致敬英雄,缅怀英烈。各大网站和视屏都在变灰,于是我也学习了一下css样式,向英雄致敬! 4月4日举行全国哀悼,致敬英雄,缅怀英烈。各大网站和视屏都在变灰,于是我也…

80ms的快感,使用免费日本CDN加速网站

许多站长在架设网站时,选择了欧美或者国内单线主机,但是由于国内网络环境的特殊性,这些网站在国内或者不同运营商网络间的访问速度往往并不理想,通过使用CDN可以有效的提升访问速度,但是不菲的价格让中小站长望而却步&…

网站性能测试指标(QPS,TPS,吞吐量,响应时间)详解

常用的网站性能测试指标有:吞吐量、并发数、响应时间、性能计数器等。 并发数 并发数是指系统同时能处理的请求数量,这个也是反应了系统的负载能力。 响应时间 响应时间是一个系统最重要的指标之一,它的数值大小直接反应了系统的快慢。响…

Java 专业人士必备的书籍和网站列表(转)

作者:mienflying 日期:2007-01-17 对于 Java™ 语言开发人员来说,信息过量是一个真正的问题。每个新入行的程序员都要面临一个令人畏缩的挑战:要进入的行业是一个具有海量知识的行业。要了解的东西简直 太多了。对于有经验的老手来说,情况只有…

分享我自己的导航网站bituplink导航 (附GitHub开源代码项目OneHtmlNav)

话不多说,先上资源 biuplink导航: http://www.bituplink.com/goodweb OneHtmlNav项目: https://github.com/bituplink/OneHtmlNav OneHtmlNav下载: 本地下载 或者github直接打包下载 小呆导航源项目: https://github.com/xiaodai945/WEBJIKE 然后上图 再然后说说这个项目的初…

#网站搭建# 手把手教你在宝塔环境下开启HTTPS

一般新站都是http协议,对于一般的运行当然没有什么大问题,但是在传输一些隐秘数据的时候可能会被攻击者拦截下来,还有就是好看一点浏览器访问的时候不会报不安全,于是我查了一下阿里云申请这个证书是免费的,申请一下然…

#网站搭建# Nginx配置解决跨域CROS跨域请求(同服务器站点互访)

在添加我的血小板(血小板地址详见末尾个人博客地址)到我的博客上面的时候,发生了这样一件小插曲:当我使用www.lyp123.com访问的时候,她不能显示了!同样的站点为什么会不一样的结果呢?于是果断F1…

SEO将被AI人工智能颠覆,你准备好了吗?

谷歌、微软、苹果等各大公司的语音助手上线以来一直被用户各种问题“调戏”着,这些语音助手除了要“照顾”用户的生活起居工作出行,还要和无厘头的用户斗智斗勇。 智能语音助手的出现唤醒了用户听觉和语音层面的交互体验,为用户的生活方式提供…

Excel函数,数据透视表图,某招聘网站职位分析项目

源数据: 分析项目 求每家公司的最高薪资和最低薪资以及平均薪资 将职位包含数据分析、数据运营、分析师等的公司找出来 获取每家公司对应的公司地址放到Sheet1表里显示出来 得到一些具体数据:最低薪资大于15K的公司一共有多少家和最高薪资低于15K的…

python实现搜索引擎,数据检索项目:职业查询系统(基本的搜索引擎+爬虫拉勾网职业数据库),搜索引擎可以学习用户的标记,职业网站爬虫生成数据集

简介 信息检索小组项目,队友已同意上传 用spider爬拉钩网站 排序文档基于tfidf和cosine相似性 从搜索历史和用户标记的相关和不相关的结果中学习IDE规则方法,优化结果 基于Tkinter的UI 标准登录模块 主搜索窗口与页面切换 这里我只放出我贡献相关的部…

这10个白帽seo技巧,只有大神才会

我们一直都在谈白帽seo,那么,白帽seo的技巧你会几个呢?今天带大家来见识一下这10个白帽seo技巧,据说只有大神才会,一起来看看吧。   1.标题不是越长越好,太长反而成累赘,显示不完全,有时短标…

seo如何快速有效的引流

1、搜索引擎对品牌有一定的保护作用,而一旦发现你是在盗用别人的品牌网站将会受到降权处理。 2、用户是有品牌意识的,不会轻易把一个伪品牌当做品牌。 3、浪费时间给别人做品牌而没有建立自己的品牌。 4、选择用户习惯搜索的长尾关键词 同样内容的一篇文…

做seo如何有效的选择关键词

做网站SEO经常能看到一些网站出现奇葩的关键词,甚至你会去想这是怎么做到的?选择关键词有哪些方法呢?下面有优化 seo.ee seo小编为大家分享网站SEO优化选择关键词的方法吧! 选择关键词主要有以下5点需要注意: 1、不要选择生活常用词和形容词 曾经一个…

网站设计单页好还是多页好

我们一直都在谈白帽seo,那么,白帽seo的技巧你会几个呢?今天带大家来见识一下这10个白帽seo技巧,据说只有大神才会,一起来看看吧。 1.标题不是越长越好,太长反而成累赘,显示不完全,有时短标题更…