大型网站架构演变过程理解

news/2024/5/14 1:52:50/文章来源:https://blog.csdn.net/FreeeLinux/article/details/53320502


web动静资源分离

浏览器的请求分为静态资源请求,与动态资源请求。

静态有:html文件,js脚本,css等。

动态有:jsp,php等


http服务器用来处理静态请求,应用服务器处理动态请求。分别可以称为前端服务器,后端服务器。


随着网站访问量变高,可以采取缓存处理。


1.客户端(浏览器)缓存,浏览器访问,先从缓存中获取页面。

2.前端页面缓存,前端服务器可以做一些前端的静态页面缓存。

3.页面片段缓存ESI(Edge side Includes)


前端负载均衡:

DNS负载均衡

在DNS服务器中,可以为多个不同的地址配置同一个名字,对于不同的客户机访问同一个名字,得到不同的地址

       反向代理

使用代理服务器将请求发给内部服务器,让代理服务器将请求均匀转发给多台内部web服务器之一,从而达到负载均衡的目的。

       基于NAT的负载均衡技术

LVS

F5


后端的应用服务器负载均衡

可以增加任务服务器,选择负载比较小的任务服务器


对数据库分库分表:

数据库读写 并发量比较大的时候,就会出现锁竞争,那么就可以把数据库进行分库。


数据库分区种类:

垂直分区:

垂直分区完之后每一张表还可能出现“大表”。


水平分区:




多数据中心+分布式存储与计算

目前有些大型数据,对一致性要求不高,没有必要保存在关系数据库中。关系数据库的事务,表的join,都是服务器性能杀手。

nosql支持并发性比关系型数据库好的多。


DFS分布式文件系统:

nosql的数据可能存在分布式文件系统中。

举例:淘宝上面有好多图片,图片比较小,如果存在磁盘中,磁盘查找磁头回去转动,效率比较低。

分布式文件系统可以是这样的,比如说分成块,将相关性很大的图片存在一个块中。操作系统在查找的时候,就相当于在查找一个大文件。当然这个块内部还存储了图片的存储信息。通过哈希算法,操作系统就可以快速找到图片,不需要磁盘上的消耗。


nosql基于key value存储,为了快速找到这些数据,nosql可以建立在分布式文件系统之上,减轻对I/O的访问。实际上,这些数据库也有自己的文件系统。


map/reduce算法,是分布式计算框架。是google的系统,基本现有nosql数据库都支持此算法。

google(GFS|BigTable | Map/Reduce)


map_reduce是什么呢?比如说我们要统计文件,这些文件太大没法加载到内存中。如果用一台机器效率比较低,那么就可以用多台机器去计算它。这就是分布式计算。

下面这段话来自知乎:

举个栗子,要斗地主了,需要从10副混一起的牌里找出一幅牌,10副牌分10堆给10个人去清,每个人分别把黑红梅方放一堆,这就是map
然后安排4个人每人去清一种花色的牌,从中找出1到K,这就是reduce了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_871158.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

解决火车头7.6版本无法采集部分https网站处理方法

因为现在大多数网站都采取https,导致很多网站无法采集。那哪行,肯定得有解决办法,今日就说说关于火车头采集器7.6版本无法采集部分https网站处理方法。 火车头7.6版本由于发布时间久远,虽然采集器大部分功能都还可以正常使用&…

destooon7.0装修网站源码带分站多地区带设计报价

源码为destoon7.0系统,整站打包,功能很多,不保证无bug,请测试好演示站; 安装测试环境为:宝塔-php-mysql; 源码带手机版,dt内核,安全稳定,支持二次开发等 下…

响应式行业资讯网类网站织梦mip模板带数据完整无错版

织梦最新内核开发的模板,该模板属于比特币新闻资讯类、博客类企业都可使用, 这款模板使用范围极广,不仅仅局限于一类型的企业,你只需要把图片和产品内容; 换成你的,颜色都可以修改,改完让你耳目…

响应式自适应推土机挖掘机机械类网站织梦模板

响应式自适应推土机挖掘机机械类网站织梦模板介绍 响应式自适应推土机挖掘机机械类网站织梦模板,此套dedecms模板可以作为推土机挖掘机机械类、大型机械重工类网站,比较简洁实用的网站模板,是做推土机挖掘机机械类、大型机械重工类网站朋友的…

织梦最新版后台一键更新网站、更新文档HTML、添加文档卡死500的解决方法

后台操作很卡,经常卡住,解决方法 1、/data/common.inc.php 里面如果是 localhost 的话,把它改成 127.0.0.1 2、把 /dede/templets/index_body.htm 25到41行,删除 3、检查 /include/common.inc.php 文件最下面的代码是不是这样的 …

我想创建自己的网站,买好服务器和域名后应该怎么做?应该怎么搭建服务器?怎么配置服务器?

最近双十一,阿里云服务器搞活动,心血来潮买了个服务器和域名。可自己完全不会,真是很痛苦的事情。。。各种百度,各种查,下面我来说说我的个人经历,希望对大家有所帮助。 我想创建自己的网站,买…

个人网站或APP遭遇到DDOS攻击怎么办?

之所以写这篇文章,是因为笔者网站遭到DDOS攻击,从遭遇到的那一刻直到最后恢复,心情复杂,感觉凉凉,真的有坐以待毙的感觉。 背景 首先说一下背景,笔者做了一个影视站,爱美剧tv,这个网…

【phpcms-v9】怎样给网站前台的个别页面更换新的模板?

[html] view plain copy print ? 1.第一步:将美工新设计的模板放置到phpcms/templates/default/模块目录名/模板文件名.html 如: phpcms/templates/default/content/category_new.html 如: phpcms/templates/default/content/category_download_new.h…

(推荐)高并发高流量网站架构详解

Web2.0的兴起,掀起了互联网新一轮的网络创业大潮。以用户为导 向的新网站建设概念,细分了网站功能和用户群,不仅成功的造就了一大批新生的网站,也极大的方便了上网的人们。但Web2.0以用户为导向的理念,使得新 生的网站…

大型网站系统架构的演化

前言 一个成熟的大型网站(如淘宝、京东等)的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性,它总是随着用户量的增加,业务功能的扩展逐渐演变完善的,在这个过程中,开发模式、技术架构、设计…

大型网站架构演变和知识体系

原文链接:http://www.blogjava.net/BlueDavy/archive/2008/09/03/226749.html 之前也有一些介绍大型网站架构演变的文章,例如LiveJournal的、ebay的,都是非常值得参考的,不过感觉他们讲的更多的是每次演变的结果,而没有…

免费jsp空间建站攻略【eatj】【入门】【教程】

我的网站-免费jsp空间建站攻略 1 申请免费的jsp空间 1.1 进入 http://www.eatj.com 1.2 申请注册 1.3 注册成功 1.4 打开确认邮件,点击确认链接 1.5 确认成功 1.6 登录页面 1.7 登录 1.8 关键信息 2 网站设计 2.1 文件结构 2.2 web.xml 2.3 index.jsp 2.…

[转贴] 著名社交网站LinkedIn的Java架构技术

在JavaOne 2008的会议上,著名社交网站LinkedIn的开发者做了2个关于LinkedIn网站的架构技术的演讲,目前这两个演讲的PPT已经可以下载了。下载地址如下: LinkedIn - A Professional Social Network Built with Java™ Technologies and Agile …

XAMPP修改Apache默认网站目录htdocs

方法/步骤 打开文件xampp\apache\conf\httpd.conf 在httpd.conf文件中找到DocumentRoot "I:/xampp/htdocs" 步骤阅读 3 修改httpd.conf文件中的内容为DocumentRoot "D:/www" 4 在D盘新建一个www文件夹,重启apache,将文件移到w…

JSP+SQL企业门户网站

<% page language"java" contentType"text/html; charsetUTF-8" pageEncoding"UTF-8"%> 代码已经上传github&#xff0c;下载地址&#xff1a; https://github.com/21503882/companydoor <!DOCTYPE html PUBLIC "-//W3C//DTD…

java+mysql+servlet论坛网站BBS

管理员子系统功能划分 管理员子系统完成本论坛各种信息的管理与维护的功能&#xff0c;管理员子系统包括的主要功能模块有权限管理、发帖、回帖、修改个人用户信息、发帖状态设置。管理员子系统功能模块图如图4-1。 代码已经上传github&#xff0c;下载地址&#xff1a;https:/…

基于Spring+SpringMvc+Hibernate的JSP+MYSQL保健品销售网站

基于SpringSpringMvcHibernate的JSPMYSQL保健品销售网站 1.包含源程序&#xff0c;数据库脚本。代码和数据库脚本都有详细注释。 2.课题设计仅供参考学习使用&#xff0c;可以在此基础上进行扩展完善 代码已经上传github&#xff0c;下载地址 https://github.com/21503882/sa…

基于java的志愿者交流网站

技术&#xff1a;Java、JSP等 摘要&#xff1a; 随着社会的发展&#xff0c;人民自身素质水平的提高&#xff0c;志愿活动越来越成为大家实现自身价值&#xff0c;投身社会建设的一项主流活动。一项有意义的志愿活动不仅有利于人文社会的建设&#xff0c;还能使志愿者的综合素质…

基于Java的婴幼儿产品销售网站

技术&#xff1a;Java、JSP等 摘要&#xff1a; 婴幼儿产品销售是指各婴幼儿产品生产企业通过电子商务网站的形式&#xff0c;利用网络进行的多种形式销售。是将传统的线下商品销售业务通过与互联网的结合&#xff0c;形成线上线下双渠道的销售模式&#xff0c;即商家利用现有的…

java通过Cookie实现网站自动登录

第一步&#xff0c;登陆的时候如果选择了[自动登录]的选项&#xff0c;则需要在登陆成功后&#xff0c;附加下面的代码 应为一般网站都提供保存用户名的功能&#xff0c;所以我把这个写到了外面。只有密码是单独处理的。 其中的host就是你的域名 login.jsp Java代码 String …