大型网站架构演变和知识体系【架构演变第七步:分表、DAL和分布式缓存】

news/2024/5/20 13:20:27/文章来源:https://blog.csdn.net/pthill/article/details/83668887

架构演变第七步:分表、DAL和分布式缓存

随着系统的不断运行,数据量开始大幅度增长,这个时候发现分库后查询仍然会有些慢,于是按照分库的思想开始做分表的工作,当然,这不可避免的会需要对程序进行一些修改,也许在这个时候就会发现应用自己要关心分库分表的规则等,还是有些复杂的,于是萌生能否增加一个通用的框架来实现分库分表的数据访问,这个在ebay的架构中对应的就是DAL,这个演变的过程相对而言需要花费较长的时间,当然,也有可能这个通用的框架会等到分表做完后才开始做,同时,在这个阶段可能会发现之前的缓存同步方案出现问题,因为数据量太大,导致现在不太可能将缓存存在本地,然后同步的方式,需要采用分布式缓存方案了,于是,又是一通考察和折磨,终于是将大量的数据缓存转移到分布式缓存上了。

看看这一步完成后系统的图示:



 

这一步涉及到了这些知识体系:

分表更多的同样是业务上的划分,技术上涉及到的会有动态hash算法、consistent hash算法等;

DAL涉及到比较多的复杂技术,例如数据库连接的管理(超时、异常)、数据库操作的控制(超时、异常)、分库分表规则的封装等;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_825849.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大型网站架构演变和知识体系【架构演变第八步:增加更多的webserver】

架构演变第八步:增加更多的webserver 在做完分库分表这些工作后,数据库上的压力已经降到比较低了,又开始过着每天看着访问量暴增的幸福生活了,突然有一天,发现系统的访问又开始有变慢的趋势了,这个时候首先…

大型网站架构演变和知识体系【 架构演变第九步:数据读写分离和廉价存储方案】...

架构演变第九步:数据读写分离和廉价存储方案 突然有一天,发现这个完美的时代也要结束了,数据库的噩梦又一次出现在眼前了,由于添加的webserver太多了,导致数据库连接的资源还是不够用,而这个时候又已经分库…

大型网站架构演变和知识体系【架构演变第十步:进入大型分布式应用时代和廉价服务器群梦想时代】...

架构演变第十步:进入大型分布式应用时代和廉价服务器群梦想时代 经过上面这个漫长而痛苦的过程,终于是再度迎来了完美的时代,不断的增加webserver就可以支撑越来越高的访问量了,对于大型网站而言,人气的重要毋庸置疑&…

二十个你必须知道的SEO概念

如果你拥有一个网站或独立博客,或者你的工作多少和互联网有关,那你一定耳濡目染多多少少对SEO(搜索引擎优化)有一定了解。本文将列举其中20个SEO领域最常用的名词和概念,如果你打算熟悉和了解他们请继续阅读。当然,如果你已经无所…

分享一个飘浪主题下载的网站

http://www.ommoo.com/ Q:装了某款主题后,进入某些网站输入用户名这些选项框很小,而且不能显示输入的数字.,请问是怎么回事?A:此网友应该是用的IE8的浏览器,目前IE8都是测试版,很多…

免费的PSD分享网站http://freepsdfiles.net/

本文与大家分享42个精美的PSD资源。非常感谢那些很有才华的设计师分享它们的劳动成果,让更多的设计师可以使用他们的创意设计。本文所有素材来自于:http://freepsdfiles.net 在那,你将找到更多更精美的素材! 1. Circle Arrows PS…

MetInfo企业网站管理系统v5.1 正式版【免费下载使用】

MetInfo企业网站管理系统v5.1 正式版【免费下载使用】 MetInfo让你一天甚至更短的时间就能上线网站。而且网站后台操作极其便捷,一切都是基于用户体验和极其简易的操作而设计。

如何测试一个网站的性能(并发数)?

JMeter网站并发性测试 Apache JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试,它最初被设计用于Web应用测试但后来扩展到其他测试领域。 它可以用于测试静态和动态资源例如静态文件、Java小服务程序、CGI脚本、Java 对象、数据库&#xff0…

简读clubof网站源码之后的思考

注:本文所阅读的clubof源码版本为FrienDevSourceCode_20081028,即2008年10月28日。按说昨天刚参加“微软技术创新日--北京站”活动之后, 今天就来评论其活动中产品的一些问题显得不太厚道。但本文内容绝不应当看作是关于clubof的负面评论&…

推荐一款niubility的网站技术分析插件

Wappalyzer是一款功能强大的、且非常实用的网站技术分析插件,通过该插件能够分析目标网站所采用的平台构架、网站环境、服务器配置环境、JavaScript框架、编程语言等参数。 Wappalyzer使用方法 1、安装插件 Wappalyzer支持chrome、firefox浏览器。用户可以在官网…

分享10个ico图标搜索下载网站

为大家提供10个icon搜索下载的网站,这些图标都有明确的分类,你可以从中选出很多精美的图标哦。 1. IconsPedia IconsPedia是一个搜索下载png图片的地方,里面含有海量的图标! 2. veryico 超过1000组的20000高质量的web图标。每个图…

css教程–十步学会用css建站(全)

本教程主要参考Creating a CSS Layout from scratch,由Jorux翻译,以意译为主,其间加入了不少Jorux的个人观点,省略了一些多余的说明,请读者明鉴。 目录: 第一步:规划网站,本教程…

[转]雅虎-网站性能优化的34条黄金法则

2019独角兽企业重金招聘Python工程师标准>>> 1、尽量减少HTTP请求次数 终端用户响应的时间中,有80%用于下载各项内容。这部分时间包括下载页面中的图像、样式表、脚本、Flash等。通过减少页面中的元素可以减少HTTP请求的次数。这是提高网页速度的关键步骤…

网站高数据量访问下数据库瓶颈解决方案

数据库一向是网站架构中最具挑战性的,瓶颈通常出现在这里。又拍网的照片数据量很大,数据库也几度出现严重的压力问题。 因此,这里我主要介绍一下又拍网在分库设计这方面的一些尝试。 又拍网是一个照片分享社区,从2005年6月至今积累…

网站安全狗V3.1版 新增数据包外发拦截功能

2019独角兽企业重金招聘Python工程师标准>>> 网站安全狗是一款集WebShell病毒查杀和WAF为一体的网站安全防护软件,采用基于WEB容器插件式的技术来实现安全防护。涵盖了网马/木马扫描、防SQL注入、防xss注入、防盗链、防CC攻击、网站流量实时监控、网站CP…

酷站欣赏:12个漂亮的国外单页网站设计案例

单页网站把所有的内容都展示在一个页面中,让访客访问页面的时候不需要跳转到其它的页面。网站的内容不是很多而且将来内容也不怎么增加的情况下,制作成单页网站(Single Page Websites)的形式是很好的选择。 网站导航是单页网站的关…

在 Windows Azure 网站 (WAWS) 上对 Orchard CMS 使用 Azure 缓存

编辑人员注释: 本文章由 Windows Azure 网站团队的项目经理 Sunitha Muthukrishna 撰写。 如果您当前的 OrchardCMS 网站在 Windows Azure 网站上运行多个实例,如果不使用某种形式的分布式缓存,您的服务器场中的多个不同节点之间的缓存将会失…

手把手搭建web网站

就拿我自己来说,我为什么学习Linux呢? 大学时候有一次公开课,誉天邹sir讲Linux,他几分钟时间搭建好了一个网站,我作为一个小白,无比震惊,真的太神奇了! 有没有可能以后的某一天,自己也能独立搭建web网站,并且能为访问? 网上也有很多搭建web网站教学,看了很多,,百度一找,然后按…

域名 主机头 同一个IP在IIS环境下架设多个网站

域名 主机头 同一个IP在IIS环境下架设多个网站由于各种原因,我们有时候需要在一个IP地址上建立多个web站点,在IIS5中,我们可能通过简单的设置达到这个目标。在IIS中,每个 Web 站点都具有唯一的、由三个部分组成的标识,…

8月国内网站流量统计TOP5:360安全中心季军

IDC评述网(idcps.com)09月01日报道:根据中国互联网协会-中国网站排名公布的最新数据显示,截至2015年8月30日,国内网站独立访问量五强分别是百度、腾讯网、360安全中心、淘宝网、搜狗。具体情况见下图:通过上…