各大型网站架构分析收集

news/2024/4/28 6:36:09/文章来源:https://blog.csdn.net/liu7575165/article/details/83776311
[url]转载([url]http://blog.csdn.net/lovingprince/archive/2008/11/26/3379710.aspx[/url])
1. PlentyOfFish 网站架构学习
[url]http://www.dbanotes.net/arch/plentyoffish_arch.html[/url]

采取 Windows 技术路线的 Web 2.0 站点并不多,除了 MySpace ,另外就是这个 PlentyOfFish。这个站点提供 “Online Dating” 服务。一个令人津津乐道的、惊人的数据是这个只有一个人(创建人Markus Frind)的站点价值 10 亿,估计要让很多人眼热,更何况 Markus Frind 每天只用两个小时打理网站–可操作性很强嘛。

2. 从LiveJournal后台发展看 大型网站系统架构以及性能优化方法
[url]http://www.example.net.cn/archives/2006/03/olivejournaloio.html[/url]

LiveJournal是99年始于校园中的项目,几个人出于爱好做了这样一个应用,以实现以下功能:
* 博客,论坛
* 社会性网络,找到朋友
* 聚合,把朋友的文章聚合在一起

LiveJournal采用了大量的开源软件,甚至它本身也是一个开源软件。

在上线后,LiveJournal实现了非常快速的增长:
* 2004年4月份:280万注册用户。
* 2005年4月份:680万注册用户。
* 2005年8月份:790万注册用户。
* 达到了每秒钟上千次的页面请求及处理。
* 使用了大量MySQL服务器。
* 使用了大量通用组件。

3. YouTube 的架构扩展
[url]http://www.dbanotes.net/opensource/youtube_web_arch.html[/url]

在西雅图扩展性的技术研讨会上,YouTube 的 Cuong Do 做了关于 YouTube Scalability 的报告。视频内容在 Google Video 上有(地址),可惜国内用户看不到。
Kyle Cordes 对这个视频中的内容做了介绍。里面有不少技术性的内容。值得分享一下。(Kyle Cordes 的介绍是本文的主要来源)
[url]http://v.youku.com/v_show/id_XMTE2MzYzMzI4.html[/url]国内优酷上面可以看到

4. WikiPedia 技术架构学习分享
[url]http://www.dbanotes.net/opensource/wikipedia_arch.html[/url]

维基百科(WikiPedia.org)位列世界十大网站,目前排名第八位。这是开放的力量。

来点直接的数据:

* 峰值每秒钟3万个 HTTP 请求
* 每秒钟 3Gbit 流量, 近乎375MB
* 350 台 PC 服务器

5. Tailrank 网站架构
[url]http://www.dbanotes.net/review/tailrank_arch.html[/url]

每天数以千万计的 Blog 内容中,实时的热点是什么? Tailrank 这个 Web 2.0 Startup 致力于回答这个问题。

专门爆料网站架构的 Todd Hoff 对 Kevin Burton 进行了采访。于是我们能了解一下 Tailrank 架构的一些信息。每小时索引 2400 万的 Blog 与 Feed,内容处理能力为 160-200Mbps,IO 写入大约在10-15MBps。每个月要处理 52T 之多的原始数据。Tailrank 所用的爬虫现在已经成为一个独立产品:spinn3r。

6. LinkedIn 架构笔记
[url]http://www.dbanotes.net/arch/linkedin.html[/url]

LinkedIn 雇员有 180 个,在 Web 2.0 公司中算是比较多的,不过人家自从 2006 年就盈利了,这在 Web 2.0 站点中可算少的。用户超过 1600 万,现在每月新增 100 万,50% 会员来自海外(中国用户不少,也包括我).

7. Yahoo!社区架构
[url]http://www.dbanotes.net/arch/yahoo_arch.html[/url]

旧金山举行的 QCon 会议带给我们很多新鲜的信息。虽然没机会参加,但是看看各个网站”晒架构”也是个比较过瘾的事情。请参观并收藏这个页面:Architectures you’ve always wondered about。

8. Craigslist 的数据库架构
[url]http://www.dbanotes.net/database/craigslist_database_arch.html[/url]

Craigslist 绝对是互联网的一个传奇公司。根据以前的一则报道:

每月超过 1000 万人使用该站服务,月浏览量超过 30 亿次,(Craigslist每月新增的帖子近 10 亿条??)网站的网页数量在以每年近百倍的速度增长。Craigslist 至今却只有 18 名员工(现在可能会多一些了)。

9. Fotolog.com 的技术信息拾零
[url]http://www.dbanotes.net/review/fotolog_arch.html[/url]

尽管是世界上最大的图片服务网站, Fotolog.com 在国内的名气并不是很响亮, 每当提到图片服务, 很多人第一个会想起 Flickr. 但实际上 Fotolog 也的确是很猛的, Alexa 上的排名一直在 Flickr 前面, 目前注册用户超过 1100 万. 而前不久也卖了一个好价钱, 9000 万美金. 算下来的话, 1 个注册用户大约 9 美金. Yupoo 的刘平阳可以偷着算算自己的网站如果卖给老外是怎样一个价格了.

10. Digg 网站架构
[url]http://www.dbanotes.net/arch/digg_arch_cache_and_shard.html[/url]

Digg 工程师采用 LAMP (Linux, Apache, MySQL and PHP) 模式。这个 Alexa 排名在 100 左右的、自我估价 1.5 亿美金的站点目前有超过 100 台的 PC 服务器(足够少了),可以粗略分成三个部分:数据库服务器,Web 服务器,搜索服务器。

11. Amazon 的 Dynamo 架构
[url]http://www.dbanotes.net/techmemo/amazon_dynamo.html[/url]

我在 DBAnotes.net 上记录过不少比较大的网站架构分析(eg: eBay [1], eBay [2]) ,Amazon 一直找不到太多的资料。国庆期间读到了一篇关于 Amazon Dynamo 的论文,非常精彩。Amazon Dynamo 这个高可用、可扩展存储体系支撑了Amazon 不少核心服务.

12. 财帮子(caibangzi.com)网站架构
[url]http://www.dbanotes.net/arch/caibangzi_web_arch.html[/url]

财帮子(caibangzi.com) 定位在”基金理财社区”。是国内访问量最大的基于 Ruby on rails 的 startup 项目。“理财”这个词据说是光大银行发明的,且不去管,不可否认的是,目前国内”理财”是个很有潜力的切入点。财帮子网站潜在用户群还是很大的。

13. 了解一下 Technorati 的后台数据库架构
[url]http://www.dbanotes.net/web/technorati_db_arch.html[/url]

目前处理着大约 10Tb 核心数据, 分布在大约 20 台机器上.通过复制, 多增加了 100Tb 数据, 分布在 200 台机器上. 每天增长的数据 1TB. 通过 SOA 的运用, 物理与逻辑的访问相隔离, 似乎消除了数据库的瓶颈. 值得一提的是, 该扩展过程始终是利用普通的硬件与开源软件来完成的. 毕竟 , Web 2.0 站点都不是烧钱的主. 从数据量来看,这绝对是一个相对比较大的 Web 2.0 应用.

14. 说说大型高并发高负载网站的系统架构
[url]http://www.toplee.com/blog/?p=71[/url]

我在CERNET做过拨号接入平台的搭建,而后在Yahoo&3721从事过搜索引擎前端开发,又在MOP处理过大型社区猫扑大杂烩的架构升级等 工作,同时自己接触和开发过不少大中型网站的模块,因此在大型网站应对高负载和并发的解决方案上有一些积累和经验,可以和大家一起探讨一下。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_809076.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

win7 64位建立IIS服务器,并发布网站。包括极路由设置超级转发。

我自己因为某些原因想建立一个本地的IIS服务器,电脑是Ghost Win7 Sp1 x64装机旗舰版 YN2013,即win7 64位的,和2003不同,这里可能需要注意的事情比较不同。 一、首先是安装IIS。打开控制面板,找到“程序与功能”&#…

知名互联网公司网站架构图

引言 近段时间以来,通过接触有关海量数据处理和搜索引擎的诸多技术,常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外,更为架构图背后所隐藏的设计思想所叹服。个人这两天一直在搜集各大型网站的架构设计图&…

优酷、YouTube、Twitter及JustinTV视频网站架构设计笔记

本文是整理的关于优酷、YouTube、Twitter及JustinTV几个视频网站的架构或笔记,对于不管是视频网站、门户网站或者其它的网站,在架构上都有一定的参考意义,毕竟成功者的背后总有值得学习的地方,虽然有些文章的发表时间有点久了&…

项目实战之中小网站数据缓存的设计与实现

1.背景 传统的基于B/S架构jsp项目一般是这样的:客户端(浏览器)向服务端发送请求,服务端接受请求后,JAVA的severlet或者jsp会从数据库读取数据,在后台拼装好后以HTML的形式传输给前台。这样也很好理解&…

SQL Server数据库版本升级网站

发现了一个SQLServer数据库版本升级的网站 SQLServerCentral – The #1 SQL Server community 进去后在搜索框中输入 SQL Server xxx Build List (xxx-版本) 以2008r2 为例 最新版本为sp3 10.50.6560 可在帮助-关于 中查看自己的数据库版本 找到需要更…

atitit 破解 拦截 绕过 网站 手机 短信 验证码 之自动获取手机短信方式 attilax 总结

分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!atitit.破解 拦截 绕过 网站 手机 短信 验证…

paip 破解网站手机验证码

分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!paip.破解网站手机验证码作者Attilax &#…

paip 提升安全 网站登录密码明文传输的登录高危漏洞解决方案

分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!paip.提升安全---绝大多数网站的登录高危漏洞…

paip 突破 网站 手机 验证码 的 破解 总结

分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!paip.突破 网站 手机 验证码 的 破解 总结 作…

paip 网站扫描安全工具hp WebInspect 使用指南

分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!paip.网站扫描安全工具hp WebInspect 使用指…

PAIP WEB程序网站安全扫描检测工具(桌面程序)总结

分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!PAIP.WEB程序网站安全扫描检测工具&#xff…

大型网站架构和优化策略和常见处理方案实例

大型在线商务网站的构架设计 本项目是一个在线商品交易平台,平台的主要目的是让企业在平台上发布商品及资讯,用户可以在此平台上购买商品并参与商品的评论。围绕这一目的,系统需要实现商品管理,商品订购,多部门订单处理…

一步步构建大型网站

之前我简单向大家介绍了各个知名大型网站的架构,MySpace的五个里程碑、Flickr的架构、YouTube的架构、PlentyOfFish的架构、WikiPedia的架构。这几个都很典型,我们可以从中获取很多有关网站架构方面的知识,看了之后你会发现你原来的想法很可能…

大型网站的架构设计图

近段时间以来,通过接触有关海量数据处理和搜索引擎的诸多技术,常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外,更为架构图背后所隐藏的设计思想所叹服。个人这两天一直在搜集各大型网站的架构设计图&#xff0…

国内外大型SNS网站后台架构对比

要问时下什么类型的站点人气最旺?答案当属SNS网站。短短几年的时间,SNS便迅速确立了Web 2.0核心的地位。用户的增长量之快更是让人咂舌,而Facebook访问量首次超越Google的消息也让人觉得SNS的前途不可限量。当然,面对庞大且繁琐的…

各大网站架构总结笔记

各大网站架构总结笔记 记得在大学里不止一次关注网站架构方面的东西了,但每次都是泛泛了解,也没有着重记录,一段时间后对各种架构的思想也就模糊了。这几天不知怎么的又心血来潮(可能是快毕业了冲动了)想深入了解一下网…

网站启用GZip压缩后,速度快了3倍!

GZip压缩,是一种网站速度优化技术,也是一把SEO优化利器,许多网站都采用了这种技术,以达到提升网页打开速度、缩短网页打开时间的目的。 本文是一篇研究性文章,将通过某个案例来给大家显示网站采用GZip压缩前后的对比效…

中小型网站的缓存策略

在上一篇文章《大型网站系统架构分析》中,介绍了大型网站的系统架构,其中缓存环境非常重要,大型网站往往使用Squid前端缓存服务器群,memcache分布式缓存,负载均衡,CDN等来提升性能。但中小型网站使用这些大…

瞬时响应:网站的高性能架构

什么叫高性能的网站? 两个网站性能架构设计方案:A方案和B方案,A方案在小于100个并发用户访问时,每个请求的响应时间是1秒,当并发请求达到200的时候,请求的响应时间将骤增到10秒。B方案不管是100个并发用户访…

Mysql在大型网站的应用架构演变

本文主要描述在网站的不同的并发访问量级下,Mysql架构的演变,下面分别从不同的角度思考mysql的演变过程.可扩展性架构的可扩展性往往和并发是息息相关,没有并发的增长,也就没有必要做高可扩展性的架构,这里对可扩展性进行简单介绍…