大型网站架构分析收集

news/2024/4/27 18:17:08/文章来源:https://blog.csdn.net/ahahatest/article/details/83319347

. PlentyOfFish 网站架构学习
http://www.dbanotes.net/arch/plentyoffish_arch.html

采取 Windows 技术路线的 Web 2.0 站点并不多,除了 MySpace ,另外就是这个 PlentyOfFish。这个站点提供 “Online Dating” 服务。一个令人津津乐道的、惊人的数据是这个只有一个人(创建人Markus Frind)的站点价值 10 亿,估计要让很多人眼热,更何况 Markus Frind 每天只用两个小时打理网站–可操作性很强嘛。

2. 从LiveJournal后台发展看 大型网站系统架构以及性能优化方法
http://www.example.net.cn/archives/2006/03/olivejournaloio.html

LiveJournal是99年始于校园中的项目,几个人出于爱好做了这样一个应用,以实现以下功能:
* 博客,论坛
* 社会性网络,找到朋友
* 聚合,把朋友的文章聚合在一起

LiveJournal采用了大量的开源软件,甚至它本身也是一个开源软件。

在上线后,LiveJournal实现了非常快速的增长:
* 2004年4月份:280万注册用户。
* 2005年4月份:680万注册用户。
* 2005年8月份:790万注册用户。
* 达到了每秒钟上千次的页面请求及处理。
* 使用了大量MySQL服务器。
* 使用了大量通用组件。

3. YouTube 的架构扩展
http://www.dbanotes.net/opensource/youtube_web_arch.html

在西雅图扩展性的技术研讨会上,YouTube 的 Cuong Do 做了关于 YouTube Scalability 的报告。视频内容在 Google Video 上有(地址),可惜国内用户看不到。
Kyle Cordes 对这个视频中的内容做了介绍。里面有不少技术性的内容。值得分享一下。(Kyle Cordes 的介绍是本文的主要来源)

4. WikiPedia 技术架构学习分享
http://www.dbanotes.net/opensource/wikipedia_arch.html

维基百科(WikiPedia.org)位列世界十大网站,目前排名第八位。这是开放的力量。

来点直接的数据:

* 峰值每秒钟3万个 HTTP 请求
* 每秒钟 3Gbit 流量, 近乎375MB
* 350 台 PC 服务器

5. Tailrank 网站架构
http://www.dbanotes.net/review/tailrank_arch.html

每天数以千万计的 Blog 内容中,实时的热点是什么? Tailrank 这个 Web 2.0 Startup 致力于回答这个问题。

专门爆料网站架构的 Todd Hoff 对 Kevin Burton 进行了采访。于是我们能了解一下 Tailrank 架构的一些信息。每小时索引 2400 万的 Blog 与 Feed,内容处理能力为 160-200Mbps,IO 写入大约在10-15MBps。每个月要处理 52T 之多的原始数据。Tailrank 所用的爬虫现在已经成为一个独立产品:spinn3r。

6. LinkedIn 架构笔记
http://www.dbanotes.net/arch/linkedin.html

LinkedIn 雇员有 180 个,在 Web 2.0 公司中算是比较多的,不过人家自从 2006 年就盈利了,这在 Web 2.0 站点中可算少的。用户超过 1600 万,现在每月新增 100 万,50% 会员来自海外(中国用户不少,也包括我).

7. Yahoo!社区架构
http://www.dbanotes.net/arch/yahoo_arch.html

旧金山举行的 QCon 会议带给我们很多新鲜的信息。虽然没机会参加,但是看看各个网站”晒架构”也是个比较过瘾的事情。请参观并收藏这个页面:Architectures you’ve always wondered about。

8. Craigslist 的数据库架构
http://www.dbanotes.net/database/craigslist_database_arch.html

Craigslist 绝对是互联网的一个传奇公司。根据以前的一则报道:

每月超过 1000 万人使用该站服务,月浏览量超过 30 亿次,(Craigslist每月新增的帖子近 10 亿条??)网站的网页数量在以每年近百倍的速度增长。Craigslist 至今却只有 18 名员工(现在可能会多一些了)。

9. Fotolog.com 的技术信息拾零
http://www.dbanotes.net/review/fotolog_arch.html

尽管是世界上最大的图片服务网站, Fotolog.com 在国内的名气并不是很响亮, 每当提到图片服务, 很多人第一个会想起 Flickr. 但实际上 Fotolog 也的确是很猛的, Alexa 上的排名一直在 Flickr 前面, 目前注册用户超过 1100 万. 而前不久也卖了一个好价钱, 9000 万美金. 算下来的话, 1 个注册用户大约 9 美金. Yupoo 的刘平阳可以偷着算算自己的网站如果卖给老外是怎样一个价格了.

10. Digg 网站架构
http://www.dbanotes.net/arch/digg_arch_cache_and_shard.html

Digg 工程师采用 LAMP (Linux, Apache, MySQL and PHP) 模式。这个 Alexa 排名在 100 左右的、自我估价 1.5 亿美金的站点目前有超过 100 台的 PC 服务器(足够少了),可以粗略分成三个部分:数据库服务器,Web 服务器,搜索服务器。

11. Amazon 的 Dynamo 架构
http://www.dbanotes.net/techmemo/amazon_dynamo.html

我在 DBAnotes.net 上记录过不少比较大的网站架构分析(eg: eBay [1], eBay [2]) ,Amazon 一直找不到太多的资料。国庆期间读到了一篇关于 Amazon Dynamo 的论文,非常精彩。Amazon Dynamo 这个高可用、可扩展存储体系支撑了Amazon 不少核心服务.

12. 财帮子(caibangzi.com)网站架构
http://www.dbanotes.net/arch/caibangzi_web_arch.html

财帮子(caibangzi.com) 定位在”基金理财社区”。是国内访问量最大的基于 Ruby on rails 的 startup 项目。“理财”这个词据说是光大银行发明的,且不去管,不可否认的是,目前国内”理财”是个很有潜力的切入点。财帮子网站潜在用户群还是很大的。

13. 了解一下 Technorati 的后台数据库架构
http://www.dbanotes.net/web/technorati_db_arch.html

目前处理着大约 10Tb 核心数据, 分布在大约 20 台机器上.通过复制, 多增加了 100Tb 数据, 分布在 200 台机器上. 每天增长的数据 1TB. 通过 SOA 的运用, 物理与逻辑的访问相隔离, 似乎消除了数据库的瓶颈. 值得一提的是, 该扩展过程始终是利用普通的硬件与开源软件来完成的. 毕竟 , Web 2.0 站点都不是烧钱的主. 从数据量来看,这绝对是一个相对比较大的 Web 2.0 应用.

14. 说说大型高并发高负载网站的系统架构
http://www.toplee.com/blog/?p=71

我在CERNET做过拨号接入平台的搭建,而后在Yahoo&3721从事过搜索引擎前端开发,又在MOP处理过大型社区猫扑大杂烩的架构升级等 工作,同时自己接触和开发过不少大中型网站的模块,因此在大型网站应对高负载和并发的解决方案上有一些积累和经验,可以和大家一起探讨一下。

15. 大型高负载网站架构 的感想
http://atman.memoab.com/articles/194

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_894797.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

10种AJAX/JavaScript特效让你的网站更吸引人

今天的话题是如何改进自己网站的界面或提高网站的视觉体验,从而让用户记忆犹新。 我们有三种主要的方法(从难到易):自己动手写脚本;使用类似于jQuery和mooTools的JavaScript框架(可以让编写代码变 得更容易些);使用能工作于现有的JavaScript框架下的提前预置好的脚…

网站分析的意义

一位做电子商务网站的前排朋友提出,他也常常看数据,但是数据只是数据,有没有什么方法能够从数据中发现点儿什么,以进一步能够帮助到他的生意。他进一步问,网站分析有没有一些模型和方法是可以直接使用的? …

网站分析报告实例——周末不是学习的好时机?

网站的分析报告并没有固定的格式,但有固定的逻辑。本文希望通过一个具体的小案例,来说明一个网站分析报告应该有什么样的逻辑。这里要声明的是,本文的内容是网站分析的分析部分(Analytics)的报告,而不是网站分析 的测试部分(Test)…

常用正则:手机号码、中文名字、邮箱、身份证号码、网站URL

常用正则 1手机号码 1.1精确匹配(11位) /^(13[0-9]|14[01456879]|15[0-35-9]|16[2567]|17[0-8]|18[0-9]|19[0-35-9])\d{8}$/1.2模糊匹配(11位) /^1[3456789]\d{9}$/1.3 座机号码 /^(0\d{2,3})-?(\d{7,8})$/2.中文名字 2-4个中文字符 /^[\u4e00-\…

10 个学习iOS开发的最佳网站

1) Apple Learning Objective C Objective-C,通常写作ObjC和较少用的Objective C或Obj-C,是扩充C的面向对象编程语言。它主要使用于Mac OS X和GNUstep这两个使用OpenStep标准的系统,而在NeXTSTEP和OpenStep中它更是基本语言。Objective-C可以…

最新版谷歌浏览器每次都要设置允许网站使用flash的解决方法

谷歌浏览器69之后的版本,因为flash存在安全隐患问题,对flash做了严格限制,所以每次打开都会提示是否允许使用flash,需要手动设置,关闭浏览器之后又会恢复之前设置,下次再打开的时候,依然会提示这…

程序员实用工具网站

此文为转载文章,原文链接:程序员实用工具网站 另有非常有用的几个网站,参考非常实用的九个程序员工具网站 1、搜索引擎 2、PPT 3、图片操作 4、文件共享 5、应届生招聘 6、程序员面试题库 7、办公、开发软件 8、高清图片、视频素材网站…

SharePoint 2010/2013/2016内容数据库与网站集的关系

总得来说,内容数据库和网站集的关系是: 一个内容数据库里可以有多个网站集,但是一个网站集只能存在于一个内容数据库。 那么问题来了 问题1:我能否在创建网站集时指定内容数据库呢?或者说我能在指定的内容数据库…

SharePoint 2013 设置网站集为”只读”

有时候当我们升级或者部署项目时,不希望用户在此期间操作SharePoint,比如上传文档。 SharePoint提供了这样的功能:管理中心------应用程序管理------管理配额和锁定 完成后,再次打开http://sp2013,页面会有如下提示&#xff1a…

优化网站性能 提高网站速度访问速度的14条实践收藏

相信互联网已经越来越成为人们生活中不可或缺的一部分。ajax,flex等等富客户端的应用使得人们越加“幸福”地体验着许多原先只能在C/S实现的功能。比如Google机会已经把最基本的office应用都搬到了互联网上。当然便利的同时毫无疑问的也使页面的速度越来越慢。自己是…

002_Python基础学习网站

(一)电脑端:Python 基础教程 (二)手机端:Python 基础教程

响应式网站开发、公司主页开发

转载自: http://www.5180it.com/pages/company1/html/index.html 网上找了一个响应式的公司网站模板,觉得效果挺好的,和大家分享一下 手机上效果: 自己也通过这个模板,开发了前后台,能够自定义相应的页面…

根据原有的博客模板自己开发了一个开源代码分享的网站

在网上看到一个dimpleBlog的代码,觉得比较好,源码里包括了后台的管理和博客页面, 我在这个基础上开发了自己的一些功能,为此和大家分享一下 http://www.5180it.com/code/index.html 网站首页 网站主页 创作中心 内容编辑页面 这…

分享一个响应式电商网站前端模板

页面简洁大气 具有常用的电商页面:登录、注册、商品列表、商品详情、购物车、订单等页面, 适合个人学习和二次开发,具体页面效果如下 在线演示地址 http://5180it.com/malltemplate/index.html http://5180it.com/malltemplate/index.htm…

Nginx 配置 SSL 证书 + 搭建 HTTPS 网站教程

一、HTTPS 是什么? 根据维基百科的解释: 超文本传输安全协议(缩写:HTTPS,英语:Hypertext Transfer Protocol Secure)是超文本传输协议和SSL/TLS的组合,用以提供加密通讯及对网络服务…

大型网站系统架构演化之路

前言 一个成熟的大型网站(如淘宝、天猫、腾讯等)的系统架构并不是一开始设计时就具备完整的高性能、高可用、高伸缩等特性的,它是随着用户量的增加,业务功能的扩展逐渐演变完善的,在这个过程中,开发模式、…

养殖交流网站-物语资源交流

自己搭建的养殖交流网站:物语资源交流。不吝访问,谢谢!

适合iOS开发者的15大网站推荐

http://www.csdn.net/article/2015-03-04/2824108-ios-developers-sites/1 https://medium.com/ios-apprentice/11-insanely-great-ios-developers-sites-95686a523ea8 1. objc.io objc.io的文章质量上佳、观点深刻、针对性强,均出自世界顶级iOS工程师之手&#xf…