各大型网站架构分析收集

news/2024/4/27 9:15:48/文章来源:https://blog.csdn.net/changemyself/article/details/3403891
1. PlentyOfFish 网站架构学习
http://www.dbanotes.net/arch/plentyoffish_arch.html

采取 Windows 技术路线的 Web 2.0 站点并不多,除了 MySpace ,另外就是这个 PlentyOfFish。这个站点提供 “Online Dating” 服务。一个令人津津乐道的、惊人的数据是这个只有一个人(创建人Markus Frind)的站点价值 10 亿,估计要让很多人眼热,更何况 Markus Frind 每天只用两个小时打理网站–可操作性很强嘛。

2. 从LiveJournal后台发展看 大型网站系统架构以及性能优化方法
http://www.example.net.cn/archives/2006/03/olivejournaloio.html

LiveJournal是99年始于校园中的项目,几个人出于爱好做了这样一个应用,以实现以下功能:
* 博客,论坛
* 社会性网络,找到朋友
* 聚合,把朋友的文章聚合在一起

LiveJournal采用了大量的开源软件,甚至它本身也是一个开源软件。

在上线后,LiveJournal实现了非常快速的增长:
* 2004年4月份:280万注册用户。
* 2005年4月份:680万注册用户。
* 2005年8月份:790万注册用户。
* 达到了每秒钟上千次的页面请求及处理。
* 使用了大量MySQL服务器。
* 使用了大量通用组件。

3. YouTube 的架构扩展
http://www.dbanotes.net/opensource/youtube_web_arch.html

在西雅图扩展性的技术研讨会上,YouTube 的 Cuong Do 做了关于 YouTube Scalability 的报告。视频内容在 Google Video 上有(地址),可惜国内用户看不到。
Kyle Cordes 对这个视频中的内容做了介绍。里面有不少技术性的内容。值得分享一下。(Kyle Cordes 的介绍是本文的主要来源)

4. WikiPedia 技术架构学习分享
http://www.dbanotes.net/opensource/wikipedia_arch.html

维基百科(WikiPedia.org)位列世界十大网站,目前排名第八位。这是开放的力量。

来点直接的数据:

* 峰值每秒钟3万个 HTTP 请求
* 每秒钟 3Gbit 流量, 近乎375MB
* 350 台 PC 服务器

5. Tailrank 网站架构
http://www.dbanotes.net/review/tailrank_arch.html

每天数以千万计的 Blog 内容中,实时的热点是什么? Tailrank 这个 Web 2.0 Startup 致力于回答这个问题。

专门爆料网站架构的 Todd Hoff 对 Kevin Burton 进行了采访。于是我们能了解一下 Tailrank 架构的一些信息。每小时索引 2400 万的 Blog 与 Feed,内容处理能力为 160-200Mbps,IO 写入大约在10-15MBps。每个月要处理 52T 之多的原始数据。Tailrank 所用的爬虫现在已经成为一个独立产品:spinn3r。

6. LinkedIn 架构笔记
http://www.dbanotes.net/arch/linkedin.html

LinkedIn 雇员有 180 个,在 Web 2.0 公司中算是比较多的,不过人家自从 2006 年就盈利了,这在 Web 2.0 站点中可算少的。用户超过 1600 万,现在每月新增 100 万,50% 会员来自海外(中国用户不少,也包括我).

7. Yahoo!社区架构
http://www.dbanotes.net/arch/yahoo_arch.html

旧金山举行的 QCon 会议带给我们很多新鲜的信息。虽然没机会参加,但是看看各个网站”晒架构”也是个比较过瘾的事情。请参观并收藏这个页面:Architectures you’ve always wondered about。

8. Craigslist 的数据库架构
http://www.dbanotes.net/database/craigslist_database_arch.html

Craigslist 绝对是互联网的一个传奇公司。根据以前的一则报道:

每月超过 1000 万人使用该站服务,月浏览量超过 30 亿次,(Craigslist每月新增的帖子近 10 亿条??)网站的网页数量在以每年近百倍的速度增长。Craigslist 至今却只有 18 名员工(现在可能会多一些了)。

9. Fotolog.com 的技术信息拾零
http://www.dbanotes.net/review/fotolog_arch.html

尽管是世界上最大的图片服务网站, Fotolog.com 在国内的名气并不是很响亮, 每当提到图片服务, 很多人第一个会想起 Flickr. 但实际上 Fotolog 也的确是很猛的, Alexa 上的排名一直在 Flickr 前面, 目前注册用户超过 1100 万. 而前不久也卖了一个好价钱, 9000 万美金. 算下来的话, 1 个注册用户大约 9 美金. Yupoo 的刘平阳可以偷着算算自己的网站如果卖给老外是怎样一个价格了.

10. Digg 网站架构
http://www.dbanotes.net/arch/digg_arch_cache_and_shard.html

Digg 工程师采用 LAMP (Linux, Apache, MySQL and PHP) 模式。这个 Alexa 排名在 100 左右的、自我估价 1.5 亿美金的站点目前有超过 100 台的 PC 服务器(足够少了),可以粗略分成三个部分:数据库服务器,Web 服务器,搜索服务器。

11. Amazon 的 Dynamo 架构
http://www.dbanotes.net/techmemo/amazon_dynamo.html

我在 DBAnotes.net 上记录过不少比较大的网站架构分析(eg: eBay [1], eBay [2]) ,Amazon 一直找不到太多的资料。国庆期间读到了一篇关于 Amazon Dynamo 的论文,非常精彩。Amazon Dynamo 这个高可用、可扩展存储体系支撑了Amazon 不少核心服务.

12. 财帮子(caibangzi.com)网站架构
http://www.dbanotes.net/arch/caibangzi_web_arch.html

财帮子(caibangzi.com) 定位在”基金理财社区”。是国内访问量最大的基于 Ruby on rails 的 startup 项目。“理财”这个词据说是光大银行发明的,且不去管,不可否认的是,目前国内”理财”是个很有潜力的切入点。财帮子网站潜在用户群还是很大的。

13. 了解一下 Technorati 的后台数据库架构
http://www.dbanotes.net/web/technorati_db_arch.html

目前处理着大约 10Tb 核心数据, 分布在大约 20 台机器上.通过复制, 多增加了 100Tb 数据, 分布在 200 台机器上. 每天增长的数据 1TB. 通过 SOA 的运用, 物理与逻辑的访问相隔离, 似乎消除了数据库的瓶颈. 值得一提的是, 该扩展过程始终是利用普通的硬件与开源软件来完成的. 毕竟 , Web 2.0 站点都不是烧钱的主. 从数据量来看,这绝对是一个相对比较大的 Web 2.0 应用.

14. 说说大型高并发高负载网站的系统架构
http://www.toplee.com/blog/?p=71

我在CERNET做过拨号接入平台的搭建,而后在Yahoo&3721从事过搜索引擎前端开发,又在MOP处理过大型社区猫扑大杂烩的架构升级等工作,同时自己接触和开发过不少大中型网站的模块,因此在大型网站应对高负载和并发的解决方案上有一些积累和经验,可以和大家一起探讨一下。

15. 大型高负载网站架构 的感想
http://atman.memoab.com/articles/194

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_804841.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

我国公布整治互联网低俗之风第二批曝光网站名单

2009-01-08 17:04:08 来源: 中新网(北京) 网友评论 843 条 点击查看核心提示:中国互联网协会互联网违法和不良信息举报中心8日公布全国整治互联网低俗之风第二批曝光网站名单。 中新网1月8日电 中国互联网协会互联网违法和不良信息举报中心今日发布公告&#xff0…

剖析SNS网站的现状,预测其发展趋势

-------导读------------1、SNS的由来和价值2、SNS区别与BBS和社区网站3、点评目前SNS网站的现状和价值取向4、SNS的盈利模式5、未来SNS的发展趋势 1、SNS的由来和价值 在谈SNS之前我们先认清一下SNS的几个概念: SNS定义:Social Network Software&#…

网站图片防盗链:初级策略

哪个站长也不想自己的带宽白白像流入黑洞一般,被盗链流量所淹没,所以大致采取一些方法,或多或少减少这种盗链成本,下面介绍一种初级策略: 1、我们先举了例子,下面的图片我是在blog中引用www.souapp.com&am…

Django生成网站的sitemap.xml

Django有一个高级的Sitemap生成框架 一个Sitemap是一个你的网站的XML文件,它告诉搜索引擎索索引你的页面的更新频率和你的站点某些页面联系到其它页面 有多"重要",这个信息帮助搜索引擎索引你的站点,参看http://www.sitemaps.org得…

django+apache配置网站的robots.txt和sitemaps等理静态文件

当你的网站已经在公网上正常上线后,为了能被搜索引擎很好的收录网站结构,就必须主动向搜索引擎提供robots.txt和sitemap.xml, 先来看看什么是robots.txt和 sitemap.xml吧,以下摘自“维基百科” http://zh.wikipedia.org/zh-cn/Si…

souapp:网站图片找不到,指向默认图片显示

如果你的网站上显示的图片不存在,总不能给访问者显示一个个小的图片吧,下面我们以www.souapp.com(搜应用网)为例: 当用户鼠标onMouseOver,"搞笑铃声-精选集合2"这个APP的时候,上面应该显示该APP的详细信息以及screensho…

将网站发布到互联网

一、发布前的准备工作 1、一台Linux(CentOS/Ubuntu)服务器。 2、一款web服务器(Nginx/Apache/Tomcat) 3、一个属于自己的独立域名(cn/com/org/...) 二、服务器的购买和配置 1、服务器的类型:1)Linux&#x…

souapp搜应用网:放弃IE浏览器的用户,你的网站能做到吗?

这几天调试souapp.com的页面,感觉chrome,firefox,ie总不可能达到一致的页面效果,非常之崩溃,chrome和firefox还不错了,最可气的就是那个IE,不仅页面布局乱七八糟,而且很多JS代码在IE下不支持,报…

www.souapp.com(搜应用网)推出了中文版和英语版网站

www.souapp.com(搜应用网) 在Google Android Market 的开发者们的强烈要求下,最近推出了中文版和英语版网站,希望中国开发者和国外开发者能够在souapp.com上推广自己的APP,并且根据souapp.com提供的APP统计,为自己的下一款APP的开…

网站中图片的相对路径与绝对路径

1、相对路径 网站中加载图片所用到的相对路径&#xff0c;相对路径是以网页所在位置为参考的。 ../代表上一级目录 src"../../photo/1.png"; src"images/1.jpg"; 相对路径不但用于寻找图片还可以用于寻找网页&#xff1a; <a href"../myweb2/2.htm…

IOS目前比较不错的推广网站

序号 名称 网址 姓名 QQ 地址 邮箱 1 爱apps www.iapps.im 黄奇 328774787 上海 2 网易 http://m.163.com/iphone/ 李思萌 2964203 北京 3 威锋网 http://www.weiphone.com/ aenea 1224255960 深圳 4 搞趣 www.gao7.com 岳凌涵 2218526141 福州…

github python 画图_熬了一夜!我用Python做了一个网站,帮小姐姐生成漫画头像

公众号关注 “菜鸟学Python”设为 “星标”&#xff0c;每天看趣味Python干货&#xff01;对于动漫&#xff0c;大家一定都不陌生&#xff0c;小编周围的不少单身码农都是动漫迷。小编也是一个资深动漫迷&#xff0c;动漫里面有好多漂亮的小姐姐&#xff0c;比如斗破苍穹的美杜…

app开发者维权网站正式上线,真正关注开发者生存现状的媒体网站(souapp.com搜应用)

app开发者目前在行业中的弱势问题日益突出&#xff0c;主要来自4个方面的侵权问题&#xff1a;1、app开发者提交APP在软件商店&#xff0c;经常会遇到软件商店强制指定某家广告SDK的嵌入方才能够上架的霸王条款&#xff0c;例如:国内的机锋市场&#xff1b;此外&#xff0c;APP…

网站截图抓取工具:ubuntu+xvfb+CutyCapt,可以实现高效网页缩略图,支持flash显示

找了几个工具都不是很理想&#xff0c;最后通过实验大功告成&#xff0c;下面是具体步骤&#xff1a; 1、环境搭建&#xff1a; 操作系统:ubuntu sudo ap-get install build-essential sudo apt-get install xvfb sudo apt-get install xfs xfonts-scalable xfonts-100dpi su…

网站备案/该网站暂时无法访问

今天新的域名买了阿里云解析&#xff0c;和云服务器ecs 部署好了几小时后提示了这个 https://help.aliyun.com/knowledge_detail/36938.html阿里云help文档显示 备案服务号怎么获得&#xff1f; 备案服务号介绍&#xff1a; 您在购买阿里云ECS、SLB、弹性web托管、建站市场产品…

作品-网站-[原生开发]云鸽信息网

基于ThinkPHP开发 电脑端网址&#xff1a;http://www.yungexinxi.com 手机端网址&#xff1a;http://www.yungexinxi.com 开发性质&#xff1a;二次开发 网站类型&#xff1a;拍卖、商城、个人博客 转载于:https://www.cnblogs.com/phpyangbo/p/6087990.html

网站流量日志数据分析系统(1)

1&#xff0e; 点击流数据模型 1.1&#xff0e; 点击流概念 点击流&#xff08;Click Stream&#xff09;是指用户在网站上持续访问的轨迹。这个概念更注重用户浏览网站的整个流程。用户对网站的每次访问包含了一系列的点击动作行为&#xff0c;这些点击行为数据就构成了点击流…

网站流量日志数据分析系统(模块开发----数据仓库设计)

1&#xff0e; 维度建模基本概念 维度建模(dimensional modeling)是专门用于分析型数据库、数据仓库、数据集市建模的方法。数据集市可以理解为是一种"小型数据仓库"。 维度表(dimension) 维度表示你要对数据进行分析时所用的一个量,比如你要分析产品销售情况, 你可以…

新闻网站项目django--分类页

models.py 相关模型&#xff1a; # 分类表 class Category(models.Model):name models.CharField(max_length40, nullFalse) # 分类名def __str__(self):return self.name# 文章表 class Article(models.Model):title models.CharField(max_length100, nullFalse) # 标题in…

初始阶段网站架构(一)

(译) 1、初始阶段 大型网站都是从小型网站发展而来&#xff0c;网站架构也是一样&#xff0c;从小型网站逐步演变而来的。小型网站没有多少人访问&#xff0c;只需一台服务器就绰绰有余&#xff0c; 这个是网站架构如图&#xff1a; 单一服务器中&#xff1a;应用程序、数据库、…