[转]Yupoo! 的网站技术架构

news/2024/5/20 16:09:16/文章来源:https://blog.csdn.net/iteye_11848/article/details/81594677

Yupoo! 的网站技术架构

又有机会爆料国内 Web 2.0 网站的架构了。这次是 Yupoo! 。非正式的采访了一下 Yupoo!(又拍网) 的创建人之一的 阿华(沈志华)同学,了解了一些小道消息。

作为国内最大的图片服务提供商之一,Yupoo! 的 Alexa 排名大约在 5300 左右。同时收集到的一些数据如下:

带宽:4000M/S (参考)
服务器数量:60 台左右
Web服务器:Lighttpd, Apache, nginx
应用服务器:Tomcat
其他:Python, Java, MogileFS 、ImageMagick 等

首先看一下网站的架构图:

Yupoo_Arch.jpg

该架构图给出了很好的概览(点击可以查看在 Yupoo! 上的大图和原图,请注意该图版权信息)。

关于 Squid 与 Tomcat

Squid 与 Tomcat 似乎在 Web 2.0 站点的架构中较少看到。我首先是对 Squid 有点疑问,对此阿华的解释是"目前暂时还没找到效率比 Squid 高的缓存系统,原来命中率的确很差,后来在 Squid 前又装了层 Lighttpd, 基于 url 做 hash, 同一个图片始终会到同一台 squid 去,所以命中率彻底提高了"

对于应用服务器层的 Tomcat,现在 Yupoo! 技术人员也在逐渐用其他轻量级的东西替代,而 YPWS/YPFS 现在已经用 Python 进行开发了。

名次解释:

  • YPWS--Yupoo Web Server YPWS 是用 Python开发的一个小型 Web 服务器,提供基本的 Web 服务外,可以增加针对用户、图片、外链网站显示的逻辑判断,可以安装于任何有空闲资源的服务器中,遇到性能瓶颈时方便横向扩展。
  • YPFS--Yupoo File System 与 YPWS 类似,YPFS 也是基于这个 Web 服务器上开发的图片上传服务器。

【Updated: 有网友留言质疑 Python 的效率,Yupoo 老大刘平阳在 del.icio.us 上写到 "YPWS用Python自己写的,每台机器每秒可以处理294个请求, 现在压力几乎都在10%以下"】

图片处理层

接下来的 Image Process Server 负责处理用户上传的图片。使用的软件包也是 ImageMagick,在上次存储升级的同时,对于锐化的比率也调整过了(我个人感觉,效果的确好了很多)。”Magickd“ 是图像处理的一个远程接口服务,可以安装在任何有空闲 CPU资源的机器上,类似 Memcached的服务方式。

我们知道 Flickr 的缩略图功能原来是用 ImageMagick 软件包的,后来被雅虎收购后出于版权原因而不用了(?);EXIF 与 IPTC Flicke 是用 Perl 抽取的,我是非常建议 Yupoo! 针对 EXIF 做些文章,这也是潜在产生受益的一个重点。

图片存储层

原来 Yupoo! 的存储采用了磁盘阵列柜,基于 NFS 方式的,随着数据量的增大,”Yupoo! 开发部从07年6月份就开始着手研究一套大容量的、能满足 Yupoo! 今后发展需要的、安全可靠的存储系统“,看来 Yupoo! 系统比较有信心,也是满怀期待的,毕竟这要支撑以 TB 计算的海量图片的存储和管理。我们知道,一张图片除了原图外,还有不同尺寸的,这些图片统一存储在 MogileFS 中。

对于其他部分,常见的 Web 2.0 网站必须软件都能看到,如 MySQL、Memcached 、Lighttpd 等。Yupoo! 一方面采用不少相对比较成熟的开源软件,一方面也在自行开发定制适合自己的架构组件。这也是一个 Web 2.0 公司所必需要走的一个途径。

非常感谢一下 Yupoo! 阿华对于技术信息的分享,技术是共通的。下一个能爆料是哪家?

--EOF--

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_856501.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

给网站管理员的建议:创建可利用的、可抓取的网站

转载自 谷歌中文网站管理员博客 发表者 T.V. Raman,研究学者 原文: Webmaster tips for creating accessible, crawlable sites 发表于:2008年4月14日 上午10:47 Hubbell和我正在我们位于加州的家中度假。欢迎您随时 阅读在此之前我为网站…

大型互联网网站架构心得

大型互联网网站架构心得之一:分 转自 : 朱晔 ID:LoveCherry http://blog.csdn.net/LoveCherry/archive/2008/06/19/2564096.aspx 我们知道,对于一个大型网站来说,可伸缩性是非常重要的,怎么样在纵向和横向…

40种网站常用Javascript技巧

40种网站常用Javascript技巧 40种网站常用Javascript技巧 1. οncοntextmenu"window.event.returnValuefalse" 将彻底屏蔽鼠标右键<table border οncοntextmenureturn(false)><td>no</table> 可用于Table2. <body onselectstart"return…

什么是网站PV值?

什么是网站PV值&#xff1f; 例&#xff1a;IP / PV 访问量约为 600 / 2400 简单点说.IP就是代表 当天有 600IP访问过你的站,而PV就是表示在这600台电脑中有人看了很多次&#xff01; pv 者&#xff0c;PageView也&#xff0c;即页面浏览量&#xff0c;或点击量&#xff1b;通常…

网站推广的18种秘笈

互联网就像一个江湖&#xff0c;而网站推广方法就像行走江湖所需要练的武功秘籍。这里给大家分享18种比较有效的网站推广秘笈。 1、搜索引擎优化 通过SEO对网站自身优化&#xff0c;使网站的设计符合各大搜索引擎的基本标准&#xff0c;从而在各大搜索引擎中获得较好的排名&…

说说大型高并发高负载网站的系统架构

说说大型高并发高负载网站的系统架构 By Michael 转载请保留出处&#xff1a;俊麟 Michael’s blog (http://www.toplee.com/blog/?p71)Trackback Url : http://www.toplee.com/blog/wp-trackback.php?p71 我在CERNET做过拨号接入平台的搭建&#xff0c;而后在Yahoo&372…

[转] 网站架构文章和MySQL在国际知名网站中的使用量

MySQL数据库服务器国际知名网站中的使用数量2008年4月18日&#xff0c;在Alexa安排的一次“Scaling MySQL -- Up or Out?” 的小组辩论中&#xff0c;MySQL、Sun、Flickr、Fotolog、Wkipedia、Facebook、YouTube等国际知名网站的DBA们&#xff0c;对其 网站MySQL数据库服务器、…

常用的40个网站制作技巧

常用的40个网站制作技巧 <script src"http://blog.csdn.net/count.aspx?ID1889771&TypeRank" type"text/javascript"></script> 1. οncοntextmenu "window.event.returnValuefalse " 将彻底屏蔽鼠标右键 <table…

亿友网创始人马云再度创业 创办母婴网站妈妈说

亿友网创始人马云再度创业 创办母婴网站妈妈说 http://www.sina.com.cn 2007年12月14日 03:23 新浪科技 小马云(新浪科技配图) 新浪科技讯 12月14日凌晨消息&#xff0c;据知情人士透露&#xff0c;有着“小马云”之称的亿友网创始人马云近期再次创业&#xff0c;瞄准了母婴网…

王圭平:行业网站系列对话之包装行业

王圭平&#xff1a;行业网站系列对话之包装行业 http://tech.QQ.com  2007年12月18日10:50   腾讯科技    评论2条 腾讯科技讯 由《 电子商务 世界》杂志主办的2007第三届中国行业电子商务网站TOP100参选即将截至&#xff0c;网站参选报名截止时间&#xff1a;12月31日&am…

视频网站1月31日起须持国资控股许可证上岗

视频网站1月31日起须持国资控股许可证上岗 http://tech.QQ.com  2008年01月02日07:36   上海证券报    评论11条 2008年1月31日起&#xff0c;申请互联网视听节目服务的企业&#xff0c;必须具备法人资格&#xff0c;为国有独资或国有控股单位&#xff0c;且在申请之日前三…

如何在网站中加入qq咨询

由于项目需要&#xff0c;我们需要在页面上放置一个qq客服&#xff0c;用于网站的推广和客户咨询服务。刚开始觉得很难&#xff0c;后来从网上找了各种百度经验之后&#xff0c;按照步骤做了一下就已经出来了&#xff0c;其实腾讯已经为大家做好了呢。现在把这个过程分享给大家…

[转] 大型网站架构演变和知识体系

之前也有一些介绍大型网站架构演变的文章&#xff0c;例如LiveJournal的、ebay的&#xff0c;都是非常值得参考的&#xff0c;不过感觉他们讲的更多的是每次演变的结果&#xff0c;而没有很详细的讲为什么需要做这样的演变&#xff0c;再加上近来感觉有不少同学都很难明白为什么…

2 007年中国互联网B2C电子商务网站总收入52亿

2 007年中国互联网B2C电子商务网站总收入52亿 http://tech.QQ.com  2008年01月08日16:06   腾讯科技    评论1条 腾讯 科技 讯 1月8日消息&#xff0c;今天中国 互联网 协会DCCI互联网数据中心发布了《Netguide2008中国互联网调查 报告 》。报告显示,2007年中国互联网B2C电…

2007年中国地方门户网站市场规模达6.1亿元

2007年中国地方门户网站市场规模达6.1亿元 http://tech.QQ.com  2008年01月08日16:18   腾讯科技    评论1条 腾讯 科技 讯 1月8日消息&#xff0c;今天中国 互联网 协会DCCI互联网数据中心发布了《Netguide2008中国互联网调查 报告 》。报告显示,2007年中国本地门户网站市…

2007年中国房地产网站市场规模达到8.2亿元

2007年中国房地产网站市场规模达到8.2亿元 http://tech.QQ.com  2008年01月08日16:17   腾讯科技    评论1条 腾讯科技讯 1月8日消息&#xff0c;今天中国互联网协会DCCI互联网数据中心发布了《Netguide2008中国互联网调查报告》。报告显示,2007年中国房地产网站市场保持健…

2007年中国汽车网站市场规模达到5.6亿元

2007年中国汽车网站市场规模达到5.6亿元 http://tech.QQ.com  2008年01月08日16:15   腾讯科技    评论1条 腾讯 科技 讯 1月8日消息&#xff0c;今天中国互联网协会DCCI互联网数据中心发布了《Netguide2008中国互联网调查报告》。报告显示,2007年中国汽车网站市场保持健康…

2007年中国互联网社区网站市场规模达5.5亿

2007年中国互联网社区网站市场规模达5.5亿 http://tech.QQ.com  2008年01月08日16:09       评论1条 腾讯科技讯 1月8日消息&#xff0c;今天中国互联网协会DCCI互联网数据中心发布了《Netguide2008中国互联网调查报告》。报告显示,2007年中国互联网社区网站市场保持健康增…

2007年中国IT数码网站市场规模达到4.1亿元

2007年中国IT&数码网站市场规模达到4.1亿元 http://tech.QQ.com  2008年01月08日16:14   腾讯科技    评论1条 腾讯 科技 讯 1月8日消息&#xff0c;今天中国互联网协会DCCI互联网数据中心发布了《Netguide2008中国互联网调查 报告 》。报告显示,2007年中国IT&数码…

2007年中国体育网站市场营收规模达4.7亿 元

2007年中国体育网站市场营收规模达4.7亿 元 http://tech.QQ.com  2008年01月08日15:26   腾讯科技    评论2条 腾讯科技讯 1月8日消息&#xff0c;今天中国互联网协会DCCI互联网数据中心发布了《Netguide2008中国互联网调查报告》。报告显示,2007年中国体育网站市场营收规…