[转]Yupoo! 的网站技术架构

news/2024/5/15 12:41:58/文章来源:https://blog.csdn.net/heiyeshuwu/article/details/2504831

 

Yupoo! 的网站技术架构

又有机会爆料国内 Web 2.0 网站的架构了。这次是 Yupoo! 。非正式的采访了一下 Yupoo!(又拍网) 的创建人之一的 阿华(沈志华)同学,了解了一些小道消息。

作为国内最大的图片服务提供商之一,Yupoo! 的 Alexa 排名大约在 5300 左右。同时收集到的一些数据如下:

带宽:4000M/S (参考)
服务器数量:60 台左右
Web服务器:Lighttpd, Apache, nginx
应用服务器:Tomcat
其他:Python, Java, MogileFS 、ImageMagick 等

首先看一下网站的架构图:

Yupoo_Arch.jpg

该架构图给出了很好的概览(点击可以查看在 Yupoo! 上的大图和原图,请注意该图版权信息)。

关于 Squid 与 Tomcat

Squid 与 Tomcat 似乎在 Web 2.0 站点的架构中较少看到。我首先是对 Squid 有点疑问,对此阿华的解释是"目前暂时还没找到效率比 Squid 高的缓存系统,原来命中率的确很差,后来在 Squid 前又装了层 Lighttpd, 基于 url 做 hash, 同一个图片始终会到同一台 squid 去,所以命中率彻底提高了"

对于应用服务器层的 Tomcat,现在 Yupoo! 技术人员也在逐渐用其他轻量级的东西替代,而 YPWS/YPFS 现在已经用 Python 进行开发了。

名次解释:

  • YPWS--Yupoo Web Server YPWS 是用 Python开发的一个小型 Web 服务器,提供基本的 Web 服务外,可以增加针对用户、图片、外链网站显示的逻辑判断,可以安装于任何有空闲资源的服务器中,遇到性能瓶颈时方便横向扩展。
  • YPFS--Yupoo File System 与 YPWS 类似,YPFS 也是基于这个 Web 服务器上开发的图片上传服务器。

【Updated: 有网友留言质疑 Python 的效率,Yupoo 老大刘平阳在 del.icio.us 上写到 "YPWS用Python自己写的,每台机器每秒可以处理294个请求, 现在压力几乎都在10%以下"】

 

图片处理层

接下来的 Image Process Server 负责处理用户上传的图片。使用的软件包也是 ImageMagick,在上次存储升级的同时,对于锐化的比率也调整过了(我个人感觉,效果的确好了很多)。”Magickd“ 是图像处理的一个远程接口服务,可以安装在任何有空闲 CPU资源的机器上,类似 Memcached的服务方式。

我们知道 Flickr 的缩略图功能原来是用 ImageMagick 软件包的,后来被雅虎收购后出于版权原因而不用了(?);EXIF 与 IPTC Flicke 是用 Perl 抽取的,我是非常建议 Yupoo! 针对 EXIF 做些文章,这也是潜在产生受益的一个重点。

图片存储层

原来 Yupoo! 的存储采用了磁盘阵列柜,基于 NFS 方式的,随着数据量的增大,”Yupoo! 开发部从07年6月份就开始着手研究一套大容量的、能满足 Yupoo! 今后发展需要的、安全可靠的存储系统“,看来 Yupoo! 系统比较有信心,也是满怀期待的,毕竟这要支撑以 TB 计算的海量图片的存储和管理。我们知道,一张图片除了原图外,还有不同尺寸的,这些图片统一存储在 MogileFS 中。

对于其他部分,常见的 Web 2.0 网站必须软件都能看到,如 MySQL、Memcached 、Lighttpd 等。Yupoo! 一方面采用不少相对比较成熟的开源软件,一方面也在自行开发定制适合自己的架构组件。这也是一个 Web 2.0 公司所必需要走的一个途径。

非常感谢一下 Yupoo! 阿华对于技术信息的分享,技术是共通的。下一个能爆料是哪家?

--EOF--

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_734423.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[转] 网站架构文章和MySQL在国际知名网站中的使用量

MySQL数据库服务器国际知名网站中的使用数量2008年4月18日,在Alexa安排的一次“Scaling MySQL -- Up or Out?” 的小组辩论中,MySQL、Sun、Flickr、Fotolog、Wkipedia、Facebook、YouTube等国际知名网站的DBA们,对其 网站MySQL数据库服务器、…

[转] 大型网站架构演变和知识体系

之前也有一些介绍大型网站架构演变的文章,例如LiveJournal的、ebay的,都是非常值得参考的,不过感觉他们讲的更多的是每次演变的结果,而没有很详细的讲为什么需要做这样的演变,再加上近来感觉有不少同学都很难明白为什么…

网站提速-数据库优化(6)

据库优化 对于一个以数据为中心的应用,数据库的好坏直接影响到程序的性能,因此数据库性能至关重要。一般来说,要保证数据库的效率,要做好以下四个方面的工作:① 数据库设计② sql语句优化③ 数据库参数配置④ 恰当的硬…

共享收集的图像处理方面的一些资源和网站。

首先,共享在软件编写过程访问和收集到的一些与图像或优化有关的网站和博客。 http://blog.csdn.net/housisong/category/325273.aspx 图像处理的相关技术博客 http://www.cnblogs.com/xiaotie/category/145078.html 图像处理的相关技术…

[转]蚂蚁变大象:浅谈常规网站是如何从小变大的

作者:老王 (http://blog.sina.com.cn/zgwangbo001) 来源:http://stblog.baidu-tech.com/?p1643 2005年,我开始和朋友们开始拉活儿做网站,当时第一个网站是在linux上用jsp搭建的,到后来逐步的…

26个导航设计非常独特的网站案例欣赏

作为网站的重要组成部分,导航设计的非常重要,新颖的导航可以给访客留下深刻的印象,吸引他们浏览更多的内容。今天,本文与大家分享26个导航设计非常独特的网站案例,希望能带给你灵感。 iamyuna tedxportland heartshape…

张清:seo出书那点事

最近忙着学习去了,生活有点紧凑,但是还是很充实,很久没有和大家分享我的经验了,新做的论坛站长干货在几个徒弟的操作下,我给予技术指导的情况下已经慢慢建好了。前几天收到了出版社的编辑邮件。早起我就说过seoer的道路…

如何下载各种视频网站的近乎所有视频

也是最近制作《看见》的视频时发现的,因为每次用网络电视看视频,完了还要录制下来,不说渲染的时长,单是录制过程都是一波三折的,真的很是费劲。于是在网上各种搜索,最后还是找到了。在这里写下,…

[转]Mysql在大型网站的应用架构演变

原创文章,转载请注明: 转载自http://www.cnblogs.com/Creator/ 本文链接地址: Mysql在大型网站的应用架构演变 写在最前: 本文主要描述在网站的不同的并发访问量级下,Mysql架构的演变 可扩展性 架构的可扩展性往往和并发是息息相关&#xff0…

使用Orachard与Bootstrap建站心得

最近使用Orchard和Bootstrap为哥的 ALinq 做了个小网站,总得来说,很不错。比自己一行一行地写代码,有效率多了,而且页面也干净利落,当然,比起专业的网站的,还是有不少距离。选择Orchard&#xf…

上海美食娱乐网站总于有点结果了

经过近两周的时间,上海美食娱乐网总于大致露出来面容了。想不到长时间不写代码,真的会忘记。 基本功能已经实现,相对来说,这个网站还是比较简单的。 网站暂时分为两个部分,以后会添加更多功能 1)前台 界面如…

新网站

2019独角兽企业重金招聘Python工程师标准>>> http://note.sdo.com/ 盛大记事本 tokbox.com 视频API http://www.cngadget.cn/ 玩意,创意商店 http://www.linuxcast.net/ linux学习网站 http://gurudigger.com 有很多创意的点子 http://www.newme.me 写日…

宝塔上面nginx网站https配置

1.准备好证书,包括fullchain.crt和private.pem 2.配置nginx配置文件,假设域名是test.china.com server {listen 80;listen 443 ssl http2;server_name test.china.com;index index.php index.html index.htm default.php default.htm default.html;roo…

知名站点SEO注意事项

知名站点,是指已经有较高用户知名度的网站。站点越是知名,就越应从长远考虑,以用户体验为重,积极、合理的进行网站优化,远离作弊和恶意SEO行为。 我们经常可以看到一些知名站点使用了不够合理的内容建设方式. 知名站点…

26日上午多家网站因DNS故障无法访问 包括CCTV、网易等知名网站

3月26日消息,今日上午不少网友和站长反应,多家网站出现大规模访问故障,包括CCTV、凤凰网、网易等多家知名网站均出现了部分地区短暂不能访 问的现象。A5站长网联系DNSPod技术人员发现,北京联通递归DNS 202.106.46.151/202.106.0.2…

php 精品课程,基于PHP的精品课程教学网站

本精品课程网站主要是为了更好的提高学生的学习质量服务的,本课程网站根据现实生活中的实际情况分为了学生,教师和管理员三种角色,学生主要是在线进行学习和查看教师发布的教学资料等内容,教师主要是对教学的内容和资料进行管理&a…

七牛可以放php网页,福利!如何使用七牛云快速加载你的网站(实用篇)

很多刚刚使用wordpress或者其他建站模板的小伙伴们,常常纠结于网页的加载速度上,有时候图片太大回加载特别慢。下面我教大家如何使用七牛云加速网站。。第一步:注册七牛云(https://portal.qiniu.com/signup?codegmseew5nwy)第二步&#xff1…

【转】关于大型网站技术演进的思考(十四)--网站静态化处理—前后端分离—上(6)...

前文讲到了CSI技术,这就说明网站静态化技术的讲述已经推进到了浏览器端了即真正到了web前端的范畴了,而时下web前端技术的前沿之一就是前后端分离技术了,那么在这里网站静态化技术和前后端分离技术产生了交集,所以今天我将讨论下前…

Web开发者必备的十大免费在线工具网站

对我们这些Web开发者来说,不计其数的网站,其中有些对我们来说是相当有用的工具。在本文中,我汇编了10个顶有用的网站,可以说每个开发者都应当将这些网站存为自己的书签。 Mysql Format Date MySQL Format Date允许你利用MySQL DAT…

新手学习在Ubuntu 14.04搭建Javaweb网站(4)--安装JDK

2019独角兽企业重金招聘Python工程师标准>>> 因为之前程序开发一直使用的是32位的JDK,所以打算在Ubuntu上安装32位的jdk,结果又遇到麻烦,因为Ubuntu是64位的,不支持32位程序安装 1.清楚openjdk: sudo apt-get purg…