mixi.jp:使用开源软件搭建的可扩展SNS网站

news/2024/5/12 20:26:54/文章来源:https://blog.csdn.net/chinalinuxzend/article/details/1811512
原贴:http://networld.tianyablog.com/blogger/post_show.asp?BlogID=40003&PostID=5915800&idWriter=0&Key=0

mixi.jp:使用开源软件搭建的可扩展SNS网站
作者:弥勒菩萨 提交日期:2006-7-4 8:46:00 正常 | 分类: | 访问量:153 <script src="http://hot.tianyaclub.com/hot.js" language="javascript" type="text/javascript"></script>

  于敦德 2006-6-27
  
   Mixi目前是日本排名第三的网站,全球排名42,主要提供SNS服务:日记,群组,站内消息,评论,相册等等,是日本最大的SNS网站。Mixi从 2003年12月份开始开发,由现在它的CTO - Batara Kesuma一个人焊,焊了四个月,在2004年2月份开始上线运行。两个月后就注册了1w用户,日访问量60wPV。在随后的一年里,用户增长到了 21w,第二年,增长到了200w。到今年四月份已经增长到370w注册用户,并且还在以每天1.5w人的注册量增长。这些用户中70%是活跃用户(活跃 用户:三天内至少登录一次的用户),平均每个用户每周在线时间为将近3个半小时。
  
  下面我们来看它的技术架构。Mixi采用开源软 件作为架构的基础:Linux 2.6,Apache 2.0,MySQL,Perl 5.8,memcached,Squid等等。到目前为止已经有100多台MySQL数据库服务器,并且在以每月10多台的速度增长。Mixi的数据库连 接方式采用的是每次查询都进行连接,而不是持久连接。数据库大多数是以InnoDB方式运行。Mixi解决扩展问题主要依赖于对数据库的切分。
  
   首先进行垂直切分,按照表的内容将不同的表划分到不同的数据库中。然后是水平切分,根据用户的ID将不同用户的内容再划分的不同的数据库中,这是比较通 常的做法,也很管用。划分的关键还是在于应用中的实现,需要将操作封装在在数据层,而尽量不影响业务层。当然完全不改变逻辑层也不可能,这时候最能检验以 前的设计是否到位,如果以前设计的不错,那创建连接的时候传个表名,用户ID进去差不多就解决问题了,而以前如果sql代码到处飞,或者数据层封装的不太 好的话那就累了。
  
  这样做了以后并不能从根本上解决问题,尤其是对于像mixi这种SNS网站,页面上往往需要引用大量的用户信 息,好友信息,图片,文章信息,跨表,跨库操作相当多。这个时候就需要发挥memcached的作用了,用大内存把这些不变的数据全都缓存起来,而当修改 时就通知cache过期,这样应用层基本上就可以解决大部分问题了,只会有很小一部分请求穿透应用层,用到数据库。Mixi的经验是平均每个页面的加载时 间在0.02秒左右(当然根据页面大小情况不尽相似),可以说明这种做法是行之有效的。Mixi一共在32台机器上有缓存服务器,每个Cache Server 2G内存,这些Cache Server与App Server装在一起。因为Cache Server对CPU消耗不大,而有了Cache Server的支援,App Server对内存要求也不是太高,所以可以和平共处,更有效的利用资源。
  
  图片的处理就显得相对简单的多了。对于mixi而言, 图像主要有两部分:一部分是经常要使用到的,像用户头像,群组的头像等等,大概有100多GB,它们被Squid和CDN所缓存,命中率相对比较高;另一 部分是用户上传的大量照片,它们的个体访问量相对而言比较小,命中率也比较低,使用Cache不划算,所以对于这些照片的策略是直接在用户上传的时候分发 到到图片存储服务器上,在用户访问的时候直接进行访问,当然图片的位置需要在数据库中进行记录,不然找不到放在哪台服务器上就郁闷了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_831789.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

亿万用户网站MySpace的成功秘密

原贴&#xff1a;http://networld.tianyablog.com/blogger/post_show.asp?BlogID40003&PostID9013974&idWriter0&Key0亿万用户网站MySpace的成功秘密作者&#xff1a;弥勒菩萨 提交日期&#xff1a;2007-3-26 16:40:00 | 分类: | 访问量&#xff1a;268 <scrip…

[转]说说大型高并发高负载网站的系统架构

原贴&#xff1a;http://blog.csdn.net/heiyeshuwu/archive/2006/04/29/697498.aspx<script type"text/javascript">function StorePage(){ddocument;td.selection?(d.selection.type!None?d.selection.createRange().text:):(d.getSelection?d.getSelectio…

[转]开发大型高负载类网站应用的几个要点

原贴&#xff1a;http://blog.csdn.net/heiyeshuwu/archive/2007/01/04/1473941.aspx[转]开发大型高负载类网站应用的几个要点 <script src"http://blog.csdn.net/count.aspx?ID1473941&TypeRank" type"text/javascript"></script> 开发…

镜像(备份)网站的几种方法!

原贴&#xff1a;http://blog.chinaunix.net/u/13329/showart.php?id81153镜像(备份)网站的几种方法&#xff01; 镜像(备份)网站的几种方法&#xff01; 一、如果有root权限 方法1: (经过测试&#xff0c;这种方式最快!) rsync -vazu -e ssh ./* root211.152.111.111:/…

flv在线录制、视频转换网站开发文档

原贴&#xff1a;http://www.1hao8.com/show.asp?id7316flv在线录制、视频转换网站开发文档 Mencoder简介&#xff1a; Mencoder是Mplayer自带的编码工具&#xff08;Mplayer是Linux下的播放器&#xff0c;开源&#xff0c;支持几乎所有视频格式的播放&#xff0c;现在有windo…

如何评价一个网站的人气(Link Popularity Check)

如何评价一个网站的人气(Link Popularity Check) 通过一些大型搜索引擎的隐含命令来评价网站的"人气"。 提高网站在Google中的排名(1)——面向搜索引擎的网站设计提高网站在Google中的排名(2)——面向搜索引擎的广告模式提高网站在Googel中的排名(3)——面向搜索引擎…

Digg 网站架构

原贴:http://www.dbanotes.net/techmemo/digg_arch_cache_and_shard.htmlDigg 网站架构 作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.dbanotes.net/techmemo/digg_arch_cache_and_shard.html 本篇描述一下 Digg 的网…

Tailrank 网站架构

原贴:http://www.dbanotes.net/review/tailrank_arch.htmlTailrank 网站架构 作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.dbanotes.net/review/tailrank_arch.html 每天数以千万计的 Blog 内容中&#xff0c;实时的…

PlentyOfFish 网站架构学习

原贴:http://www.dbanotes.net/arch/plentyoffish_arch.htmlPlentyOfFish 网站架构学习 作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.dbanotes.net/arch/plentyoffish_arch.html 采取 Windows 技术路线的 Web 2.0 站…

Yupoo! 的网站技术架构

原贴:http://www.dbanotes.net/arch/yupoo_arch.htmlYupoo! 的网站技术架构 作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.dbanotes.net/arch/yupoo_arch.html 又有机会爆料国内 Web 2.0 网站的架构了。这次是 Yupoo!…

郁闷少年架设某大型网站服务器之全部过程

原贴:http://www.cublog.cn/u/19818/showart.php?id118957郁闷少年架设某大型网站服务器之全部过程 郁闷少年架设某大型网站服务器之全部过程 *版权所有 所有:郁闷少年&&二娃家园 网站:http://www.mingfor.com 发布:mingfu 联系:msn:linuxmingfor.com 日期:2006-04-04…

网站运维之道 关于可用性

原贴:网站运维之道 关于可用性 作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.dbanotes.net/web/web_operations_availability.html 这是前一段时间投稿给《程序员》的一篇文章。标题中的"道"有些大了&#…

网站运维之道 监控与报警机制

原贴: http://www.dbanotes.net/web/web_operations_monitoring_and_alert.html 网站运维之道 监控与报警机制 作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.dbanotes.net/web/web_operations_monitoring_and_alert.h…

网站运维之道 之容量规划

原贴&#xff1a; http://www.dbanotes.net/web/web_operations_capacity_planning.html 网站运维之道 之容量规划 作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.dbanotes.net/web/web_operations_capacity_planning.…

网站运维之道 之知识管理与积累

原贴:http://www.dbanotes.net/web/web_operations_knowledge_management.html网站运维之道 之知识管理与积累 作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.dbanotes.net/web/web_operations_knowledge_management.h…

网站运维之道 之自动化管理

原贴:http://www.dbanotes.net/web/web_operations_automatic.html网站运维之道 之自动化管理 作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.dbanotes.net/web/web_operations_automatic.html 还是继续这个网站运维的…

手机之家网站架构--对话高春辉

原贴:http://www.dbanotes.net/arch/imobile_web_arch_gaochunhui.html手机之家网站架构--对话高春辉 作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.dbanotes.net/arch/imobile_web_arch_gaochunhui.html 这次去北京参…

面向用户的网站性能优化

原贴: http://www.dbanotes.net/arch/user_oriented_web_tuning.html面向用户的网站性能优化 作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明 网址: http://www.dbanotes.net/arch/user_oriented_web_tuning.html 在互联网这个行业&…

31个用来测试你网站各项性能的免费在线工具

原贴:http://blog.chinaunix.net/u/9465/showart.php?id173605231个用来测试你网站各项性能的免费在线工具 网站代码验证 没人可以细致到保证自己的网站代码都是正确的&#xff0c;你可以通过以下测试来验证网站代码是否正确。 1 . WDG HTML Validator 一个很好的工具&#…

网站优化之减少HTTP请求

原贴:http://lovelaozang.cn/show-6786-1.html网站优化之减少HTTP请求 Submitted by 老臧 on 2009, January 12, 11:37 PM. 好好学习 相关文章 评论 今天给大家分享一些网站优化的一些经验&#xff0c;如有不对的地方欢迎批评指正或与我讨论。关于网站优化&#xff0c;可以从多…