大型网站后端架构设计

news/2024/5/11 16:37:32/文章来源:https://blog.csdn.net/weixin_33951761/article/details/91978748

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

后端架构设计涉及很多方面,并且跟网站规模有很大关系,规模越大涉及技术越多,下面介绍一下超大型网站后端架构设计,以及包含哪些核心技术。

分层是架构设计一种重要方式,通过分层来讲问题很高隔离,后端架构可以分为三层,一层是接入层、服务层、存储层。

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

 

接入层通过LVS、HAProxy等技术将请求接入,将请求量转发给后边nginx+lua,在这一层通过lua扩展构建一些业务逻辑,性能很高。

服务层包含http 服务,http服务一般实现组合逻辑,Tomcat是http服务所在容器,http服务一般实现比如填充sku 属性、描述、图片、说明、介绍等信息业务逻辑。

服务层RPC服务一般是更为基层服务,比如提供个性化推荐BI服务,返回推荐sku列表或者文章素材列表。RPC服务实现服务横向扩展,以及实现业务纵向拆分,能够使团队按职能进行拆分。RPC服务目前用的比较多的是dubbo、spring cloud。

服务层包含Monitor监控服务,监控包含多个纬度。线上服务业务纬度,对线上服务性能比如tp99指标,对于可用率是否100%情况进行监控,并且可以设置报警阈值,当监控达到阈值进行相应报警。jvm监控,对jvm内存、cpu、线程数等情况进行监控。docker监控,对docker内存、进程数、线程数、网络、磁盘等进行监控。通过以上技术手段实现对线上服务可用率、性能、jvm、docker等资源使用情况监控。能够预防线上服务问题,以及线上出现问题后能够快速定位问题,查找问题原因从而解决问题。

服务层Zookeeper可以实现注册中心和配置管理下发等。Zookeeper作为分布式系统核心协作组件,在分布式系统中起着很重要作用。在服务端开发中Zookeeper也起着核心作用,比如用作微服务注册中心,管理微服务注册信息。或者基于Zookeeper实现配置管理工具,方便对于线上服务配置管理以及配置下发,从而实现秒级降级以及秒级配置更新。Zookeeper还可以用作分布式锁,协调多个微服务同步操作。比如微服务缓存更新,可以通过Zookeeper协调,避免后端数据库压力过大导致数据库服务过载或崩溃。

存储层memcached、redis可以用来作为缓存服务提升访问性能,在某些场景下redis也可以作为主要存储,比如推荐系统,访问量大,但是对于数据事务性要求不高,作为唯一存储时,需要注意缓存系统不稳定或性能问题,需要服务本地缓存通用数据以作为兜底,避免缓存不可用导致服务不可用。

存储层mysql、oracle作为关系型数据存储,使用场景是订单、支付等事务强需求场景下,这种场景下分布式nosql数据库对事务支持本身是不够好的,比不上传统数据库,这种场景下mysql、oracle是最优选择。

存储层hbase是一种基于列式存储,方便基于列进行数据分析,分析单列不需要涉及所有列性能会快很多。但不适合基于行查出所有列,因为列存储在不同位置,根据行取出所有列性能会比较差。

以及基于Rocksdb类分布式KV存储,存储基于磁盘可以进行持久化存储,优点存储量大并且能进行持久化,缺点是基于磁盘以及数据结构等多种因素,随机读性能没有redis那么高。所以适合写多读少场景。可以结合redis缓存,作为redis后端的持久化存储。

ES作为全文检索服务,适合于全文检索服务,Mysql就不适合作为全文检索使用,因为一篇文章,每个词都有可能被检索,全部构建索引索引会非常非常大。

java语言栈Spring是事实上Bean管理、以及托管整体配置工业标准。jdk是java基石,支持java运行以及庞大工具包,来支撑业务快速开发。jdk中容器、多线程、锁、io、nio等。方便应用开发实现高性能网络、磁盘等设备操作,方便应用使用多线程技术。

每一种技术都有它的适用场景,架构设计时要根据实际情况去用,有很多trade off的事情,不要强行复用,要根据实际场景无论是编程语言,还是存储,还是消息队列技术等,都要根据实际场景去合理使用,才能发挥出技术最大价值。

转载于:https://my.oschina.net/u/140406/blog/2997958

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_746849.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

自定义Angular插件 - 网站用户引导

最近由于项目进行了较大的改版,为了让用户能够适应这次新的改版,因此在系统中引入了“用户引导”功能,对于初次进入系统的用户一些简单的使用培训training。对于大多数网站来说,这是一个很常见的功能。所以在开发这个任务之前&…

ASP.NET MVC 网站开发总结(六)——简谈Json的序列化与反序列化

首先,先简单的谈一下什么是序列化与反序列化,序列化 (Serialization)将对象的状态信息转换为可以存储或传输的形式的过程。在序列化期间,对象将其当前状态写入到临时或持久性存储区。以后,可以通过从存储区中读取或反序列化(Deser…

新站推荐3-中国版的Smarterer“一问一答”网站

过去的一年,我们曾连续报道了美国的在线技能测试平台Smarterer。用户可在60秒时间内回答一定数量的问题,从而向雇主证明自己所擅长的技能。 受它的启发,北京的HiAll团队近日推出了中国版的Smarterer“一问一答”网站,并增加了在线…

网站导航(TreeView 控件)

TreeView 是让人印象最深刻的导航控件之一,不仅因为它允许呈现富树视图,还因为它支持按需填入树的部分(不需要刷新整个页面)。但最重要的是,它支持很多样式来改变它的外观。 通过几个基本的属性,可以把 Tre…

ASP.NET MVC 学习网站

转载于:https://www.cnblogs.com/nlsoft/archive/2013/03/24/2978563.html

大流量网站性能优化:一步一步打造一个适合自己的BigRender插件(转)

BigRender 当一个网站越来越庞大,加载速度越来越慢的时候,开发者们不得不对其进行优化,谁愿意访问一个需要等待 10 秒,20 秒才能出现的网页呢? 常见的也是相对简单易行的一个优化方案是 图片的延迟加载。一个庞大的页面…

运行Silverlight3 的网站弹出 IE 安全确认框

问题贴:http://social.microsoft.com/Forums/zh-CN/partnercndevsilverlight/thread/b2a133a3-05ab-4698-ba91-2db6a5e1d736 Q: 程序用Silverlight3写的!但是客户端安装了 Silverlight4, 有时候会弹出下面确认框. 如果在安装Silverlight3的客户端访问则不会出现上面…

Python的scrapy之爬取boss直聘网站

在我们的项目中,单单分析一个51job网站的工作职位可能爬取结果不太理想,所以我又爬取了boss直聘网的工作,不过boss直聘的网站一次只能展示300个职位,所以我们一次也只能爬取300个职位。 jobbossspider.py: # -*- coding: utf-8 -*…

ASP.NET网站部署问题集

这几天为了给客户演示我们的项目,发现原来程度在开发环境和部署环境中还不太一样,原本在开发环境中程度运行的好好的,而部署后装在服务器则可能产生不少的错误。因此记录下所遇到的问题,方便以后查询同时也希望能帮遇到相关问题的…

多屏设备网站设计

2019独角兽企业重金招聘Python工程师标准>>> 解决方案: 不同域名 为不同设备屏幕编写代码 相同域名 判断设备类型选择不同的视图 自适应网页设计 转载于:https://my.oschina.net/u/190049/blog/173248

一个在线学习正则表达式的网站

今天发现了一个不错的网站regexr.com,可以在线学习正则表达式。 如图,网站左边包含了常用的正则表达式,我们可以随时参考,右边是一些示例文字,英文段落、电话号码、网址、电子邮箱地址等都有。网站上面可以输入正则表达…

瞬时响应:网站的高性能架构

原文地址:http://blog.csdn.net/taochangchang/article/details/14105327 什么叫高性能的网站? CDN全称Content Delivery Network,即内容分发网络。腾讯提供的CDN服务与一般意义上的CDN服务是一样的,旨在将网站的静态内容发布到最…

云瓣影音网站微信端(已开源)

随着该项目的发布到线上(小打小闹),即将又要开启另一段崭新的旅程。强迫自己停下来写写所学所得,个人认为总结和分享是一种很棒的学习方式。那让我们先来瞧瞧项目长的什么样。如果着急要源码的朋友,可以下拉到最后~~ 微信端部分展现 从微信端…

jitter 如何优化网络_网络推广如何做好网站SEO优化

网络推广做好网站整站SEO优化的方式有很多,如何才能做好SEO优化?一、定位网站关键词SEO给一个网站刚开始做优化的时候,不是立马就设置关键词,而是先分析该网站主要是做什么产品/服务。知道网站的目的是做什么,是卖产品…

如何把自己的网站部署在网上_新手如何自己建网站?

在当前,生活上很多事情已经和互联网息息相关了,每个我们都会网上浏览各种网站,新闻网站看新闻,购物网站在线购买,视频网站可以看视频,各种类型的网站基本都会有,企业建网站为了宣传和提供服务&a…

移动建站平台

搜狐快站是一个很不错的移动建站平台,而且很多功能现在都免费了。这个消息,对于我们这些草根创业者来说,无疑是天上掉了一个大馅饼砸到了我们的头上。既然馅饼掉到了俺们的头上了,咱们就吃了吧。对于搜狐快站,我就不和…

网站刷关键词_百度关键词指数怎样刷,怎么样刷关键词的权重?重庆百度快照排名...

我们在做网站优化的时候,通常会去看关键词的百度指数,选择那些有指数的关键词来重点优化。虽然原则上百度指数是自然形成的,但是我们通过某些方式,也能够有效的刷百度指数。本文重点给大家介绍下百度关键词指数怎样刷,…

unbantu下安装mysql_「ubuntu安装mysql」五:在Ubuntu 16.04下安装MySQL - seo实验室

ubuntu安装mysql1,首先执行下面三条命令:执行第一条命令:sudo apt-get install mysql-server如下图:输入 y ,下载安装时会出现要求设置密码的界面:输入自己想设置的密码,之后再次输入确认密码。…

关注经典:CSS Awards 获奖网站作品赏析《第一季》

每天都有很多新的网站推出,其中不乏一些设计极其优秀的作品。这个系列的文章,我为大家挑选了2012年赢得 CSS Awards 大奖的50个最佳网站。这些鼓舞人心的网站作品代表了网页设计的最高水平,相信你可以得到很大的启发。 您可能感兴趣的相关文章…

ios图片放大之后如何不模糊_几个图片处理的网站

图片来源 :http://pexels.com在制作PPT时候我们会常常遇到以下的问题:问题1:有了一张原图,想找一张像素更高的图片;问题2:使用的图片像素太低、尺寸太小、模糊等;问题3:使用的图片太…