《分布式技术原理与算法解析》学习笔记Day21

news/2024/4/26 3:43:09/文章来源:https://blog.csdn.net/weixin_54184443/article/details/129202261

分布式数据存储三要素

什么是分布式数据存储系统?

分布式存储系统的核心逻辑,就是将用户需要存储的数据根据某种规则存储到不同的机器上,当用户想要获取指定数据时,再按照规则到存储数据的机器中获取。

分布式存储系统的三要素:

  • 数据生产者 / 数据消费者
  • 数据索引
  • 数据存储

数据生产者生产数据,将数据存储到分布式数据存储系统中,数据消费者是从分布式数据存储系统中获取数据进行消费;数据索引将访问数据的请求转发到数据所在的存储节点;存储设备用来存储数据。

分布式系统数据类型

分布式系统中存在大量不同类型的数据,根据数据的特征,我们可以将其分为三类:

  • 结构化数据,指关系模型数据,特征是数据关联较大、格式固定,一般采用分布式关系数据库进行存储和查询。
  • 半结构化数据,指非关系模型数据,有基本固定结构模式的数据,特征是数据之间关系比较简单,一般采用分布式键值系统进行存储和使用。
  • 非结构化数据,指没有固定模式的数据,特征是数据之间关联不大,这种数据一般存储到文档中,通过ElasticSearch等进行检索。

数据分片与数据复制

数据分片技术,是指分布式存储系统按照一定的规则,将数据存储到相应的存储节点中,或者到相应的存储节点中获取想要的数据。这种技术一方面可以降低单个存储节点的存储和访问压力,另一方面可以通过规定好的规则快速找到数据所在的存储节点,从而大大降低搜索延迟,提高用户体验。

数据分片可以采取不同的方式,包括:

  • 数据特征分片
  • 数据范围分片
  • 哈希分片
  • 一致性哈希分片

数据复制是指将数据进行备份,使得多个节点存储该数据。它可以通过主备方式存储的方式,提高分布式系统的可用性和可靠性。

在实际的分布式存储系统中,数据分片和数据复制通常是共存的:

  • 数据通过分片方式存储到不同的节点上,以减少单节点的性能瓶颈问题。
  • 数据的存储通过主备方式保证可靠性,即对每个节点上存储的分片数据,采用主备方式存储,来保证数据可靠性,其中主备节点上数据一致,是通过数据复制技术实现的。

数据存储

根据上述三种不同的数据类型,常采用的数据存储选型方案如下:

  • 分布式数据库,通过表格来存储结构化数据,方便查找。常见的方案包括:MySQL Sharding、Microsoft SQL Azure、Google Spanner、Alibaba OceanBase等。
  • 分布式键值系统,通过兼职对来存储半结构化数据。常见的方案包括:Redis、Memcache等。
  • 分布式存储系统,通过文件、块、对象等来存储非结构化数据。常见的方案包括:Ceph、GFS、HDFS、Swift等。

详细的分布式数据库比较如下。在这里插入图片描述
详细的分布式存储系统比较如下。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_73887.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【多线程与高并发】- 浅谈volatile

浅谈volatile简介JMM概述volatile的特性1、可见性举个例子总结2、无法保证原子性举个例子分析使用volatile对原子性测试使用锁的机制总结3、禁止指令重排什么是指令重排序重排序怎么提高执行速度重排序的问题所在volatile禁止指令重排序内存屏障(Memory Barrier)作用volatile内…

PHY设备驱动

1. 概述 MAC控制器的驱动使用的是platform总线的连接方式,PHY设备驱动是基于device、driver、bus的连接方式。 其驱动涉及如下几个重要部分: 总线 - sturct mii_bus (mii stand for media independent interface) 设备 - struct phy_device 驱动 - struc…

Java学习笔记——时间日期类

目录概述时间日期类——Date构造方法Date类的常用方法simpledateformate类练习:秒杀活动概述 时间日期类——Date构造方法 Date类的常用方法 package top.xxx.www.date;import java.util.Date;public class DateDemo {public static void main(String[] args) {Date…

LabVIEW如何调用.m脚本LabVIEW调用MATLAB

LabVIEW如何调用.m脚本LabVIEW调用MATLAB有一个用MATLAB编写的脚本,想知道从LabVIEW调用它的方法,以及哪一个是最快的。解决方法有几种方法可以在LabVIEW中调用.m脚本。LabVIEW中的MATLABScript Node使用ActiveX调用MATLAB运行时系统。注意:不…

Linux内核网络协议栈套接字缓冲区原理

概念 Linux网络协议栈是内核中最大的组件之一,由于网络部分应用的范围很广,也相对较热,该部分现有的资料很多,学起来也比较容易。首先,我们看看贯穿网络协议栈各层的一个最关键数据结构——套接字缓冲区(s…

python-pycharm爬虫工程(一)-依赖包下载部分

1,创建一个工程所需的python依赖包 2,依赖包下载慢或者无法下载解决 3,国内对应的镜像有哪些 1,创建一个工程所需的python依赖包 python新工程创建新的python依赖虚拟环境 File-->Settings-->Project:pc 其中pc是我的工程名 点击ok之后得到新的虚拟python依赖包…

【GlobalMapper精品教程】054:标签(标注)功能案例详解

同ArcGIS标注一样,globalmapper提供了动态标注的功能,称为标签,本文详解标签的使用方法。 文章目录 一、标签配置二、创建标签图层三、标签图层选项1. 标签字段2. 标签样式3. 标签格式4. 标签语言5. 标签优先级一、标签配置 在配置页面的【矢量显示】→标签选项卡下,有标签…

Springboot 整合Flowable工作流框架搭建

我们在开发自动化办公软件时经常会遇到各种审批流程功能,这个使用就需要使用到工作流引擎。目前主流的工作流引擎有Activiti、Flowable、camunda,其中Flowable是在Activiti的基础上开发出来的,基于BPMN2.0协议,它包括 BPMN&#x…

大型旋转设备滑动轴承X、Y测点振动值说明(转载的)

滑动轴承支撑的大型旋转设备,绝大部分的故障都表现为不平衡引起的1倍频振动,诊断故障原因要根据振动随转速、负荷、温度、时间的变化情况来具体判断。滑动轴承设备的诊断主要依据电涡流传感器测量轴和轴瓦间的相对振动,判断转子相关的各种问题…

Linux 脚本(sh)之 定时清理悬空、指定镜像,自动增长版本号

定时任务(images_clean): 位置:/mydata/hostmachine_jenkins/images_clean.sh 作用:Jenkins发布之后,遗留下来的老版镜像以及悬空镜像进行定时清理 注意:如果你需要发布新的服务,那么你需要进入当前目录…

快到金3银4了,准备跳槽的可以看看

前两天跟朋友感慨,今年的铜九铁十、裁员、疫情导致好多人都没拿到offer!现在已经12月了,具体明年的金三银四只剩下两个月。 对于想跳槽的职场人来说,绝对要从现在开始做准备了。这时候,很多高薪技术岗、管理岗的缺口和市场需求也…

高品质运动耳机哪款更好用、运动耳机最好的牌子推荐

在运动的时候大家都会选择戴上耳机,用音乐来”调味“,让跑步的过程不那么枯燥乏味。说到运动耳机,除了老生常谈的音质以外,耳机的材质、耳机的工艺,耳机的佩戴稳固性等,也都在影响着用户的体验,…

未来土地利用模拟FLUS模型

未来土地利用模拟(FutureLand-Use Simulation, FLUS)模型1 模型简介1.1 基于ANN 的适宜性概率计算1.2 基于自适应惯性机制的元胞自动机1.3 模拟精度评价参考流域 径流变化是 自然因素和 人为因素共同作用的结果,其中人为因素最为直接的方式就…

流感来了,这类人最容易感染!

最近有学校因多名学生发热停课,浙江多地疾控也提醒大家现在是进入了甲流高发期。今天就来讲一讲甲流该如何防护。首先甲流与普通感冒不同,感冒病原体是鼻病毒、冠状病毒、副流感病毒等。流感病毒是正粘病毒科,根据核蛋白和基质蛋白M1抗原性的…

Fabric.js使用说明Part 2

目录一、Fabric.js使用说明Part 1Fabric.js简介 开始方法事件canvas常用属性对象属性图层层级操作复制和粘贴二、Fabric.js使用说明Part 2锁定拖拽和缩放画布分组动画图像滤镜渐变右键菜单删除三、Fabric.js使用说明Part 3自由绘画绘制背景图片绘制文本绘制线和路径一、锁定Fab…

FSM——squirrel状态机使用

FSM——squirrel状态机使用 1 FSM介绍 1.1 概念 FSM(finite state machine):有限状态机 是表示有限个状态以及在这些状态之间的转移和动作等行为的数学模型。核心内容:有限个状态、通过外部操作引起状态的转移。用来对状态的流转进行解耦&a…

高等工程数学张韵华版第二章课后题

答案仅供参考 本章内容 第 2 章 线性空间 2.1 向量的相关性 2.1.1 线性组合和线性表示 2.1.2 线性相关与线性无关 2.2 秩 2.2.1 向量组的秩 2.2.2 矩阵的秩 2.2.3 相抵标准形 2.3 线性空间 2.3.1 线性空间的定义 2.3.2 线性子空间 2.4 维、基、坐标 2.4.1 维、基、坐标的定义…

复杂场景的接口测试

测试场景一:被测业务操作是由多个API调用协作完成 背景:一个单一的前端操作可能会触发后端一系列的API调用,此时API的测试用例就不再是简单的单个API调用,而是一系列API的调用 存在的情况:存在后一个API需要使用前一个…

springboot+vue软件bug项目测试过程管理系统

config:主要用来存储配置文件,以及其他不怎么动用的信息 controller:项目的主要控制文件 dao: 主要用来操作数据库 entity: 实体,用来放与数据库表里对应的实体类,表中的字段对应类中的属性值,并…

视觉SLAM数据集(一):TUM DataSet

首先给出数据集下载地址:TUM Dataset Download。 如果你是第一次做实验,建议下载xyz的数据集,因为它的动作相对很小,只包含桌面上的一小部分。一旦成功测试,就可以试试desk数据集,它包含四张桌子和几个闭环…