MongoDB分片机制

news/2024/4/27 8:40:57/文章来源:https://blog.csdn.net/weixin_52016782/article/details/127249517

为什么需要分片

在这里插入图片描述

应用层实现的手动分片:

在这里插入图片描述

MongoDB分片组件

在这里插入图片描述
mongos路由器负责将应用程序的请求指引到合适的分片上。注意到mongos路由器是在应用程序端实现的,因此分片的配置信息需要保存在另外的服务器上,即配置服务器。mongos通过两阶段提交同步更新最新的分片信息。

核心分片操作

Mongo的分片是基于集合的分片,即一个集合中的文档可以分布在不同的机器上。在对集合进行分片时,必须声明一个或多个字段作为分片键,如果选择_id,那么文档会基于对象ID的范围进行分布,由于Mongo的_id字段与时间戳相关,导致该字段是递增的,这样会使得分片不够随机,所以我们可以联合其他字段,比如usernama,与_id组成复合分片键。在讲具体的分片操作之前,我们需要明晰一个概念:

块是一个分片中一段连续的分片键的范围。注意,块是一个逻辑概念,块内的分片键是连续的,但物理上,块并不是连续的文档。
在这里插入图片描述

比如,如果一个从harris到norris的块存在于分片A上,这代表可以在分片A上找到这个范围的键,而并不代表从harris到norris的文档在分片A上是连续存储的。
拆分与迁移操作
在初始化分片集群时,只有一个块,这个块的范围覆盖了整个分片集群,随着数据的插入,我们不断更新这个块的范围的最大值和最小值。当块大小达到阈值(默认块的最大大小为64MB和100000个文档,先达到哪个就按哪个作为阈值),就会对块进行拆分,拆分很简单,就是对原来的范围一分为二,分为两个块,拆分过程不涉及任何的物理移动,仅仅是逻辑上对块的元数据进行更新。
当这个分片中的块越来越多时,就会由一个名为均衡器的软件进程,将块在不同分片上进行物理迁移。通常来说,当集群中拥有块最多的分片与拥有块最少的分片的块数差大于8时,均衡器就会进行一次均衡处理,块从块较多的分片迁移到块少的分片,直到两个分片的块数大致相等为止。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_398758.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用PreparedStatement对数据库的增删改查

目录 介绍 JDBCUtils自定义工具类 增 删 改 查 介绍 可以通过调用 Connection 对象的 preparedStatement() 方法获取PreparedStatement 对象PreparedStatement 接口是 Statement 的子接口,它表示一条预编译过的 SQL 语句PreparedStatement 对象所代表的 SQL 语…

拼搏半个月,刷了 571道Java高频面试题喜提阿里 offer,定级 P7

今年较往年相比面试要难的多,大环境也是对于程序员的要求越来越高,环境是我们无法改变的,我们能改变的只有自己,月初我一好友,努力拼搏一周,刷完了这份阿里 P8 大牛整理的这 571 道 Java 高频面试题笔记&am…

彩色的木棒

一 问题描述 给你一堆木棒。每根棒的每个端点都用一些颜色着色。是否可以将棒对齐成直线,使得接触的端点的颜色具有相同的颜色? 二 输入和输出 1 输入 输入是一系列行,每行包含两个单词,由空格分隔,给出一个木棒的…

SkeyeVSS智慧国土高点视频监控解决方案

随着经济的快速发展、城镇化的快速推进,耕地及矿产资源等不断减少,未批先建、批少用多、私自改变土地用途等各种违法违规用地行为时有发生,在这种情况下,传统的人力巡查工作效率低、执法成本高的弊端进一步凸显。 SkeyeVSS智慧国土…

科技云报道:私有云市场加速洗牌,超云为何异军突起?

科技云报道原创。 近年来在国家相关政策的大力推动下,中国私有云市场发展渐入佳境,一股新的建设高潮汹涌而至。 根据IDC对于2022-2026中国SDS及HCI的市场预测,中国私有云基础架构市场正在从成长阶段迈向成熟阶段,未来3-5年将保持…

自己动手写ls命令——Java版

自己动手写ls命令——Java版 介绍 在前面的文章Linux命令系列之ls——原来最简单的ls这么复杂当中,我们仔细的介绍了关于ls命令的使用和输出结果,在本篇文章当中我们用Java代码自己实现ls命令,更加深入的了解ls命令。 代码实现 文件操作的…

3000字神经网络论文

你遇到了哪些困难和挫折是怎样克服的写下来的作文 我学会了骑自行车人生的道路上,谁都会遇到困难或挫折,就看你敢不敢去挑战它。那一次学自行车,一直让我记忆犹新。一天傍晚,我和爸爸妈妈一起推着车来到体育馆,这次我…

Android同文输入法的使用(开源输入法Trime)

Trime输入法背景源码APP试用下载安装配置部署成功后再一步:学习如何 DIY总结背景 想找一款开源的Android中文输入法,然后发现了这款备受推崇的输入法框架rime。 RIME/中州韵输入法引擎,是一个跨平台的输入法算法框架。 基于这一…

【MySQL】检索数据

每日鸡汤 : —— 若你困于无风之地,我将奏响高空之歌 要和我一起花 10 min 学一会 SQL 嘛? - 当然愿意,我美丽的小姐 (封寝期间练就的自言自语能力越来越炉火纯青了~~~) 前言: 本实验中所用数据…

Kotlin第二章:kotlin基础

1. 基础数据类型 1. 整数类型 序号类型位宽最小值最大值1Byte8-1281272Short16-32768327673Int32-2,147,483,648 (-2^31)2,147,483,647 (2^31 - 1)4Long64-9,223,372,036,854,775,808 (-2^63)9,223,372,036,854,775,807 (2^63 - 1) val number 100 //默认Int类型 类比java的…

0050 Enum枚举类

/* 枚举是一种特殊的类,里面只包含一组有限的特定对象枚举的两种实现方式1.自定义类实现枚举2.使用enum关键字实现枚举自定义类实现枚举1.构造器私有化2.本类的内部创建一组对象[]3.对外暴露对象(为对象添加public final static修饰)4.提供g…

第三章 Flink基础理论之内存优化及常见内存报错解决方案

第三章 Flink基础理论之内存优化及常见内存报错解决方案 哇. 1、总体内存模型 1.1、内存模型概述 ​ Flink内存配置分为JobManager内存配置和TaskManager内存配置。 配置项TaskManager配置参数JobManager配置参数Total Flink Memorytaskmanager.memory.flink.sizejobmana…

土方量计算的准确作法

​现在说到土方量结算,绝大多数土木行业的人都说某某软件很方便,但是我要问到手算会吗,大多数人都会支支吾吾,虽然手算确实不现实,但是我们做为专业人员,总不能沦为软件使用者吧?其中的原理大家…

公众号网课题库系统-注册即可使用

公众号网课题库系统-注册即可使用 本平台优点: 多题库查题、独立后台、响应速度快、全网平台可查、功能最全! 1.想要给自己的公众号获得查题接口,只需要两步! 2.题库: 题库:题库后台(点击跳转…

大数据专题-spark mysql python爬虫携程景点爬取(含虚拟机镜像)

博主介绍:✌在职Java研发工程师、专注于程序设计、源码分享、技术交流、专注于Java技术领域✌ 项目名称 大数据专题-spark mysql python爬虫携程景点爬取(含虚拟机镜像) 视频效果 大数据专题-spark mysql python爬虫携程景点系统说明 一&…

Vue组件之间的数据共享详解

目录前言一,props的作用二,父向子传值2.1 子元素2.2 父元素2.3 整体代码三,子向父传值3.1 子组件3.2 父组件3.3 整体代码四,兄弟之间的数据传递4.1 事件总线EventBus介绍(面试高频)4.2 传值方4.3 接收方后记前言 组件…

Servlet - Filtering (过滤器))

[TOC](Servlet - Filtering (过滤器) ) 1. What 1.1 什么是Filter Servlet过滤器Filter是一个小型的web组件,它们通过拦截请求和响应,以便查看、提取或以某种方式操作客户端和服务器之间交换的数据,实现“过滤”的功能。Filter通常封装了一…

深度神经网络的优化算法,进化算法优化神经网络

有哪些手段可以提升深度神经网络的泛化性能 人工神经网络以其智能性见长,那么神经网络能真的学到一个映射的本质吗?也就是说,对一个映射给出一定的必要的训练样本训练后,网络能否对样本以外的样本给出较为准确的预测。 泛化能力…

概率论与数理统计学习:随机向量(三)——知识总结与C语言实现案例

hello,大家好 这里是第八期概率论与数理统计的学习,我将用这篇博客去总结这期的知识点以及实现用C语言去做题的过程。 本期知识点: 条件分布 条件分布的概念离散型随机变量的条件概率分布连续型随机变量的条件概率密度 随机变量的独立性 那…

ROS学习笔记三(TF的类)

1.数据类型 数据类型定义在tf/transform_datatypes.h.里 1.1 基本数据类型(Quaternion, Vector, Point, Pose, Transform) TypetfQuaterniontf::QuaternionVectortf::Vector3Pointtf::PointPosetf::PoseTransformtf::Transform 1.2 tf::Stamped tf::Stamped在上面的数据类型…