跳至正文

MongoDB 分片集群数据迁移、合并与限速运维指南

适用版本说明:

  • 核心自动均衡与手动迁移机制:适用于 MongoDB 4.0 ~ 8.0+ 全系分片集群版本。
  • 基于实际数据大小触发均衡(3倍 ChunkSize):适用于 MongoDB 6.0.3 及以上版本(6.0.3 之前版本按分片间 Chunk 数量差值触发)。
  • 后台自动合并(AutoMerger):适用于 MongoDB 7.0 及以上版本(7.0 之前需手动执行 mergeChunks)。
  • 数据库内核迁移限速参数:migrateCloneInsertionBatchSize / migrateCloneInsertionBatchDelayMS 适用于 MongoDB 4.2 及以上版本;rangeDeleterBatchSize / rangeDeleterBatchDelayMS 适用于 MongoDB 4.0 及以上版本。

一、 自动迁移(Balancer)与自动合并(AutoMerger)机制

1. 自动迁移工作原理

MongoDB 通过运行在 配置服务器副本集(CSRS)主节点 上的后台进程 均衡器(Balancer) 自动平衡各分片数据:

  1. 巡检与触发(MongoDB 6.0.3+):当同一集合在不同分片上的实际数据大小差值超过 3 倍默认块大小(默认 chunksize 为 128 MB,即差值达到约 384 MB)时,触发迁移。
  2. 数据拷贝与增量同步:迁移期间业务读写仍路由至源分片;目标分片拷贝全量文档并追平迁移期间的增量变更。
  3. 元数据切换与清理:Config Server 更新路由元数据后,新请求切换至目标分片,源分片在后台逐步清理已迁出的旧数据。

2. 核心决定参数一览

自动迁移(Balancer)控制参数(适用 4.0+)

控制维度 参数 / 配置位置 默认值与行为说明
执行时间窗 config.settings (activeWindow) 默认全天 24 小时运行。可配置如 { start: "01:00", stop: "05:00" } 将迁移限制在每日低峰时段(按 Config Server 主节点时区计算)。
触发门槛与单次大小 config.settings (chunksize) 默认 128 MB(可配 1~1024 MB,6.0+ 默认从 64MB 提升至 128MB)。值越小,拆分与迁移越频繁,单次网络搬运量越小。
单轮并发数量 内置硬性调度规则 单个分片同一时间最多参与 1 个迁移任务(作为源或目标)。若集群有 N 个分片,同一轮最多同时并发 N / 2 个迁移任务。
主从复制节流 _secondaryThrottle / writeConcern 控制目标分片接收迁移数据时是否等待从节点同步完成,防止主从复制延迟过大或打满内网带宽。

自动合并(AutoMerger)控制参数(仅适用 MongoDB 7.0+)

控制维度 参数名称(Config Server 设置) 默认值与行为说明
后台巡检周期 autoMergerIntervalSecs 控制配置服务器每隔多少秒执行一次合并检查。
合并节流间隔 autoMergerThrottlingMS 控制连续两次合并操作之间的休眠等待时间(毫秒),防止占用过多锁与 CPU。
执行时间窗 跟随 activeWindow 当均衡器停止或处于 activeWindow 之外时,自动合并同步暂停。
可合并冷却时间 minSnapshotHistoryWindowInSeconds & transactionLifetimeLimitSeconds 相邻 Chunk 距离上次迁移的时间必须同时超过这两个参数值(默认几分钟),确保不破坏快照读与分布式事务后才允许合并。

3. 常见配置修改示例

示例 1:限制每日自动迁移时间段(在 mongos 上执行,适用 4.0+)

use config
db.settings.updateOne(
   { _id: "balancer" },
   { \$set: { activeWindow: { start: "01:00", stop: "05:00" } } },
   { upsert: true }
)

示例 2:调整全局 Chunk 大小(在 mongos 上执行,适用 4.0+)

修改默认块大小会间接改变迁移触发频率与单次搬运的数据量(单位:MB,可配置范围 1~1024):

use config
db.settings.updateOne(
   { _id: "chunksize" },
   { \$set: { value: 64 } },
   { upsert: true }
)

示例 3:调整 AutoMerger 巡检周期与节流间隔(在 Config Server 上执行,适用 7.0+)

db.adminCommand({
   setParameter: 1,
   autoMergerIntervalSecs: 300,   // 每 300 秒检查一次
   autoMergerThrottlingMS: 1000   // 每次合并间隔 1000 毫秒
})

二、 哈希分片 vs 数字区域分片的迁移策略选型

底层机制说明:在 MongoDB 底层执行单次 Chunk 迁移或合并时,哈希分片(Hashed Sharding)和范围分片(Ranged Sharding,如按数字/时间分区)使用的都是完全相同的 moveChunk 和 AutoMerger 机制。但在新增分片、数据拆分、迁移频率以及合并触发时机上,两者的行为表现有显著差异。

在混合集群中,不同分片键的集合应采用差异化的均衡策略(支持单集合粒度独立控制,互不干扰):

对比维度 哈希分片(Hashed Sharding) 数字区域分片(Zone / Ranged Sharding)
推荐均衡策略 保持自动迁移(推荐) 关闭该集合自动迁移 + 手动预分配
新增分片表现 均衡器从各旧分片均匀抽取部分 Chunk 迁往新分片;迁移完成后新写入立即均匀打散,后续极少再触发迁移。 若按自增数字分区,最新写入集中在高区间分片。提前预拆分空块并绑定 Zone 后,新数据直接写入对应分片,无需后台搬运。
自动合并表现 哈希值随机分布,合并机会较少。 相邻数字区间迁入同一分片后物理连续,7.0+ 版本会频繁触发自动合并。

三、 混合集群操作指南(部分自动 + 部分手动)

1. 保持全局自动均衡,仅禁用数字区域分片集合(适用 4.0+)

无需停止整个集群的均衡器,只需针对特定集合关闭自动迁移:

// 连接到 mongos 执行
// 1. 确保全局均衡器开启(供哈希分片集合使用)
sh.startBalancer()

// 2. 单独关闭“数字区域分片集合”的自动迁移(不影响其他哈希分片集合)
sh.disableBalancing("数据库名.数字分片集合名")

2. 数字区域分片:预拆分与空块手动迁移(适用 4.0+)

在数据写入前提前规划好区间与分片映射,实现零带宽消耗的数据路由:

// 1. 为分片绑定区域标签(Zone)
sh.addShardToZone("shard01", "ZONE_1_100W")
sh.addShardToZone("shard02", "ZONE_100W_200W")

// 2. 绑定数字区间到对应 Zone(左闭右开)
sh.updateZoneKeyRange("数据库名.数字分片集合名", { order_id: 1 }, { order_id: 1000000 }, "ZONE_1_100W")
sh.updateZoneKeyRange("数据库名.数字分片集合名", { order_id: 1000000 }, { order_id: 2000000 }, "ZONE_100W_200W")

// 3. 手动预拆分空 Chunk(避免单个区间过大)
for (let i = 100000; i < 2000000; i += 100000) {
   sh.splitAt("数据库名.数字分片集合名", { order_id: i })
}

// 4. 将目标区间的空 Chunk 移动到目标分片(空块迁移瞬间完成)
sh.moveChunk("数据库名.数字分片集合名", { order_id: 1000000 }, "shard02")

四、 不影响业务应用的迁移速率限制方案

切勿在操作系统层面使用 tc 直接限制 27017 端口总带宽(会误伤正常应用请求)。应通过 MongoDB 内核限速参数 + 串行调度 精准控制迁移速率:

1. 动态设置内核级迁移与清理节流参数(适用 4.2+)

在各分片副本集的所有 mongod 节点上执行(在线生效,无需重启,仅限制后台搬运线程,对业务增删改查零影响):

db.adminCommand({
   setParameter: 1,
   // 【目标分片拉取限速】每批最多克隆 500 条文档(默认 0 表示按 16MB 大包拉取)
   migrateCloneInsertionBatchSize: 500,
   // 【目标分片拉取限速】每批写入后强制休眠 50 毫秒(默认 0)
   migrateCloneInsertionBatchDelayMS: 50,
   // 【源分片清理限速】迁出后每批最多删除 500 条旧文档(适用 4.0+)
   rangeDeleterBatchSize: 500,
   // 【源分片清理限速】每批删除后休眠 50 毫秒(默认 20,适用 4.0+)
   rangeDeleterBatchDelayMS: 50
})

调优提示:迁移过程中若发现内网带宽仍有富余,可在线将 migrateCloneInsertionBatchDelayMS 调小(如 10)提速;若带宽紧张则调大(如 100)。迁移完成后可恢复默认值 (删除延迟恢复为 20)。

2. 启用从节点复制节流与串行调度(适用 4.0+)

当必须手动迁移存量数据(如调整历史数据所属 Zone)时,需同时控制并发度与副本集同步速度:

  • 严格串行执行:在脚本中逐条执行 moveChunk,等待上一条返回 { ok: 1 } 后再执行下一条,禁止多线程并发触发多个迁移任务。
  • 启用从节点复制节流(防主从延迟与带宽打满):
    • 参数:_secondaryThrottle(默认 true,但在部分 WiredTiger 存储引擎版本中自动均衡默认不等待多数从节点确认)与 writeConcern。
    • 作用:确保目标分片主节点接收一批迁移数据后,必须等待副本集从节点同步完成才继续拉取下一批,防止主节点向从节点同步 Oplog 时二次挤占内网带宽。
db.adminCommand({
   moveChunk: "数据库名.数字分片集合名",
   find: { order_id: 1000000 },
   to: "shard02",
   _secondaryThrottle: true,           // 开启从节点复制节流
   writeConcern: { w: "majority" }     // 每批迁移数据必须等多数从节点同步完才继续
})

🔒 原创版权声明

本文标题:MongoDB 分片集群数据迁移、合并与限速运维指南

原文链接:https://www.infraserviceonline.com/mongodb-%e5%88%86%e7%89%87%e9%9b%86%e7%be%a4%e6%95%b0%e6%8d%ae%e8%bf%81%e7%a7%bb%e3%80%81%e5%90%88%e5%b9%b6%e4%b8%8e%e9%99%90%e9%80%9f%e8%bf%90%e7%bb%b4%e6%8c%87%e5%8d%97/

版权来源:Infraservicenow

⚠️ 重要声明:本站所有文章均为原创技术文档,未经作者书面正式授权,严禁任何形式转载、复制、摘抄、二次发布。

如需转载、引用、整理发布,请务必提前联系作者获得授权,违者将依法追究侵权责任。

© 2026 Infraservicenow All Rights Reserved. 保留所有权利。


发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

错误: Content is protected !!