适用版本说明:
- 核心自动均衡与手动迁移机制:适用于 MongoDB 4.0 ~ 8.0+ 全系分片集群版本。
- 基于实际数据大小触发均衡(3倍 ChunkSize):适用于 MongoDB 6.0.3 及以上版本(6.0.3 之前版本按分片间 Chunk 数量差值触发)。
- 后台自动合并(AutoMerger):适用于 MongoDB 7.0 及以上版本(7.0 之前需手动执行
mergeChunks)。- 数据库内核迁移限速参数:
migrateCloneInsertionBatchSize/migrateCloneInsertionBatchDelayMS适用于 MongoDB 4.2 及以上版本;rangeDeleterBatchSize/rangeDeleterBatchDelayMS适用于 MongoDB 4.0 及以上版本。
一、 自动迁移(Balancer)与自动合并(AutoMerger)机制
1. 自动迁移工作原理
MongoDB 通过运行在 配置服务器副本集(CSRS)主节点 上的后台进程 均衡器(Balancer) 自动平衡各分片数据:
- 巡检与触发(MongoDB 6.0.3+):当同一集合在不同分片上的实际数据大小差值超过 3 倍默认块大小(默认
chunksize为128 MB,即差值达到约384 MB)时,触发迁移。 - 数据拷贝与增量同步:迁移期间业务读写仍路由至源分片;目标分片拷贝全量文档并追平迁移期间的增量变更。
- 元数据切换与清理:Config Server 更新路由元数据后,新请求切换至目标分片,源分片在后台逐步清理已迁出的旧数据。
2. 核心决定参数一览
自动迁移(Balancer)控制参数(适用 4.0+)
| 控制维度 | 参数 / 配置位置 | 默认值与行为说明 |
|---|---|---|
| 执行时间窗 | config.settings (activeWindow) |
默认全天 24 小时运行。可配置如 { start: "01:00", stop: "05:00" } 将迁移限制在每日低峰时段(按 Config Server 主节点时区计算)。 |
| 触发门槛与单次大小 | config.settings (chunksize) |
默认 128 MB(可配 1~1024 MB,6.0+ 默认从 64MB 提升至 128MB)。值越小,拆分与迁移越频繁,单次网络搬运量越小。 |
| 单轮并发数量 | 内置硬性调度规则 | 单个分片同一时间最多参与 1 个迁移任务(作为源或目标)。若集群有 N 个分片,同一轮最多同时并发 N / 2 个迁移任务。 |
| 主从复制节流 | _secondaryThrottle / writeConcern |
控制目标分片接收迁移数据时是否等待从节点同步完成,防止主从复制延迟过大或打满内网带宽。 |
自动合并(AutoMerger)控制参数(仅适用 MongoDB 7.0+)
| 控制维度 | 参数名称(Config Server 设置) | 默认值与行为说明 |
|---|---|---|
| 后台巡检周期 | autoMergerIntervalSecs |
控制配置服务器每隔多少秒执行一次合并检查。 |
| 合并节流间隔 | autoMergerThrottlingMS |
控制连续两次合并操作之间的休眠等待时间(毫秒),防止占用过多锁与 CPU。 |
| 执行时间窗 | 跟随 activeWindow |
当均衡器停止或处于 activeWindow 之外时,自动合并同步暂停。 |
| 可合并冷却时间 | minSnapshotHistoryWindowInSeconds & transactionLifetimeLimitSeconds |
相邻 Chunk 距离上次迁移的时间必须同时超过这两个参数值(默认几分钟),确保不破坏快照读与分布式事务后才允许合并。 |
3. 常见配置修改示例
示例 1:限制每日自动迁移时间段(在 mongos 上执行,适用 4.0+)
use config
db.settings.updateOne(
{ _id: "balancer" },
{ \$set: { activeWindow: { start: "01:00", stop: "05:00" } } },
{ upsert: true }
)
示例 2:调整全局 Chunk 大小(在 mongos 上执行,适用 4.0+)
修改默认块大小会间接改变迁移触发频率与单次搬运的数据量(单位:MB,可配置范围 1~1024):
use config
db.settings.updateOne(
{ _id: "chunksize" },
{ \$set: { value: 64 } },
{ upsert: true }
)
示例 3:调整 AutoMerger 巡检周期与节流间隔(在 Config Server 上执行,适用 7.0+)
db.adminCommand({
setParameter: 1,
autoMergerIntervalSecs: 300, // 每 300 秒检查一次
autoMergerThrottlingMS: 1000 // 每次合并间隔 1000 毫秒
})
二、 哈希分片 vs 数字区域分片的迁移策略选型
底层机制说明:在 MongoDB 底层执行单次 Chunk 迁移或合并时,哈希分片(Hashed Sharding)和范围分片(Ranged Sharding,如按数字/时间分区)使用的都是完全相同的
moveChunk和 AutoMerger 机制。但在新增分片、数据拆分、迁移频率以及合并触发时机上,两者的行为表现有显著差异。
在混合集群中,不同分片键的集合应采用差异化的均衡策略(支持单集合粒度独立控制,互不干扰):
| 对比维度 | 哈希分片(Hashed Sharding) | 数字区域分片(Zone / Ranged Sharding) |
|---|---|---|
| 推荐均衡策略 | 保持自动迁移(推荐) | 关闭该集合自动迁移 + 手动预分配 |
| 新增分片表现 | 均衡器从各旧分片均匀抽取部分 Chunk 迁往新分片;迁移完成后新写入立即均匀打散,后续极少再触发迁移。 | 若按自增数字分区,最新写入集中在高区间分片。提前预拆分空块并绑定 Zone 后,新数据直接写入对应分片,无需后台搬运。 |
| 自动合并表现 | 哈希值随机分布,合并机会较少。 | 相邻数字区间迁入同一分片后物理连续,7.0+ 版本会频繁触发自动合并。 |
三、 混合集群操作指南(部分自动 + 部分手动)
1. 保持全局自动均衡,仅禁用数字区域分片集合(适用 4.0+)
无需停止整个集群的均衡器,只需针对特定集合关闭自动迁移:
// 连接到 mongos 执行
// 1. 确保全局均衡器开启(供哈希分片集合使用)
sh.startBalancer()
// 2. 单独关闭“数字区域分片集合”的自动迁移(不影响其他哈希分片集合)
sh.disableBalancing("数据库名.数字分片集合名")
2. 数字区域分片:预拆分与空块手动迁移(适用 4.0+)
在数据写入前提前规划好区间与分片映射,实现零带宽消耗的数据路由:
// 1. 为分片绑定区域标签(Zone)
sh.addShardToZone("shard01", "ZONE_1_100W")
sh.addShardToZone("shard02", "ZONE_100W_200W")
// 2. 绑定数字区间到对应 Zone(左闭右开)
sh.updateZoneKeyRange("数据库名.数字分片集合名", { order_id: 1 }, { order_id: 1000000 }, "ZONE_1_100W")
sh.updateZoneKeyRange("数据库名.数字分片集合名", { order_id: 1000000 }, { order_id: 2000000 }, "ZONE_100W_200W")
// 3. 手动预拆分空 Chunk(避免单个区间过大)
for (let i = 100000; i < 2000000; i += 100000) {
sh.splitAt("数据库名.数字分片集合名", { order_id: i })
}
// 4. 将目标区间的空 Chunk 移动到目标分片(空块迁移瞬间完成)
sh.moveChunk("数据库名.数字分片集合名", { order_id: 1000000 }, "shard02")
四、 不影响业务应用的迁移速率限制方案
切勿在操作系统层面使用 tc 直接限制 27017 端口总带宽(会误伤正常应用请求)。应通过 MongoDB 内核限速参数 + 串行调度 精准控制迁移速率:
1. 动态设置内核级迁移与清理节流参数(适用 4.2+)
在各分片副本集的所有 mongod 节点上执行(在线生效,无需重启,仅限制后台搬运线程,对业务增删改查零影响):
db.adminCommand({
setParameter: 1,
// 【目标分片拉取限速】每批最多克隆 500 条文档(默认 0 表示按 16MB 大包拉取)
migrateCloneInsertionBatchSize: 500,
// 【目标分片拉取限速】每批写入后强制休眠 50 毫秒(默认 0)
migrateCloneInsertionBatchDelayMS: 50,
// 【源分片清理限速】迁出后每批最多删除 500 条旧文档(适用 4.0+)
rangeDeleterBatchSize: 500,
// 【源分片清理限速】每批删除后休眠 50 毫秒(默认 20,适用 4.0+)
rangeDeleterBatchDelayMS: 50
})
调优提示:迁移过程中若发现内网带宽仍有富余,可在线将
migrateCloneInsertionBatchDelayMS调小(如10)提速;若带宽紧张则调大(如100)。迁移完成后可恢复默认值(删除延迟恢复为20)。
2. 启用从节点复制节流与串行调度(适用 4.0+)
当必须手动迁移存量数据(如调整历史数据所属 Zone)时,需同时控制并发度与副本集同步速度:
- 严格串行执行:在脚本中逐条执行
moveChunk,等待上一条返回{ ok: 1 }后再执行下一条,禁止多线程并发触发多个迁移任务。 - 启用从节点复制节流(防主从延迟与带宽打满):
- 参数:
_secondaryThrottle(默认true,但在部分 WiredTiger 存储引擎版本中自动均衡默认不等待多数从节点确认)与writeConcern。 - 作用:确保目标分片主节点接收一批迁移数据后,必须等待副本集从节点同步完成才继续拉取下一批,防止主节点向从节点同步 Oplog 时二次挤占内网带宽。
- 参数:
db.adminCommand({
moveChunk: "数据库名.数字分片集合名",
find: { order_id: 1000000 },
to: "shard02",
_secondaryThrottle: true, // 开启从节点复制节流
writeConcern: { w: "majority" } // 每批迁移数据必须等多数从节点同步完才继续
})
🔒 原创版权声明
本文标题:MongoDB 分片集群数据迁移、合并与限速运维指南
版权来源:Infraservicenow
⚠️ 重要声明:本站所有文章均为原创技术文档,未经作者书面正式授权,严禁任何形式转载、复制、摘抄、二次发布。
如需转载、引用、整理发布,请务必提前联系作者获得授权,违者将依法追究侵权责任。
© 2026 Infraservicenow All Rights Reserved. 保留所有权利。