跳至正文

ClickHouse 集群健康验收、内核警告调优与端到端测试手册

ClickHouse 集群健康验收、内核警告调优与端到端测试手册

本文档整理了独立 ClickHouse Keeper 与 2 分片 × 3 副本 ClickHouse Server 部署完成后的标准验收流程、宿主机内核告警处理及日常运维指令。


一、 独立 Keeper 集群健康状态验收

在 Master 节点通过四字指令检查 Keeper 集群的存活状态与 Raft 选主角色:

  1. 检查服务存活状态(返回 imok 即代表正常): kubectl -n test-clickhouse exec clickhouse-keeper-0 -- bash -c "echo ruok | nc localhost 9181"

  2. 查看各节点 Raft 角色(1 个 leader 搭配 2 个 follower): kubectl -n test-clickhouse exec clickhouse-keeper-0 -- bash -c "echo stat | nc localhost 9181 | grep Mode" kubectl -n test-clickhouse exec clickhouse-keeper-1 -- bash -c "echo stat | nc localhost 9181 | grep Mode"


二、 宿主机内核告警解析与生产环境调优

连接客户端时若出现以下两条系统警告,需在运行 ClickHouse 的 Linux 宿主机节点 上进行调整(Pod 内部无法直接修改宿主机内核全局参数):

警告内容 实际影响 处理建议与宿主机永久生效命令
Linux transparent hugepages are set to "always" 透明大页(THP)在内存碎片整理时会引起毫秒至秒级的内核停顿,极易导致查询毛刺或引发 Keeper 心跳超时。 强烈建议关闭(设为 madvise)
执行:echo madvise > /sys/kernel/mm/transparent_hugepage/enabled
持久化:grubby --update-kernel=ALL --args="transparent_hugepage=madvise"
Delay accounting is not enabled 仅影响 system.query_log 中 OSIOWaitMicroseconds 字段的磁盘等待微秒统计,完全不影响读写性能。 测试环境可忽略,生产建议开启
执行:sysctl -w kernel.task_delayacct=1
持久化:echo "kernel.task_delayacct = 1" > /etc/sysctl.d/99-clickhouse.conf

三、 ClickHouse 集群拓扑与元数据协同验证

进入客户端 Pod 连接集群: kubectl -n test-clickhouse exec -it deploy/clickhouse-client -- clickhouse-client --host clickhouse-00-0.clickhouse --password 123456

登录成功后,依次执行以下三条系统表查询确认全链路协同状态:

  1. 确认 2 个分片、共 6 个副本全部在线且无报错(errors_count 均应为 ): SELECT cluster, shard_num, replica_num, host_name, errors_count FROM system.clusters WHERE cluster = 'clicks_cluster_01';

  2. 确认与独立 Keeper 通信正常(正常返回 keeper 和 clickhouse 根目录): SELECT name FROM system.zookeeper WHERE path = '/';

  3. 确认全局宏变量加载成功(正常返回 cluster、layer、shard、replica 4 行配置): SELECT * FROM system.macros;


四、 端到端闭环测试(分布式建表、写入与跨分片查询)

1. 创建本地复制表与分布式查询表(零硬编码宏变量)

  • 建立本地复制表: CREATE TABLE default.test_logs_local ON CLUSTER '{cluster}' (timestampDateTime DEFAULT now(),serviceString,messageString) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{cluster}/{layer}-{shard}/test_logs_local', '{replica}') ORDER BY timestamp;

  • 建立分布式查询入口表: CREATE TABLE default.test_logs_all ON CLUSTER '{cluster}' AS default.test_logs_local ENGINE = Distributed('{cluster}', 'default', 'test_logs_local', rand());

2. 写入 100 条测试数据并核对跨分片分发

  • 批量插入模拟日志: INSERT INTO default.test_logs_all (service, message) SELECT 'api-gateway', concat('test log line ', toString(number)) FROM numbers(100);

  • 查询全集群汇总总数(结果应严格等于 100): SELECT count() FROM default.test_logs_all;

  • 查看数据在 2 个分片上的均衡分布(两行相加等于 100): SELECT _shard_num, count() FROM default.test_logs_all GROUP BY _shard_num;

3. 清理测试表

  • 删除分布式表与本地复制表: DROP TABLE default.test_logs_all ON CLUSTER '{cluster}'; DROP TABLE default.test_logs_local ON CLUSTER '{cluster}';

五、 日常集群运维速查

  • 无业务中断滚动重启所有分片计算节点(逐个替换 Pod,依靠 3 副本保持服务连续可用): kubectl -n test-clickhouse rollout restart sts clickhouse-00 clickhouse-01

🔒 原创版权声明

本文标题:ClickHouse 集群健康验收、内核警告调优与端到端测试手册

原文链接:https://www.infraserviceonline.com/clickhouse-%e9%9b%86%e7%be%a4%e5%81%a5%e5%ba%b7%e9%aa%8c%e6%94%b6%e3%80%81%e5%86%85%e6%a0%b8%e8%ad%a6%e5%91%8a%e8%b0%83%e4%bc%98%e4%b8%8e%e7%ab%af%e5%88%b0%e7%ab%af%e6%b5%8b%e8%af%95%e6%89%8b%e5%86%8c/

版权来源:Infraservicenow

⚠️ 重要声明:本站所有文章均为原创技术文档,未经作者书面正式授权,严禁任何形式转载、复制、摘抄、二次发布。

如需转载、引用、整理发布,请务必提前联系作者获得授权,违者将依法追究侵权责任。

© 2026 Infraservicenow All Rights Reserved. 保留所有权利。


发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

错误: Content is protected !!