一、集群层面
| 监控维度 | 关键指标 | 说明 |
|---|---|---|
| 集群整体健康 | 集群不可用节点比例 | 节点Ready状态占比 |
| 组件健康状态 | apiserver/etcd/scheduler/controller-manager 的运行状态 | 核心控制面组件状态 |
| 插件健康状态 | CoreDNS/kube-proxy/CNI 插件是否正常运行 | 集群网络与DNS基础插件 |
| 资源对象状态 | 异常Pod数量 | Pending/Error/CrashLoopBackOff 状态的Pod |
| 资源配额使用率（如果配置） | ResourceQuota 使用百分比 | 命名空间资源限制使用情况 |
| HPA扩缩容活动 | 自动扩缩容的触发频率和当前副本数 | 工作负载弹性状态 |
| 集群事件 | 关键事件实时监控 | 重点关注：Failed、BackOff、Evicted、Unhealthy |
| 驱逐事件 | 节点压力导致的Pod驱逐次数 | 节点资源不足引发的驱逐 |
| OOM事件 | 容器OOM Kill的次数和位置 | 内存超限杀死容器 |
| 证书管理 | 证书过期时间 | kubelet、etcd、CA 等证书有效期 |
二、Master 组件
| 组件 | 关键指标 | 说明 |
|---|---|---|
| API Server | 请求延迟（99分位） | 读写请求处理耗时 |
| QPS（请求速率） | 每秒处理请求数 | |
| 5xx/4xx 错误率 | 请求失败比例 | |
| 认证授权失败次数 | 认证失败、RBAC 权限拒绝次数 | |
| 并发连接数 | 当前活跃连接数 | |
| Etcd | 磁盘读写延迟（fsync耗时） | 直接影响集群响应速度 |
| Raft 提案延迟 | 事务提交延迟 | |
| Leader 选举次数 | 频繁选举表示集群不稳定 | |
| Follower 与 Leader 同步延迟 | 数据同步健康状况 | |
| DB 总大小 | 警告>2GB，危险>8GB | |
| 存储空间使用率 | etcd 数据目录磁盘使用 | |
| Scheduler | 调度失败Pod数量及原因 | 资源不足、端口冲突、污点不匹配等 |
| 调度算法执行耗时 | 创建到绑定节点耗时 | |
| 待调度Pod数（Pending） | 长时间未调度的Pod | |
| Controller Manager | 控制器同步耗时 | Node/ReplicaSet/Deployment 处理延迟 |
| 控制器重试次数 | 操作失败次数 |
三、Node 组件
| 监控维度 | 关键指标 | 说明 |
|---|---|---|
| 节点状态 | Ready状态 | 节点是否可调度 |
| 节点压力状态 | DiskPressure/MemoryPressure/PIDPressure | |
| 节点不可调度（Cordoned） | 主动/被动不可调度 | |
| 资源利用率 | CPU使用率 | 整体CPU使用百分比 |
| 内存使用率 | 不含缓存的真实内存使用率 | |
| 磁盘使用率 | 系统分区/镜像分区使用率 | |
| inode使用率 | inod耗尽会无法创建文件 | |
| 系统负载（Load Average） | 与CPU核心数对比评估压力 | |
| 内核与网络 | 文件描述符使用量 | 是否接近系统上限 |
| Conntrack表使用率 | nf_conntrack_count / max | |
| TCP套接字错误 | 连接重置、超时等 |
四、Pod 与容器（工作负载）
| 监控维度 | 关键指标 | 说明 |
|---|---|---|
| 生命周期 | Pod阶段状态 | Pending/Running/Succeeded/Failed/Unknown |
| Pod启动时间 | 从创建到Ready耗时 | |
| 容器重启次数 | 频繁重启=异常 | |
| 镜像拉取失败次数 | ImagePullBackOff 排查 | |
| 资源使用 | CPU使用量 | 实际使用CPU核心数 |
| 内存使用量 | 实际物理内存 | |
| 网络流量 | 容器网络吞吐量 | |
| 磁盘读写IO | 容器磁盘IO | |
| 资源饱和度 | CPU节流时间 | 超过limit被限制时间 |
| OOM Kill事件 | 内存超限被杀死 | |
| 健康检查 | livenessProbe 状态 | 存活检查失败次数 |
| readinessProbe 状态 | 就绪检查失败次数 |
五、网络组件
| 组件 | 关键指标 | 说明 |
|---|---|---|
| CoreDNS | DNS查询速率 | 每秒请求数 |
| DNS查询延迟（99分位） | 请求响应耗时 | |
| DNS错误率 | 超时、NXDOMAIN等 | |
| 与apiserver通信错误 | 后端连接失败 | |
| CNI插件 | 网络策略数量 | 策略过多影响性能 |
| 策略执行延迟 | 网络策略生效时间 | |
| BPF映射大小（Cilium） | eBPF内部结构大小 | |
| Service | Endpoints数量 | 后端Pod是否正常 |
| 服务连通性 | 端到端连通检查 |
六、存储
| 监控维度 | 关键指标 | 说明 |
|---|---|---|
| PV/PVC状态 | 卷状态 | Bound/Pending/Failed |
| PVC绑定延迟 | 创建到绑定PV耗时 | |
| 存储配额使用率 | PVC已用容量/总容量 | |
| 存储性能 | 存储IO延迟 | 读写操作延迟 |
| 存储IOPS | 每秒读写次数 | |
| 存储吞吐量 | 每秒读写字节数 | |
| CSI插件 | CSI调用延迟 | 存储插件接口响应时间 |
| CSI调用错误率 | 挂载/卸载/创建卷失败次数 |
七、扩展组件
| 监控维度 | 关键指标 | 说明 |
|---|---|---|
| Ingress Controller | 请求速率 | 每秒流入请求数 |
| 后端错误率（5xx） | 上游服务5xx比例 | |
| 响应延迟 | 请求处理耗时 | |
| TLS握手耗时 | HTTPS建立连接耗时 | |
| 活跃连接数 | 并发连接数 | |
| 外部负载均衡器 | 请求/错误率 | 请求量、错误率、健康状态 |
| 后端健康状态 | 后端节点可用性 |