
1. 问题现象与背景分析上周在测试环境遇到一个典型的Kubernetes网络故障当我们从虚拟机快照恢复集群节点后发现该节点上的Pod全部卡在ContainerCreating状态kubelet日志持续报错calico/node is not ready: BIRD is not ready。更诡异的是尝试手动删除calico-node容器时竟然返回Unauthorized错误。作为刚接触Kubernetes半年的运维这个连环坑让我折腾了整整两天。现在把完整的排查思路和解决方案记录下来希望能帮到遇到类似问题的朋友。先交代下环境背景Kubernetes集群版本v1.22.5网络插件Calico v3.21.4运行时containerd 1.5.8虚拟化平台某主流云厂商的KVM虚拟机故障触发操作对Worker节点做快照备份后回滚2. 问题排查全流程2.1 初步现象确认首先通过kubectl describe pod查看卡住的Pod事件Events: Warning FailedCreatePodSandBox 3m ago kubelet Failed to create pod sandbox: rpc error: code Unknown desc failed to setup network for sandbox xxx: error getting ClusterInformation: connection is unauthorized: Unauthorized同时检查calico-node日志bird: BGP: Unexpected connect from unknown address 10.0.0.5 (port 34320) levelerror msgUnable to connect to BIRDv4 socket: dial unix /var/run/calico/bird.ctl: connect: connection refused2.2 关键线索分析这里有两个关键异常点网络插件授权失败Calico组件无法通过Kubernetes API Server的认证BGP协议异常BIRD进程拒绝来自集群内部IP的连接经过与正常节点的对比发现恢复快照后存在以下差异/var/lib/calico目录下的证书文件时间戳与其他节点不一致kubelet服务日志中有大量证书轮换相关的错误iptables规则中缺少Calico相关的链2.3 根因定位根本原因是虚拟机快照回滚导致的多系统状态不一致证书时效性问题kubelet和Calico使用的客户端证书在快照后已过期但API Server的CA证书已更新网络状态不一致快照回滚后节点的IPVS规则和路由表与集群当前状态不匹配BGP会话中断Calico的BIRD进程认为对等体IP是未知地址触发协议保护机制3. 解决方案与操作步骤3.1 临时恢复方案对于生产环境紧急恢复可以按以下步骤操作# 1. 驱逐节点上的Pod kubectl drain node-name --ignore-daemonsets --delete-emptydir-data # 2. 清理Calico残留进程 sudo pkill -9 calico-node sudo rm -rf /var/run/calico # 3. 重置网络命名空间 sudo ip link delete cali0 sudo ip link delete tunl0 # 4. 删除kubelet证书并重启 sudo rm /var/lib/kubelet/pki/kubelet-client-* sudo systemctl restart kubelet # 5. 重建Calico DaemonSet kubectl delete pod -n kube-system -l k8s-appcalico-node3.2 永久解决方案为避免再次出现类似问题建议采取以下预防措施快照策略优化对Kubernetes节点做快照前先执行kubectl cordon隔离节点确保所有Pod已迁移到其他节点停止kubelet和容器运行时服务后再创建快照证书管理增强# kubelet配置示例/var/lib/kubelet/config.yaml authentication: x509: clientCAFile: /etc/kubernetes/pki/ca.crt authorization: mode: Webhook rotateCertificates: trueCalico配置调整# calico-config ConfigMap修改 data: typha_service_name: none ipam: type: calico-ipam cni_network_config: |- { name: k8s-pod-network, cniVersion: 0.3.1, plugins: [ { type: calico, log_level: info, datastore_type: kubernetes, mtu: 1440, ipam: { type: calico-ipam }, policy: { type: k8s }, kubernetes: { kubeconfig: /etc/cni/net.d/calico-kubeconfig } } ] }4. 深度原理剖析4.1 Calico认证机制Calico组件通过以下两种方式与Kubernetes API交互直接模式使用挂载的ServiceAccount TokenTypha代理通过Typha服务集中转发请求在快照回滚场景下ServiceAccount Token的JWT签名密钥已变更但回滚的节点仍使用旧的Token导致Unauthorized错误。4.2 BIRD协议恢复机制Calico使用BIRD实现BGP路由分发其会话保持机制包括对等体IP白名单校验会话状态超时默认90秒路由刷新间隔默认30秒快照回滚导致两端会话状态不一致触发BIRD的协议保护机制。5. 经验总结与避坑指南关键发现虚拟机快照不是Kubernetes节点的理想备份方案证书轮换期间做快照极易导致认证问题Calico的网络状态维护比想象中脆弱推荐做法生产环境使用集群自动伸缩代替节点级恢复必须做快照时采用冻结文件系统内存转储的完整快照定期验证Calico的Felix和BIRD组件健康状态诊断技巧# 检查Calico证书状态 openssl x509 -in /var/lib/calico/nodename.crt -noout -dates # 验证BIRD连接 calicoctl node status # 检查IPAM分配情况 calicoctl ipam show应急工具包常备Calico的紧急清理脚本#!/bin/bash kubectl delete -n kube-system pod -l k8s-appcalico-node docker rm -f $(docker ps -a | grep calico | awk {print $1}) rm -rf /var/lib/cni/networks/calico/* ip link set cni0 down ip link delete cni0这个案例让我深刻理解到在云原生环境下传统的虚拟机备份方式需要特别谨慎。现在我们的运维手册里已经新增了专门的Kubernetes节点快照规范章节。对于刚接触Kubernetes的同行建议把网络插件的故障排查作为重点学习内容毕竟这是最容易出问题的环节之一。