Kubernetes 排障

14:02  kubectl get pods → 新版本的 web-7d9f8-* 全部 Pending（不是 CrashLoop，先排除应用本身）
14:03  kubectl describe pod web-7d9f8 → Events 尾部：
       "0/6 nodes are available: 6 insufficient memory."
       —— 集群内存不够，方向从"应用问题"切换到"资源问题"
14:05  kubectl top nodes → 三台节点内存都在 90% 上下
14:06  kubectl get pods -A --sort-by=.status.containerStatuses[0].lastState.terminated
       → 发现一个失控的日志采集器把内存吃爆
14:08  缩掉测试环境的非关键 Deployment 腾内存 → 新 Pod 调度成功
14:10  新版本又变 CrashLoopBackOff → kubectl logs --previous 看崩溃前的日志
14:12  日志显示数据库连接失败——迁移改了表结构，旧配置连的是只读副本
14:15  修配置 → Pod 起来 → 业务验证 → 复盘归档

Pod 提交后的一生：
Pending ──调度成功──→ 容器创建 ──镜像拉取──→ Running ──探针通过──→ Ready
   │                    │                      │
   │ 调度失败            │ 镜像拉取失败           │ 崩溃/探针失败
   ▼                    ▼                      ▼
 （卡在 Pending）   ImagePullBackOff        CrashLoopBackOff
                                              OOMKilled（退出码 137）

# 第一层：describe —— 全景 + 事件时间线（90% 的"起不来"在这定位）
kubectl describe pod web-7d9f8
# 重点读两段：Events（时间序的事件）与 Container Statuses（退出码/重启次数）

# 第二层：events —— 集群视角的事件流（describe 只看一个对象时用它）
kubectl get events --sort-by=.lastTimestamp -n prod
# --for 按对象过滤；Warning 事件优先看

# 第三层：logs —— 应用自己在说什么
kubectl logs web-7d9f8                 # 当前容器的日志
kubectl logs web-7d9f8 --previous      # 上一次崩溃前的日志（CrashLoop 必看）
kubectl logs web-7d9f8 -c sidecar      # 多容器 Pod 指定容器
kubectl logs -l app=web --all-containers --tail=100   # 按标签聚合

FailedScheduling: 0/6 nodes are available: 6 insufficient memory.
  → 资源不足；若报 "node(s) had untolerated taint" 则是污点/容忍问题
Failed to pull image "xxx": not found
  → 镜像名/tag 错，或私有仓库没有 imagePullSecrets
Readiness probe failed: HTTP 503
  → 应用没就绪（连不上依赖/还在预热），进容器自查
Back-off restarting failed container
  → CrashLoop 确认，转 logs --previous

kubectl logs web-xxx --previous     # 先看崩溃现场
kubectl describe pod web-xxx        # 确认退出码

kubectl debug -it web-7d9f8 \
  --image=busybox:1.36 \
  --target=web \
  -- sh
# 进入后与目标容器共享进程视图与网络命名空间：
ps aux          # 能看到 web 进程
wget -qO- localhost:8080/healthz    # 在同一网络空间里探活
# 排查完 exit，临时容器自动清理，目标容器全程不受影响

kubectl get nodes                       # NotReady 的节点先找出来
kubectl describe node node-3            # Events 与 Conditions 是关键
# 常见 Conditions 异常：
# MemoryPressure / DiskPressure   → 资源压力（df -h 看 /var/lib 容器目录）
# KubeletNotReady: container runtime network not ready
#   → CNI 插件挂了，kube-system 里查 calico/cilium Pod

kubectl get pods -A --field-selector=status.phase!=Running   # 找出所有异常 Pod
kubectl describe pod <p> -n <ns>                              # 全景+事件
kubectl get events -n <ns> --sort-by=.lastTimestamp           # 事件流
kubectl logs <p> --previous                                   # 崩溃前日志
kubectl exec -it <p> -- sh                                    # 进容器（有 shell 时）
kubectl debug -it <p> --image=busybox --target=<c> -- sh      # 无 shell 时
kubectl top pods --sort-by=memory | head                      # 内存大户
kubectl get endpoints <svc>                                   # Service 后端有没有
kubectl rollout status deploy/web                             # 发布卡在哪
kubectl get pod <p> -o jsonpath='{.status.containerStatuses[0].lastState}'  # 上次退出详情