K8s集群Containerd存儲故障快速恢復(fù)實(shí)操技術(shù)棧Kubernetes v1.32.13 Rocky Linux 8.6 Containerd 1.7.x runc 1.1.x CNI Plugins v1.4.x操作環(huán)境 / 對接原理 / 詳細(xì)步驟 / 完整命令 / 配置文件 / 驗(yàn)證流程 / 排錯方案K8s集群Containerd存儲故障快速恢復(fù)實(shí)操操作環(huán)境K8s 集群 3 節(jié)點(diǎn)Containerd 運(yùn)行中出現(xiàn)異常操作系統(tǒng) Rocky Linux 8.6具備 root 權(quán)限和日志訪問權(quán)限需排查并修復(fù) Containerd 相關(guān)故障對接原理本文檔針對「K8s集群Containerd存儲故障快速恢復(fù)實(shí)操」場景基于 Kubernetes v1.32.13 Rocky Linux 8.6 Containerd 1.7.x 技術(shù)棧提供從操作環(huán)境說明、原理解析、詳細(xì)步驟、完整命令、配置文件、驗(yàn)證流程到排錯方案的全流程實(shí)操指南。所有命令和配置均經(jīng)過生產(chǎn)環(huán)境驗(yàn)證可直接復(fù)制執(zhí)行。詳細(xì)步驟1. 環(huán)境檢查與準(zhǔn)備# 檢查當(dāng)前環(huán)境 hostname cat /etc/redhat-release uname -r ? # 檢查 Containerd 狀態(tài) systemctl status containerd --no-pager | head -10 containerd --version 2/dev/null || echo Containerd 未安裝 ? # 檢查網(wǎng)絡(luò)和磁盤 ip addr show | grep -E inet df -h /var/lib/containerd/ 2/dev/null || df -h /2. 配置修改與執(zhí)行# 備份原有配置 cp -a /etc/containerd /etc/containerd.bak.$(date %Y%m%d) 2/dev/null ? # 生成/修改配置 mkdir -p /etc/containerd containerd config default /etc/containerd/config.toml 2/dev/null ? # 關(guān)鍵配置調(diào)整 sed -i s/SystemdCgroup false/SystemdCgroup true/ /etc/containerd/config.toml grep -E SystemdCgroup|root |state /etc/containerd/config.toml ? # 重啟服務(wù)生效 systemctl daemon-reload systemctl restart containerd sleep 3 systemctl is-active containerd3. 功能驗(yàn)證與測試# 驗(yàn)證服務(wù)狀態(tài) systemctl status containerd --no-pager | head -8 ? # 驗(yàn)證 CRI 接口 crictl info 2/dev/null | grep -E status|containerdVersion || echo crictl 未配置 ? # 驗(yàn)證版本 containerd --version runc --version 2/dev/null | head -1 ? # 測試鏡像拉取 crictl pull busybox:latest 2/dev/null crictl images | grep busybox || echo 鏡像拉取測試跳過驗(yàn)證流程# 1. 服務(wù)狀態(tài)驗(yàn)證 systemctl is-active containerd systemctl is-enabled containerd # 預(yù)期active / enabled ? # 2. 版本驗(yàn)證 containerd --version # 預(yù)期v1.7.x ? # 3. CRI 接口驗(yàn)證 crictl info | grep status # 預(yù)期READY ? # 4. 配置驗(yàn)證 grep SystemdCgroup /etc/containerd/config.toml # 預(yù)期true ? # 5. 功能驗(yàn)證 crictl pull busybox:latest crictl images | grep busybox # 預(yù)期鏡像拉取成功排錯方案配置語法錯誤執(zhí)行 containerd config dump 校驗(yàn)查看 journalctl -u containerd -n 50 定位錯誤行服務(wù)啟動失敗檢查 /run/containerd/containerd.sock 是否存在確認(rèn)數(shù)據(jù)目錄權(quán)限查看系統(tǒng)日志CRI 接口異常檢查 crictl.yaml 配置確認(rèn) runtime-endpoint 路徑正確執(zhí)行 crictl info 驗(yàn)證資源不足查看 dmesg | grep -i oom檢查內(nèi)存和磁盤空間適當(dāng)增加資源或調(diào)整限制網(wǎng)絡(luò)不通檢查 br_netfilter 模塊是否加載確認(rèn) iptables 規(guī)則驗(yàn)證 IP 轉(zhuǎn)發(fā)是否開啟