K8s集群遷移容器應用追蹤CPU過高排查配置實操技術棧Kubernetes v1.32.13 Rocky Linux 8.6 OpenTelemetry Operator Java Agent Sidecar/Init Container操作環(huán)境 / 對接原理 / 詳細步驟 / 完整命令 / 配置文件 / 驗證流程 / 排錯方案K8s集群遷移容器應用追蹤CPU過高排查配置實操操作環(huán)境K8s 集群版本 v1.32.13應用部署于 default 命名空間鏈路追蹤后端 Jaeger v1.55.x OpenTelemetry Collector部署于 observability容器運行時 Containerd 1.7.xDocker 鏡像接入方式Init Container 掛載 Agent、Sidecar 采集、環(huán)境變量注入、Admission Webhook 自動注入多語言Java字節(jié)碼增強、Go/Node.js/Python/.NETSDK 埋點Agent 版本OpenTelemetry Java Agent v2.1.0、SkyWalking Agent v9.7.0、Pinpoint Agent v2.5.3對接原理容器應用追蹤適配是將鏈路追蹤 Agent/SDK 集成到 K8s 容器化應用中的一系列技術方案。核心接入方式包括Init Container初始化容器下載并掛載 Agent 到共享卷應用容器通過 -javaagent 加載、Sidecar邊車容器運行采集器通過共享卷或網(wǎng)絡與應用通信、環(huán)境變量注入通過 JAVA_TOOL_OPTIONS/OTEL_* 環(huán)境變量自動激活 Agent、Admission WebhookMutatingWebhook 自動為 Pod 注入 Init Container/Agent/環(huán)境變量無需修改應用配置。Java 應用通過字節(jié)碼增強Java Agent實現(xiàn)無侵入埋點自動攔截 Spring/Tomcat/DB/Cache/MQ 等組件。Go/Node.js/Python/.NET 應用通過 OpenTelemetry SDK 手動或半自動埋點。多容器 Pod 需確保 Agent 掛載到正確容器TraceID 在容器間通過共享卷或網(wǎng)絡傳遞。K8s 中通過 ConfigMap 管理 Agent 配置Secret 管理追蹤后端憑據(jù)Resource 限制控制 Agent 資源開銷。詳細步驟1. 容器追蹤基礎接入# 最簡方式OpenTelemetry Operator 自動注入 kubectl label namespace default instrumentation.opentelemetry.io/inject-javatrue # 部署應用無需修改 kubectl apply -f order-service.yaml # 驗證 kubectl logs deployment/order-service | grep -i opentelemetry2. 容器追蹤驗證# 檢查 Pod 注入情況 kubectl get pod -l apporder-service -o yaml | grep -A10 initContainers # 檢查環(huán)境變量 kubectl exec deployment/order-service -- env | grep OTEL | sort # 發(fā)送請求 curl http://order-service:8080/api/test # Jaeger UI 查看 Trace驗證流程# 1. 驗證 Agent 注入 kubectl get pod -l apporder-service -o jsonpath{.items[*].spec.initContainers[*].name} # 顯示 Agent Init Container 名稱 ? # 2. 驗證 Agent 加載 kubectl logs deployment/order-service | grep -iE opentelemetry|skywalking|pinpoint|agent # 顯示 Agent 啟動日志 ? # 3. 驗證環(huán)境變量 kubectl exec deployment/order-service -- env | grep -E OTEL|SW_|PINPOINT|JAVA_TOOL | sort # 顯示追蹤相關環(huán)境變量 ? # 4. 驗證 Trace 上報 curl http://order-service:8080/api/test # Jaeger/SkyWalking/Zipkin UI 搜索 order-service有 Trace 數(shù)據(jù) ? # 5. 驗證跨服務調用鏈 # 調用入口服務檢查完整調用鏈包含所有服務 ? # 6. 驗證資源使用 kubectl top pod -l apporder-service # Agent 開銷在合理范圍內CPU5%, 內存200MB排錯方案Agent 不加載檢查 JAVA_TOOL_OPTIONS 環(huán)境變量Agent jar 是否正確掛載到共享卷Init Container 是否成功執(zhí)行應用啟動命令是否覆蓋 JAVA_TOOL_OPTIONS應用啟動失敗檢查 Agent 版本與 JDK 版本兼容性Agent 與其他 Java Agent 沖突如 Arthas/JRebel增加啟動超時時間查看啟動錯誤日志OOM 內存溢出增加容器內存 limits限制 Agent JVM 內存OTEL_JAVAAGENT_JVM_ARGS降低采樣率減少 Span 標簽禁用 Metrics/Logs 導出Trace 不上報檢查 OTEL_EXPORTER_OTLP_ENDPOINT/SW_AGENT_COLLECTOR_BACKEND_SERVICES 地址網(wǎng)絡是否可達kubectl exec curl 測試Collector/后端是否正常采樣率是否為0Init Container 失敗檢查 Agent 鏡像是否可拉取cp 命令路徑是否正確共享卷掛載路徑是否一致Init Container 資源是否充足Sidecar 端口沖突檢查 Sidecar 容器端口是否與主應用沖突修改 Collector 配置端口檢查 Pod 內 localhost 通信自動注入不生效檢查命名空間/Pod 注解是否正確Operator 是否正常運行MutatingWebhookConfiguration 是否存在Pod 是否在注入后創(chuàng)建需重啟性能開銷大降低采樣率使用異步批量上報禁用不需要的插件限制 Agent 資源使用 DaemonSet Collector 聚合減少連接按需啟用 Metrics/Logs K8s集群遷移容器應用追蹤CPU過高排查配置實操
K8s集群遷移容器應用追蹤CPU過高排查配置實操技術棧Kubernetes v1.32.13 Rocky Linux 8.6 OpenTelemetry Operator Java Agent Sidecar/Init Container操作環(huán)境 / 對接原理 / 詳細步驟 / 完整命令 / 配置文件 / 驗證流程 / 排錯方案K8s集群遷移容器應用追蹤CPU過高排查配置實操操作環(huán)境K8s 集群版本 v1.32.13應用部署于 default 命名空間鏈路追蹤后端 Jaeger v1.55.x OpenTelemetry Collector部署于 observability容器運行時 Containerd 1.7.xDocker 鏡像接入方式Init Container 掛載 Agent、Sidecar 采集、環(huán)境變量注入、Admission Webhook 自動注入多語言Java字節(jié)碼增強、Go/Node.js/Python/.NETSDK 埋點Agent 版本OpenTelemetry Java Agent v2.1.0、SkyWalking Agent v9.7.0、Pinpoint Agent v2.5.3對接原理容器應用追蹤適配是將鏈路追蹤 Agent/SDK 集成到 K8s 容器化應用中的一系列技術方案。核心接入方式包括Init Container初始化容器下載并掛載 Agent 到共享卷應用容器通過 -javaagent 加載、Sidecar邊車容器運行采集器通過共享卷或網(wǎng)絡與應用通信、環(huán)境變量注入通過 JAVA_TOOL_OPTIONS/OTEL_* 環(huán)境變量自動激活 Agent、Admission WebhookMutatingWebhook 自動為 Pod 注入 Init Container/Agent/環(huán)境變量無需修改應用配置。Java 應用通過字節(jié)碼增強Java Agent實現(xiàn)無侵入埋點自動攔截 Spring/Tomcat/DB/Cache/MQ 等組件。Go/Node.js/Python/.NET 應用通過 OpenTelemetry SDK 手動或半自動埋點。多容器 Pod 需確保 Agent 掛載到正確容器TraceID 在容器間通過共享卷或網(wǎng)絡傳遞。K8s 中通過 ConfigMap 管理 Agent 配置Secret 管理追蹤后端憑據(jù)Resource 限制控制 Agent 資源開銷。詳細步驟1. 容器追蹤基礎接入# 最簡方式OpenTelemetry Operator 自動注入 kubectl label namespace default instrumentation.opentelemetry.io/inject-javatrue # 部署應用無需修改 kubectl apply -f order-service.yaml # 驗證 kubectl logs deployment/order-service | grep -i opentelemetry2. 容器追蹤驗證# 檢查 Pod 注入情況 kubectl get pod -l apporder-service -o yaml | grep -A10 initContainers # 檢查環(huán)境變量 kubectl exec deployment/order-service -- env | grep OTEL | sort # 發(fā)送請求 curl http://order-service:8080/api/test # Jaeger UI 查看 Trace驗證流程# 1. 驗證 Agent 注入 kubectl get pod -l apporder-service -o jsonpath{.items[*].spec.initContainers[*].name} # 顯示 Agent Init Container 名稱 ? # 2. 驗證 Agent 加載 kubectl logs deployment/order-service | grep -iE opentelemetry|skywalking|pinpoint|agent # 顯示 Agent 啟動日志 ? # 3. 驗證環(huán)境變量 kubectl exec deployment/order-service -- env | grep -E OTEL|SW_|PINPOINT|JAVA_TOOL | sort # 顯示追蹤相關環(huán)境變量 ? # 4. 驗證 Trace 上報 curl http://order-service:8080/api/test # Jaeger/SkyWalking/Zipkin UI 搜索 order-service有 Trace 數(shù)據(jù) ? # 5. 驗證跨服務調用鏈 # 調用入口服務檢查完整調用鏈包含所有服務 ? # 6. 驗證資源使用 kubectl top pod -l apporder-service # Agent 開銷在合理范圍內CPU5%, 內存200MB排錯方案Agent 不加載檢查 JAVA_TOOL_OPTIONS 環(huán)境變量Agent jar 是否正確掛載到共享卷Init Container 是否成功執(zhí)行應用啟動命令是否覆蓋 JAVA_TOOL_OPTIONS應用啟動失敗檢查 Agent 版本與 JDK 版本兼容性Agent 與其他 Java Agent 沖突如 Arthas/JRebel增加啟動超時時間查看啟動錯誤日志OOM 內存溢出增加容器內存 limits限制 Agent JVM 內存OTEL_JAVAAGENT_JVM_ARGS降低采樣率減少 Span 標簽禁用 Metrics/Logs 導出Trace 不上報檢查 OTEL_EXPORTER_OTLP_ENDPOINT/SW_AGENT_COLLECTOR_BACKEND_SERVICES 地址網(wǎng)絡是否可達kubectl exec curl 測試Collector/后端是否正常采樣率是否為0Init Container 失敗檢查 Agent 鏡像是否可拉取cp 命令路徑是否正確共享卷掛載路徑是否一致Init Container 資源是否充足Sidecar 端口沖突檢查 Sidecar 容器端口是否與主應用沖突修改 Collector 配置端口檢查 Pod 內 localhost 通信自動注入不生效檢查命名空間/Pod 注解是否正確Operator 是否正常運行MutatingWebhookConfiguration 是否存在Pod 是否在注入后創(chuàng)建需重啟性能開銷大降低采樣率使用異步批量上報禁用不需要的插件限制 Agent 資源使用 DaemonSet Collector 聚合減少連接按需啟用 Metrics/Logs