“網(wǎng)絡又斷了你去重啟一下路由器。”這是我做網(wǎng)絡運維這些年聽到最多的一句話。前段時間我統(tǒng)計了一下手頭處理過的工單真正靠重啟解決問題的不到兩成多數(shù)故障在重啟后確實能撐一陣子但過幾天又復發(fā)有些甚至因為反復重啟把故障隱患拖成了設備損壞。今天想聊的網(wǎng)絡故障分層排查本質(zhì)上就是改掉這個條件反射——不是反對重啟而是反對在信息不足的情況下把重啟當成排查手段。分層排查的思路并不復雜把網(wǎng)絡按層次拆開根據(jù)現(xiàn)象先把范圍縮小從底層往上層一層層驗證用每個層次獨有的證據(jù)來圈定故障根因。這套方法不管你是管家里的 WiFi還是維護幾百人的辦公網(wǎng)絡都適用。盲目重啟治標不治本分層排查才是讓問題徹底暴露出來的正道。1. 別急著重啟先搞清楚“分層”到底在分什么1.1 盲目重啟為什么是排查的大忌很多人習慣一斷網(wǎng)就重啟設備這個動作在家庭場景里偶爾奏效是因為家用路由器的 CPU 和內(nèi)存性能有限長時間運行后 NAT 會話表被占滿、WiFi 無線信道被鄰居干擾、DHCP 租約表混亂重啟確實能把這些臨時狀態(tài)清掉。但在企業(yè)環(huán)境里情況完全不一樣核心交換機、防火墻、上網(wǎng)行為管理這些設備一重啟整網(wǎng)連接全部斷開正在跑的業(yè)務、數(shù)據(jù)庫連接、視頻會議全部中斷影響面比故障本身還大。更麻煩的是重啟會清空設備內(nèi)存里的臨時狀態(tài)包括 ARP 緩存、MAC 地址表、NAT 會話表、DHCP 租約信息。這些恰恰是定位故障最重要的證據(jù)。比如一個 MAC 地址在交換機上不停漂移可能顯示有環(huán)路NAT 會話表滿可能是內(nèi)網(wǎng)有設備在瘋狂發(fā)起連接。你手一快重啟了這些線索全沒了。層疊的故障癥狀就像犯罪現(xiàn)場重啟等于把所有痕跡都擦掉了。即便是在家里我也建議先做一件事再決定要不要重啟觀察設備指示燈和故障特征。是電源燈不亮還是 Internet 燈紅燈是所有設備都斷還是只有手機斷是有線斷還是無線斷這些信息記下來比反復插拔電源有價值得多。1.2 用一張“分層認知地圖”替代瞎猜網(wǎng)絡分層不是考試里的概念它本質(zhì)上是把一套復雜的通信系統(tǒng)拆成幾個相對獨立的模塊每一層只負責自己的事。以 TCP/IP 模型為例從下往上大概是物理層管電信號和光信號數(shù)據(jù)鏈路層管同一鏈路內(nèi)的幀轉發(fā)網(wǎng)絡層管 IP 尋址和路由傳輸層管端口和會話應用層管用戶實際看到的應用協(xié)議。我習慣用一個寄快遞的類比來解釋分層物理層就是道路和車輛鏈路層是快遞分揀站網(wǎng)絡層是收件地址的規(guī)劃系統(tǒng)傳輸層是快遞簽收確認應用層是收件人打開包裹使用里面的東西。包裹寄不到可能是路塌了物理層可能是分揀站分錯了鏈路層可能是地址寫錯網(wǎng)絡層也可能是收件人電話打不通傳輸層還可能是包裹里的東西本身就壞了應用層。每一層的問題要用不同的工具去查順序也很重要從底下往上看下層不通上層必然不通。這套認知的價值在于當你說“網(wǎng)絡通”或“網(wǎng)絡不通”的時候得先明確你到底在說哪一層。Ping 通網(wǎng)關只代表網(wǎng)絡層到網(wǎng)關沒問題不代表應用層沒問題能上微信但打不開網(wǎng)頁可能根本不是網(wǎng)絡故障而是 DNS 或代理的問題。分層的目的就是逼你把這個模糊的“不通”拆成具體可驗證的“哪一層不通”。2. 信息采集故障現(xiàn)象里藏著的定位密碼2.1 先問三個問題影響范圍、時間特征、最近改動接到故障報告我不會立刻跑過去看設備而是先問三個問題。第一個是影響范圍是一個人斷網(wǎng)一個辦公室斷網(wǎng)還是全公司都斷范圍越廣越說明問題出在共享的骨干設備或出口鏈路上范圍越小越可能是終端、網(wǎng)線、接入端口的問題。第二個是時間特征是突然就斷了還是斷斷續(xù)續(xù)已經(jīng)好幾天是在某個固定時間點必現(xiàn)還是完全隨機固定時間點和周期性任務往往有關聯(lián)比如定時備份、半夜的病毒掃描、設備定時重啟。第三個是最近有沒有改動有沒有加過新的交換機、改過 VLAN、調(diào)過防火墻策略、換過 IP 地址段網(wǎng)絡故障里相當大一部分是變更引入的回歸問題。這三個問題不是聊天是在建立故障的“時空坐標系”。我見過不少排查半天最后發(fā)現(xiàn)是前一天有人把一根跳線從核心交換機上拔掉插到了別的設備上這種問題如果一開始就問“最近動過什么”五分鐘就能定位。雖然很多時候用戶會說“什么都