先做個(gè)小測(cè)試。下面這個(gè)問(wèn)題很多人學(xué)完整個(gè)計(jì)算機(jī)網(wǎng)絡(luò)課程也未必能一句話說(shuō)清協(xié)議到底是什么你大概能背出幾個(gè)名詞TCP、UDP、HTTP、IP……也能說(shuō)出來(lái)協(xié)議就是約定。但要是再追問(wèn)一句它到底怎么實(shí)現(xiàn)跟代碼有什么關(guān)系——很多人就卡住了。這篇文章的目標(biāo)就是在接觸任何具體協(xié)議之前先把協(xié)議這個(gè)概念的底層邏輯徹底講透。先立框架再學(xué)細(xì)節(jié)后面學(xué) TCP、IP、HTTP 的時(shí)候你會(huì)發(fā)現(xiàn)自己比別人快得多。目錄一、計(jì)算機(jī)網(wǎng)絡(luò)發(fā)展歷程1.獨(dú)立模式2.網(wǎng)絡(luò)互聯(lián)階段3.局域網(wǎng) LAN?編輯4.廣域網(wǎng) WAN二、通信的前提兩臺(tái)計(jì)算機(jī)必須說(shuō)同一種語(yǔ)言三、從約定到協(xié)議電話鈴聲里的道理四、單靠約定不夠語(yǔ)言不通與標(biāo)準(zhǔn)化的必然五、拓展誰(shuí)來(lái)制定標(biāo)準(zhǔn)從 IEEE 到 W3C、3GPP1.國(guó)際標(biāo)準(zhǔn)化組織2.區(qū)域與行業(yè)組織3.互聯(lián)網(wǎng)工程組織4.專注某一領(lǐng)域的行業(yè)大佬5.公司6.官方機(jī)構(gòu)六、協(xié)議的工程靈魂為什么一定要分層1.一個(gè)最簡(jiǎn)單的分層例子2.拓展分層帶來(lái)的四個(gè)現(xiàn)實(shí)好處七、拓展OSI 七層到底分成哪七層八、理論 vs 現(xiàn)實(shí)為什么最終贏家是 TCP/IP1.TCP/IP 五層或四層模型速查2.一套經(jīng)典的分層 × 硬件對(duì)應(yīng)關(guān)系九、用一段代碼揭開(kāi)本質(zhì)協(xié)議就是雙方都認(rèn)識(shí)的結(jié)構(gòu)化數(shù)據(jù)類(lèi)型1.于是協(xié)議有了一個(gè)非常樸素、也非常本質(zhì)的定義2.快遞單類(lèi)比十、結(jié)語(yǔ)1.一句話總結(jié)2.一張思維導(dǎo)圖一、計(jì)算機(jī)網(wǎng)絡(luò)發(fā)展歷程計(jì)算機(jī)網(wǎng)絡(luò)的演進(jìn)分為四個(gè)階段1.獨(dú)立模式計(jì)算機(jī)彼此孤立數(shù)據(jù)互不互通多人使用只能排隊(duì)等待處理任務(wù)使用效率極低。2.網(wǎng)絡(luò)互聯(lián)階段多臺(tái)計(jì)算機(jī)接入服務(wù)器實(shí)現(xiàn)數(shù)據(jù)集中共享用戶可自由切換業(yè)務(wù)擺脫排隊(duì)限制。3.局域網(wǎng) LAN借助交換機(jī)、路由器連接大量終端完成小范圍設(shè)備組網(wǎng)通信。4.廣域網(wǎng) WAN將世界各地的局域網(wǎng)相互連通實(shí)現(xiàn)遠(yuǎn)距離互聯(lián)。局域網(wǎng)與廣域網(wǎng)是相對(duì)概念大型廣域網(wǎng)也可以視作規(guī)模超大的局域網(wǎng)二者共同組成現(xiàn)代互聯(lián)網(wǎng)。二、通信的前提兩臺(tái)計(jì)算機(jī)必須說(shuō)同一種語(yǔ)言計(jì)算機(jī)為什么需要網(wǎng)絡(luò)因?yàn)槿耸菂f(xié)作的動(dòng)物而計(jì)算機(jī)是人制造的工具——人要協(xié)同工作計(jì)算機(jī)就必須互聯(lián)所以網(wǎng)絡(luò)的出現(xiàn)是必然的。但把兩臺(tái)計(jì)算機(jī)用網(wǎng)線連起來(lái)并不等于它們能通信。想想看物理介質(zhì)上傳輸?shù)氖枪庑盘?hào)和電信號(hào)信號(hào)通過(guò)頻率和強(qiáng)弱來(lái)表示 0 和 1 這樣的信息可光是傳出去一串 0/1 沒(méi)有任何意義——對(duì)方根本不知道你在說(shuō)什么。就像兩個(gè)人打電話聲音能傳過(guò)去但如果一個(gè)說(shuō)中文、一個(gè)說(shuō)葡萄牙語(yǔ)那就是雞同鴨講。所以通信的前提是雙方必須共享一套語(yǔ)言規(guī)則——數(shù)據(jù)按什么格式組織、先發(fā)什么后發(fā)什么、誰(shuí)代表地址、誰(shuí)代表內(nèi)容。這套規(guī)則就是協(xié)議最初的樣子。三、從約定到協(xié)議電話鈴聲里的道理理解協(xié)議最好的方式是從生活里找類(lèi)比。打電話的例子你給朋友打電話雙方約定電話鈴響幾聲代表某個(gè)信號(hào)——比如響一聲掛斷代表到了響兩聲掛斷代表先走。這個(gè)響幾聲的約定就是一種最樸素的口頭協(xié)議。把場(chǎng)景升級(jí)到計(jì)算機(jī)世界計(jì)算機(jī)之間要約定信號(hào)用頻率表示還是用強(qiáng)弱表示數(shù)據(jù)的格式怎么定義哪些位是地址哪些位是數(shù)據(jù)數(shù)據(jù)多長(zhǎng)傳完之后如何告訴對(duì)方我說(shuō)完了這些必須提前約定好否則對(duì)方收到的只是一堆毫無(wú)意義的 0/1。所以協(xié)議的第一層理解它是通信雙方共同遵守的一套約定。四、單靠約定不夠語(yǔ)言不通與標(biāo)準(zhǔn)化的必然問(wèn)題來(lái)了只要通信的兩臺(tái)主機(jī)私下約定好協(xié)議就可以了嗎答案是不行。你用頻率表示 0/1我用強(qiáng)弱表示 0/1——就好比你說(shuō)中國(guó)話、我說(shuō)葡萄牙語(yǔ)。即便我們遵守的是同一套通信流程都是先說(shuō)地址再說(shuō)數(shù)據(jù)底層語(yǔ)言都不同定好的協(xié)議也形同虛設(shè)雙方依舊無(wú)法正常通信。所以一個(gè)完善的協(xié)議必須包含更多、更細(xì)致的規(guī)則并且讓參與通信的每一方都遵守。再把視角拉遠(yuǎn)一點(diǎn)你會(huì)發(fā)現(xiàn)標(biāo)準(zhǔn)化是必然的計(jì)算機(jī)生產(chǎn)廠商有很多操作系統(tǒng)有很多網(wǎng)絡(luò)硬件設(shè)備還是有很多。如何讓這些不同廠商生產(chǎn)的設(shè)備能順暢地互相通信唯一的出路是有人站出來(lái)定一個(gè)共同標(biāo)準(zhǔn)大家都遵守。這個(gè)共同標(biāo)準(zhǔn)才是我們常說(shuō)的網(wǎng)絡(luò)協(xié)議。五、拓展誰(shuí)來(lái)制定標(biāo)準(zhǔn)從 IEEE 到 W3C、3GPP能定標(biāo)準(zhǔn)的基本都是業(yè)界公認(rèn)、有江湖地位的組織。除了IEEE、ISO、ITU、IETF現(xiàn)實(shí)世界還有很多組織在背后默默制定著我們每天用到的協(xié)議。這里做一次擴(kuò)充整理1.國(guó)際標(biāo)準(zhǔn)化組織組織全稱主要貢獻(xiàn)IEEE電氣和電子工程師協(xié)會(huì)制定全球電氣、電子和計(jì)算機(jī)科學(xué)領(lǐng)域約 30% 的標(biāo)準(zhǔn)IEEE 802 系列覆蓋局域網(wǎng)到廣域網(wǎng)的各種網(wǎng)絡(luò)技術(shù)Wi-Fi 的 802.11 就是它的杰作ISO國(guó)際標(biāo)準(zhǔn)化組織主導(dǎo)了OSI 開(kāi)放系統(tǒng)互連模型定義了網(wǎng)絡(luò)通信的七層協(xié)議結(jié)構(gòu)ITU國(guó)際電信聯(lián)盟聯(lián)合國(guó)下屬專門(mén)機(jī)構(gòu)制定電話與網(wǎng)絡(luò)通信的電信級(jí)標(biāo)準(zhǔn)與 ISO 合作保障全球互操作2.區(qū)域與行業(yè)組織ETSI歐洲電信標(biāo)準(zhǔn)學(xué)會(huì)歐洲各國(guó)政府資助覆蓋從研究到標(biāo)準(zhǔn)制定的電信全鏈條。ASTAP亞洲與泛太平洋電信標(biāo)準(zhǔn)化協(xié)會(huì)1998 年由日韓發(fā)起協(xié)調(diào)亞太地區(qū)信息通信基礎(chǔ)設(shè)施的標(biāo)準(zhǔn)化。3.互聯(lián)網(wǎng)工程組織IETF互聯(lián)網(wǎng)工程任務(wù)組互聯(lián)網(wǎng)真正的立法機(jī)關(guān)。TCP/IP 協(xié)議族幾乎全部由它制定通過(guò)RFCRequest For Comments文檔發(fā)布——你現(xiàn)在看到的任何網(wǎng)絡(luò)協(xié)議規(guī)范幾乎都能在 RFC 里找到原文。4.專注某一領(lǐng)域的行業(yè)大佬組織領(lǐng)域W3C萬(wàn)維網(wǎng)聯(lián)盟HTML、CSS、Web 標(biāo)準(zhǔn)3GPP第三代合作伙伴計(jì)劃移動(dòng)通信標(biāo)準(zhǔn)4G/5G 的制定者藍(lán)牙 SIG藍(lán)牙技術(shù)聯(lián)盟藍(lán)牙協(xié)議GSMA全球移動(dòng)通信協(xié)會(huì)SIM 卡、移動(dòng)服務(wù)規(guī)范5.公司一些公司也自研標(biāo)準(zhǔn)協(xié)議棧例如泰凌微自研低功耗藍(lán)牙、Zigbee、Thread、Matter 等協(xié)議棧并可定制化這是其核心競(jìng)爭(zhēng)力。6.官方機(jī)構(gòu)FCC美國(guó)聯(lián)邦通信委員會(huì)美國(guó)官方通信管理機(jī)構(gòu)監(jiān)管無(wú)線電、電視和有線通信審查通信產(chǎn)品技術(shù)特性。小結(jié)標(biāo)準(zhǔn)不是誰(shuí)想定就能定的它需要權(quán)威、共識(shí)和生態(tài)。理解標(biāo)準(zhǔn)從哪來(lái)你就明白了為什么全世界數(shù)以億計(jì)的設(shè)備能互相通信——因?yàn)樗鼈冏袷氐氖峭惶资澜缤ㄓ谜Z(yǔ)言。六、協(xié)議的工程靈魂為什么一定要分層有了標(biāo)準(zhǔn)問(wèn)題解決了嗎還沒(méi)有。因?yàn)檎鎸?shí)的網(wǎng)絡(luò)協(xié)議極其復(fù)雜如果做成一個(gè)大禮包任何廠商都維護(hù)不起。這里有個(gè)非常關(guān)鍵的思維協(xié)議本質(zhì)也是軟件。軟件設(shè)計(jì)追求模塊化、解耦合所以協(xié)議也被設(shè)計(jì)成了層狀結(jié)構(gòu)。1.一個(gè)最簡(jiǎn)單的分層例子假設(shè)我們的協(xié)議只有兩層語(yǔ)言層通信設(shè)備層。通信設(shè)備層負(fù)責(zé)怎么把電信號(hào)發(fā)出去相當(dāng)于電話線語(yǔ)言層負(fù)責(zé)我要表達(dá)什么意思相當(dāng)于中文還是英文。想換語(yǔ)言只改語(yǔ)言層。想換傳輸介質(zhì)只改設(shè)備層。兩層互不影響各改各的——這就是解耦合。真實(shí)的網(wǎng)絡(luò)協(xié)議比這復(fù)雜得多要分更多層但設(shè)計(jì)哲學(xué)是一樣的分層讓軟件維護(hù)成本更低。2.拓展分層帶來(lái)的四個(gè)現(xiàn)實(shí)好處解耦合改一層不影響其他層維護(hù)成本低各層可獨(dú)立演進(jìn)比如把雙絞線換成光纖物理層升級(jí)上面的 HTTP 完全不用動(dòng)職責(zé)清晰每一層只解決一類(lèi)問(wèn)題出錯(cuò)時(shí)容易定位是哪一層的問(wèn)題不同廠商可以專攻某一層做路由器的專注網(wǎng)絡(luò)層做網(wǎng)卡的專注鏈路層生態(tài)繁榮。七、拓展OSI 七層到底分成哪七層OSI七層參考模型是ISO國(guó)際標(biāo)準(zhǔn)化組織制定的網(wǎng)絡(luò)理論標(biāo)準(zhǔn)。OSI作為參考規(guī)范其分層思想被實(shí)際使用的TCP/IP模型借鑒但互聯(lián)網(wǎng)并未完全實(shí)現(xiàn)OSI標(biāo)準(zhǔn)。課程里提到 OSI 七層模型時(shí)只說(shuō)把網(wǎng)絡(luò)邏輯上分成 7 層但常常不展開(kāi)。這里把每一層補(bǔ)全——這是理解整個(gè)網(wǎng)絡(luò)的坐標(biāo)系值得先記下來(lái)。層號(hào)名稱核心職責(zé)典型協(xié)議/設(shè)備7應(yīng)用層面向用戶的應(yīng)用交互HTTP、FTP、SMTP、DNS6表示層數(shù)據(jù)格式轉(zhuǎn)換、加密壓縮JPEG、ASCII、TLS可歸此層5會(huì)話層建立/管理/終止會(huì)話NetBIOS、RPC4傳輸層端到端的可靠傳輸TCP、UDP3網(wǎng)絡(luò)層地址管理與路由選擇IP、路由器2數(shù)據(jù)鏈路層幀的傳送與差錯(cuò)檢測(cè)以太網(wǎng)、交換機(jī)1物理層光/電信號(hào)的傳輸方式雙絞線、光纖、HubOSI 模型最大的貢獻(xiàn)是把服務(wù)、接口、協(xié)議三個(gè)概念清晰區(qū)分開(kāi)協(xié)議同層之間如何通信的規(guī)則對(duì)等層之間說(shuō)話用的語(yǔ)言接口本層如何被上層調(diào)用上下層之間的電話服務(wù)本層能為上層提供什么能力上層能獲得的東西。這個(gè)概念區(qū)分是網(wǎng)絡(luò)理論里最精華的部分后面寫(xiě) Socket 程序時(shí)你會(huì)真切體會(huì)到接口的分量。八、理論 vs 現(xiàn)實(shí)為什么最終贏家是 TCP/IP你可能要問(wèn)OSI 七層這么完美為什么實(shí)際用的是 TCP/IP 五層或四層真實(shí)原因是多方面的OSI 太重七層中會(huì)話層、表示層的功能在實(shí)際操作中很難落地到操作系統(tǒng)工程上往往被合并吸收最終實(shí)際落地的是五層結(jié)構(gòu)OSI 來(lái)得太晚OSI 還在設(shè)計(jì)圖紙階段時(shí)TCP/IP 已經(jīng)在 ARPANET 上跑起來(lái)了先發(fā)優(yōu)勢(shì)巨大TCP/IP 免費(fèi)、開(kāi)放、有實(shí)現(xiàn)幾乎所有操作系統(tǒng)內(nèi)核都內(nèi)置了 TCP/IP 協(xié)議棧想不用都難TCP/IP 更務(wù)實(shí)它不追求理論上的完美分層而是夠用就行。1.TCP/IP 五層或四層模型速查層級(jí)職責(zé)典型協(xié)議對(duì)應(yīng)設(shè)備應(yīng)用層應(yīng)用程序之間溝通HTTP、SMTP、FTP、Telnet——傳輸層兩臺(tái)主機(jī)之間的數(shù)據(jù)傳輸TCP可靠、UDP不可靠——網(wǎng)絡(luò)層地址管理和路由選擇IP用 IP 地址標(biāo)識(shí)主機(jī)、用路由表規(guī)劃路徑路由器數(shù)據(jù)鏈路層設(shè)備之間數(shù)據(jù)幀的傳送與識(shí)別幀同步、沖突檢測(cè)、差錯(cuò)校驗(yàn)、以太網(wǎng)交換機(jī)物理層光/電信號(hào)的傳遞方式雙絞線、同軸電纜、光纖、Wi-Fi集線器物理層的性能決定了最大傳輸速率、傳輸距離和抗干擾性。因?yàn)榫W(wǎng)絡(luò)編程主要關(guān)注軟件內(nèi)容物理層考慮得少所以很多場(chǎng)合直接稱TCP/IP 四層模型。2.一套經(jīng)典的分層 × 硬件對(duì)應(yīng)關(guān)系主機(jī)內(nèi)核實(shí)現(xiàn)了從傳輸層到物理層應(yīng)用層是用戶程序路由器實(shí)現(xiàn)了從網(wǎng)絡(luò)層到物理層交換機(jī)實(shí)現(xiàn)了從數(shù)據(jù)鏈路層到物理層集線器Hub只實(shí)現(xiàn)了物理層。注意并不絕對(duì)很多交換機(jī)支持網(wǎng)絡(luò)層轉(zhuǎn)發(fā)很多路由器能做端口轉(zhuǎn)發(fā)。但記住這張主力分工圖就是理解整個(gè)網(wǎng)絡(luò)的地圖。九、用一段代碼揭開(kāi)本質(zhì)協(xié)議就是雙方都認(rèn)識(shí)的結(jié)構(gòu)化數(shù)據(jù)類(lèi)型概念講了這么多協(xié)議的本質(zhì)到底長(zhǎng)什么樣別急一段 C 代碼直接把它戳破。操作系統(tǒng)源碼一般用 C/C 編寫(xiě)。設(shè)想通信雙方定義了一個(gè)一模一樣的結(jié)構(gòu)體// 通信雙方都復(fù)制粘貼了這份代碼 struct protocol { int a; // 4 字節(jié) int b; // 4 字節(jié) int c; // 4 字節(jié) }; // 發(fā)送方構(gòu)造數(shù)據(jù)并發(fā)出去 struct protocol data {10, 20, 30}; send_data(data, sizeof(data));接收方收到一串字節(jié)流后只要按同一個(gè)結(jié)構(gòu)體去解析就能還原出a 10, b 20, c 30。問(wèn)題主機(jī) B 能識(shí)別 data并準(zhǔn)確提取出 a10、b20、c30 嗎回答答案是肯定的因?yàn)殡p方都有同樣的結(jié)構(gòu)體類(lèi)型struct protocol。用同樣的代碼實(shí)現(xiàn)協(xié)議用同樣的數(shù)據(jù)類(lèi)型定義數(shù)據(jù)。雙方天然就具有共識(shí)能夠解析對(duì)方發(fā)來(lái)的數(shù)據(jù)——這不就是約定嗎這也就解釋了為什么Linux和Windows之間可以進(jìn)行互相聯(lián)系了1.于是協(xié)議有了一個(gè)非常樸素、也非常本質(zhì)的定義所謂協(xié)議就是通信雙方都認(rèn)識(shí)的、結(jié)構(gòu)化的數(shù)據(jù)類(lèi)型。再深入一層因?yàn)閰f(xié)議棧是分層的所以每一層都有雙方共同遵守的協(xié)議。同層之間互相能識(shí)別對(duì)方的協(xié)議——應(yīng)用層對(duì)應(yīng)用層、傳輸層對(duì)傳輸層、網(wǎng)絡(luò)層對(duì)網(wǎng)絡(luò)層……每一層的結(jié)構(gòu)體長(zhǎng)什么樣、怎么解析都由這一層的協(xié)議規(guī)定。2.快遞單類(lèi)比網(wǎng)購(gòu)商品時(shí)商家把商品應(yīng)用層數(shù)據(jù)裝進(jìn)箱子貼上快遞單這一層協(xié)議規(guī)定的頭部信息快遞分揀中心把它裝進(jìn)更大的包裹再貼一張運(yùn)輸單下一層協(xié)議的頭部……數(shù)據(jù)每經(jīng)過(guò)一層就被套上一層信息。收件時(shí)每一層再一層層拆開(kāi)最終把商品送到你手上。數(shù)據(jù)向下每過(guò)一層就封裝一次向上每過(guò)一層就解包一次——這就是協(xié)議分層在數(shù)據(jù)傳輸上的真實(shí)寫(xiě)照。十、結(jié)語(yǔ)1.一句話總結(jié)網(wǎng)絡(luò)讓計(jì)算機(jī)互聯(lián)協(xié)議是通信雙方共同遵守的約定因?yàn)閱?wèn)題能分層協(xié)議也分層實(shí)現(xiàn)而協(xié)議的本質(zhì)是通信雙方都認(rèn)識(shí)的結(jié)構(gòu)化數(shù)據(jù)類(lèi)型struct protocol數(shù)據(jù)的流動(dòng)靠封裝—解包完成。2.一張思維導(dǎo)圖網(wǎng)絡(luò)協(xié)議入門(mén) ├── 通信前提說(shuō)同一種語(yǔ)言約定數(shù)據(jù)格式 ├── 協(xié)議是什么一種約定 │ ├── 光有約定不夠 → 語(yǔ)言必須相通 │ └── 需要公認(rèn)標(biāo)準(zhǔn) → IEEE / ISO / ITU / IETF / W3C / 3GPP ... ├── 協(xié)議分層 │ ├── 軟件分層的啟示模塊化、解耦合 │ ├── OSI 七層模型理論完整、工程太重 │ └── TCP/IP 五層/四層模型實(shí)際落地 │ └── 主機(jī) / 路由器 / 交換機(jī) / 集線器的分層分工 ├── 協(xié)議本質(zhì)通信雙方都認(rèn)識(shí)的結(jié)構(gòu)化數(shù)據(jù)類(lèi)型 │ └── struct protocol 示例同樣的代碼 同樣的類(lèi)型 共識(shí) └── 數(shù)據(jù)流動(dòng)報(bào)頭 有效載荷 報(bào)文封裝 → 傳輸 → 解包每一步都緊扣今天建立的框架——分層、結(jié)構(gòu)化數(shù)據(jù)、封裝解包——你會(huì)發(fā)現(xiàn)網(wǎng)絡(luò)其實(shí)沒(méi)有想象中那么難。如果你覺(jué)得這篇有幫助歡迎點(diǎn)贊、收藏、關(guān)注我們下一篇見(jiàn)