草莓熊Lotso個人主頁??個人專欄:《C知識分享》 《Linux 入門到實踐零基礎(chǔ)也能懂》?生活是默默的堅持毅力是永久的享受 博主簡介文章目錄前言一. NAT 技術(shù)解決 IPv4 地址枯竭的核心方案1.1 NAT 技術(shù)背景1.2 NAT IP 轉(zhuǎn)換過程與 NAPT 原理1.3 NAT 技術(shù)的關(guān)鍵細節(jié)1.4 NAT 技術(shù)的固有缺陷二. 代理服務(wù)器網(wǎng)絡(luò)請求的 中間人2.1 正向代理替客戶端訪問世界2.2 反向代理替服務(wù)器承接請求2.3 正向代理 vs 反向代理一個例子講清楚2.4 NAT 與代理服務(wù)器的本質(zhì)區(qū)別面試高頻三. 內(nèi)網(wǎng)穿透讓外網(wǎng)訪問你的內(nèi)網(wǎng)服務(wù)3.1 內(nèi)網(wǎng)穿透的核心原理3.2 實戰(zhàn)部署基于 FRP 實現(xiàn)內(nèi)網(wǎng)穿透3.2.1 環(huán)境準備與 FRP 下載3.2.2 服務(wù)端frps配置與啟動3.2.3 客戶端frpc配置與啟動3.2.4 功能測試四. 內(nèi)網(wǎng)打洞P2P 通信的底層奧秘4.1 為什么需要內(nèi)網(wǎng)打洞4.2 內(nèi)網(wǎng)打洞的工作原理4.3 內(nèi)網(wǎng)打洞 vs 內(nèi)網(wǎng)穿透效率與復(fù)雜度的權(quán)衡含補充知識可以看看結(jié)尾前言你是否曾有過這樣的困惑為什么家里的電腦明明連了網(wǎng)別人卻無法直接訪問為什么微信、QQ 能跨網(wǎng)絡(luò)聊天但兩臺不同內(nèi)網(wǎng)的電腦卻不能直接建立 TCP 連接為什么企業(yè)的服務(wù)器從不直接暴露在公網(wǎng)卻能被全球用戶訪問這些問題的答案都隱藏在本文要講解的四個核心網(wǎng)絡(luò)技術(shù)中NAT網(wǎng)絡(luò)地址轉(zhuǎn)換、代理服務(wù)、內(nèi)網(wǎng)穿透和內(nèi)網(wǎng)打洞。它們是現(xiàn)代互聯(lián)網(wǎng)的基石解決了 IPv4 地址不足、網(wǎng)絡(luò)安全、跨網(wǎng)通信等一系列關(guān)鍵問題。本文將從底層原理出發(fā)結(jié)合實戰(zhàn)部署帶你徹底搞懂這些技術(shù)的來龍去脈同時提煉出面試高頻考點。一. NAT 技術(shù)解決 IPv4 地址枯竭的核心方案1.1 NAT 技術(shù)背景IPv4 協(xié)議設(shè)計之初32 位的 IP 地址理論上可以提供約 43 億個地址但隨著互聯(lián)網(wǎng)的爆炸式發(fā)展IP 地址早已供不應(yīng)求。NATNetwork Address Translation網(wǎng)絡(luò)地址轉(zhuǎn)換就是目前解決這一問題最主要、最經(jīng)濟的手段也是路由器的核心功能之一。NAT 的核心思想是將私有 IP 地址與全局公網(wǎng)IP 地址進行相互轉(zhuǎn)換。在家庭、學校、公司等局域網(wǎng)內(nèi)部所有設(shè)備使用私有 IP 地址如 10.0.0.0/8、192.168.0.0/16、172.16.0.0/12這些地址在不同局域網(wǎng)中可以重復(fù)使用只有在訪問公網(wǎng)時才通過路由器將私有 IP 轉(zhuǎn)換為唯一的公網(wǎng) IP。1.2 NAT IP 轉(zhuǎn)換過程與 NAPT 原理基礎(chǔ)的 NAT 只能進行 IP 地址的轉(zhuǎn)換但當多個內(nèi)網(wǎng)主機同時訪問同一個公網(wǎng)服務(wù)器時僅靠 IP 地址無法區(qū)分不同的請求。這時就需要NAPTNetwork Address Port Translation網(wǎng)絡(luò)地址端口轉(zhuǎn)換也就是我們常說的 “端口映射”。NAPT 通過 **“私有 IP 端口號” 與 “公網(wǎng) IP 端口號” 的雙向映射 ** 來唯一標識每個連接。NAT 路由器內(nèi)部會維護一張自動生成的轉(zhuǎn)換表記錄這種映射關(guān)系內(nèi)網(wǎng)四元組唯一標識內(nèi)網(wǎng)進程外網(wǎng)四元組唯一標識全網(wǎng)進程10.0.0.10:1025 → 163.221.120.9:80202.244.174.37:1025 → 163.221.120.9:8010.0.0.11:1025 → 163.221.120.9:80202.244.174.37:1026 → 163.221.120.9:80轉(zhuǎn)換過程詳解內(nèi)網(wǎng)主機 10.0.0.10:1025 向公網(wǎng)服務(wù)器 163.221.120.9:80 發(fā)送請求NAT 路由器將源地址替換為自己的公網(wǎng) IP 202.244.174.37:1025并在轉(zhuǎn)換表中記錄映射關(guān)系公網(wǎng)服務(wù)器收到請求后將響應(yīng)發(fā)送給 202.244.174.37:1025NAT 路由器查詢轉(zhuǎn)換表將目標地址替換為 10.0.0.10:1025轉(zhuǎn)發(fā)給內(nèi)網(wǎng)主機當多個內(nèi)網(wǎng)主機使用相同端口號時NAT 路由器會自動分配不同的公網(wǎng)端口號確保映射關(guān)系的唯一性。1.3 NAT 技術(shù)的關(guān)鍵細節(jié)端口號限制TCP/UDP 的端口號是 16 位整數(shù)最多支持 65536 個端口。因此單個公網(wǎng) IP 的 NAT 路由器最多只能同時支持約 6 萬個并發(fā)連接這也是家用路由器連接設(shè)備數(shù)量有限的原因之一。路由器支持所有內(nèi)網(wǎng)出口路由器必須支持 NAT 功能否則內(nèi)網(wǎng)設(shè)備無法訪問公網(wǎng)。單向訪問性外網(wǎng)無法主動向內(nèi)網(wǎng)建立連接。因為 NAT 轉(zhuǎn)換表只有在內(nèi)網(wǎng)主機主動向外發(fā)送請求時才會生成外網(wǎng)發(fā)起的請求在 NAT 路由器中找不到對應(yīng)的映射條目會被直接丟棄。這就是為什么我們必須登錄微信、QQ 服務(wù)器才能聊天 —— 登錄時客戶端主動向服務(wù)器建立連接生成 NAT 映射表之后服務(wù)器才能通過這個映射表將消息轉(zhuǎn)發(fā)給我們。1.4 NAT 技術(shù)的固有缺陷NAT 雖然解決了 IP 地址不足的問題但也帶來了一些不可避免的缺陷無法從外部主動訪問內(nèi)部服務(wù)器這是 NAT 最核心的限制也是內(nèi)網(wǎng)穿透和內(nèi)網(wǎng)打洞技術(shù)存在的原因轉(zhuǎn)換表開銷轉(zhuǎn)換表的生成、維護和銷毀需要額外的 CPU 和內(nèi)存開銷單點故障如果 NAT 設(shè)備異常即使存在熱備所有已建立的 TCP 連接都會斷開因為映射表會丟失二. 代理服務(wù)器網(wǎng)絡(luò)請求的 “中間人”代理服務(wù)器與 NAT 看起來有些相似都是作為 “中間人” 轉(zhuǎn)發(fā)網(wǎng)絡(luò)請求但它們的設(shè)計目標、工作層次和應(yīng)用場景完全不同。2.1 正向代理替客戶端訪問世界正向代理服務(wù)器位于客戶端和目標服務(wù)器之間代表客戶端向目標服務(wù)器發(fā)送請求。目標服務(wù)器看到的是代理服務(wù)器的 IP 地址而不是客戶端的真實 IP。核心功能特點緩存加速緩存經(jīng)常訪問的資源當其他客戶端再次請求時直接從緩存返回提高訪問速度內(nèi)容過濾根據(jù)預(yù)設(shè)規(guī)則屏蔽廣告、惡意網(wǎng)站或不良內(nèi)容訪問控制限制特定用戶或時間段對某些網(wǎng)站的訪問隱藏客戶端身份保護客戶端的真實 IP 地址和隱私突破網(wǎng)絡(luò)限制訪問被本地網(wǎng)絡(luò)屏蔽的資源典型應(yīng)用場景企業(yè)網(wǎng)絡(luò)管理限制員工在工作時間訪問娛樂網(wǎng)站防止泄露公司機密學校 / 公共網(wǎng)絡(luò)合理分配網(wǎng)絡(luò)資源過濾不良內(nèi)容跨境訪問順暢訪問海外網(wǎng)站和資源游戲加速器通過優(yōu)化路由降低網(wǎng)絡(luò)延遲2.2 反向代理替服務(wù)器承接請求反向代理服務(wù)器位于客戶端和后端服務(wù)器之間代表后端服務(wù)器接收客戶端的請求?？蛻舳瞬恢酪膊恍枰缹嶋H提供服務(wù)的是哪臺后端服務(wù)器只需要與反向代理服務(wù)器通信。核心功能特點負載均衡根據(jù)配置的策略輪詢、加權(quán)輪詢、IP 哈希等將請求分發(fā)到多個后端服務(wù)器提高系統(tǒng)并發(fā)處理能力安全保護隱藏后端服務(wù)器的真實 IP 地址降低被直接攻擊的風險可以配置防火墻、訪問控制列表等安全策略緩存加速緩存靜態(tài)資源和熱點動態(tài)內(nèi)容減少后端服務(wù)器的負載動靜分離將靜態(tài)資源圖片、CSS、JS部署在反向代理服務(wù)器上直接返回給客戶端動態(tài)請求轉(zhuǎn)發(fā)給后端應(yīng)用服務(wù)器內(nèi)容重寫修改請求頭、響應(yīng)頭或 URL 路徑實現(xiàn)特定的業(yè)務(wù)需求典型應(yīng)用場景大型網(wǎng)站架構(gòu)幾乎所有互聯(lián)網(wǎng)公司的后端服務(wù)都使用反向代理CDN內(nèi)容分發(fā)網(wǎng)絡(luò)CDN 本質(zhì)上就是全球部署的反向代理服務(wù)器集群將內(nèi)容緩存到離用戶最近的節(jié)點微服務(wù)網(wǎng)關(guān)統(tǒng)一接收所有客戶端請求路由到對應(yīng)的微服務(wù)2.3 正向代理 vs 反向代理一個例子講清楚很多人容易混淆正向代理和反向代理我們用一個生活中的例子來理解花王尿不濕是日本的知名品牌你想買但自己去日本不方便。你讓在日本工作的表姐幫你去超市買然后快遞給你。超市看到的買家是你表姐不知道是你買的。這就是正向代理 —— 表姐代替你客戶端去買東西。后來找你表姐代購的人太多了她干脆批量進貨屯在家里有人下單就直接從家里發(fā)貨不用再去超市。買家只知道從你表姐這里買不知道貨是從哪個超市來的。這就是反向代理 —— 表姐代替超市服務(wù)器賣東西。簡單來說正向代理隱藏客戶端服務(wù)器不知道真實的客戶端是誰反向代理隱藏服務(wù)器客戶端不知道真實的服務(wù)器是誰2.4 NAT 與代理服務(wù)器的本質(zhì)區(qū)別面試高頻NAT 和代理服務(wù)器都能實現(xiàn)網(wǎng)絡(luò)中轉(zhuǎn)但它們在多個維度上存在本質(zhì)區(qū)別對比維度NAT代理服務(wù)器設(shè)計目標解決 IPv4 地址不足的問題解決具體應(yīng)用問題訪問控制、負載均衡、緩存等工作層次網(wǎng)絡(luò)層OSI 第 3 層應(yīng)用層OSI 第 7 層實現(xiàn)方式直接修改 IP 數(shù)據(jù)包的地址和端口接收完整的應(yīng)用層請求重新發(fā)起新的請求部署位置一般集成在路由器、防火墻等硬件設(shè)備上部署在局域網(wǎng)出口軟件程序部署在獨立的服務(wù)器上可以在局域網(wǎng)、廣域網(wǎng)或跨網(wǎng)部署透明性對客戶端和服務(wù)器完全透明不需要任何配置客戶端或服務(wù)器需要感知到代理的存在并進行相應(yīng)配置應(yīng)用范圍所有基于 IP 的網(wǎng)絡(luò)通信特定的應(yīng)用層協(xié)議HTTP、HTTPS、FTP 等三. 內(nèi)網(wǎng)穿透讓外網(wǎng)訪問你的內(nèi)網(wǎng)服務(wù)NAT 的單向訪問性雖然提高了內(nèi)網(wǎng)的安全性但也帶來了很多不便你無法在家里訪問公司的內(nèi)網(wǎng)服務(wù)器無法在外網(wǎng)連接自己家里的 NAS無法讓朋友訪問你本地開發(fā)的網(wǎng)站。內(nèi)網(wǎng)穿透技術(shù)就是為了解決這個問題而生的。3.1 內(nèi)網(wǎng)穿透的核心原理內(nèi)網(wǎng)穿透的核心思想是利用一臺擁有公網(wǎng) IP 的服務(wù)器作為中轉(zhuǎn)建立內(nèi)網(wǎng)設(shè)備與公網(wǎng)服務(wù)器之間的長連接然后通過這臺公網(wǎng)服務(wù)器將外網(wǎng)請求轉(zhuǎn)發(fā)到內(nèi)網(wǎng)設(shè)備。整個過程可以分為三步內(nèi)網(wǎng)設(shè)備主動向公網(wǎng)服務(wù)器發(fā)起連接建立并保持長連接生成 NAT 映射表外網(wǎng)用戶向公網(wǎng)服務(wù)器的指定端口發(fā)送請求公網(wǎng)服務(wù)器將請求通過已建立的長連接轉(zhuǎn)發(fā)給內(nèi)網(wǎng)設(shè)備內(nèi)網(wǎng)設(shè)備處理后再通過原路返回響應(yīng)目前最流行、性能最好的內(nèi)網(wǎng)穿透工具是FRPFast Reverse Proxy它是一個開源的高性能反向代理應(yīng)用支持 TCP、UDP、HTTP、HTTPS 等多種協(xié)議。3.2 實戰(zhàn)部署基于 FRP 實現(xiàn)內(nèi)網(wǎng)穿透下面我們通過實戰(zhàn)一步步部署 FRP 實現(xiàn)兩個最常用的功能SSH 遠程登錄內(nèi)網(wǎng)機器和外網(wǎng)訪問內(nèi)網(wǎng) Nginx 服務(wù)。3.2.1 環(huán)境準備與 FRP 下載一臺擁有公網(wǎng) IP 的云服務(wù)器服務(wù)端運行 frps一臺內(nèi)網(wǎng)機器客戶端運行 frpc兩臺機器都能訪問互聯(lián)網(wǎng)FRP 下載地址https://github.com/fatedier/frp/releases/tag/v0.58.1根據(jù)你的操作系統(tǒng)和架構(gòu)選擇對應(yīng)的版本本文以 Linux amd64 為例# 下載FRP服務(wù)端和客戶端使用相同的安裝包wgethttps://github.com/fatedier/frp/releases/download/v0.58.1/frp_0.58.1_linux_amd64.tar.gz# 解壓tar-zxvffrp_0.58.1_linux_amd64.tar.gzcdfrp_0.58.1_linux_amd643.2.2 服務(wù)端frps配置與啟動在公網(wǎng)云服務(wù)器上我們只需要最簡單的配置指定 frps 監(jiān)聽的端口即可創(chuàng)建frps.toml配置文件# frps.toml - 服務(wù)端配置 bindPort 8888 # frps監(jiān)聽的端口客戶端需要連接這個端口啟動 frps 服務(wù)# 前臺啟動測試用./frps-c./frps.toml# 后臺啟動生產(chǎn)環(huán)境用nohup./frps-c./frps.toml/dev/null命令解釋nohup忽略掛起信號讓進程在后臺運行 /dev/null將標準輸出和標準錯誤都重定向到 /dev/null丟棄所有輸出最后的讓命令在后臺執(zhí)行3.2.3 客戶端frpc配置與啟動在內(nèi)網(wǎng)機器上我們需要配置 frpc 連接到公網(wǎng)服務(wù)器并指定要穿透的服務(wù)創(chuàng)建frpc.toml配置文件# frpc.toml - 客戶端配置 serverAddr x.x.x.x # 替換為你的公網(wǎng)服務(wù)器IP地址 serverPort 8888 # 與服務(wù)端的bindPort保持一致 # 配置SSH服務(wù)穿透 [[proxies]] name ssh-service # 代理名稱唯一即可 type tcp # 代理類型SSH使用TCP協(xié)議 localIP 127.0.0.1 # 內(nèi)網(wǎng)服務(wù)的IP地址 localPort 22 # 內(nèi)網(wǎng)SSH服務(wù)監(jiān)聽的端口 remotePort 8081 # 公網(wǎng)服務(wù)器上監(jiān)聽的端口外網(wǎng)通過這個端口訪問SSH # 配置Nginx服務(wù)穿透 [[proxies]] name nginx-service type tcp localIP 127.0.0.1 localPort 80 # 內(nèi)網(wǎng)Nginx服務(wù)監(jiān)聽的端口 remotePort 8080 # 公網(wǎng)服務(wù)器上監(jiān)聽的端口外網(wǎng)通過這個端口訪問Nginx啟動 frpc 服務(wù)# 前臺啟動測試用./frpc-c./frpc.toml# 后臺啟動生產(chǎn)環(huán)境用nohup./frpc-c./frpc.toml/dev/null3.2.4 功能測試測試 SSH 遠程登錄 在任意一臺能上網(wǎng)的機器上通過公網(wǎng)服務(wù)器的 8081 端口登錄內(nèi)網(wǎng)機器ssh用戶名x.x.x.x-p8081測試 Nginx 遠程訪問 首先在內(nèi)網(wǎng)機器上安裝并啟動 Nginx# Ubuntu/Debian系統(tǒng)sudoaptinstallnginxsudosystemctl start nginx# CentOS/RHEL系統(tǒng)sudoyuminstallnginxsudosystemctl start nginx然后在瀏覽器中訪問http://x.x.x.x:8080如果能看到 Nginx 的默認歡迎頁面說明內(nèi)網(wǎng)穿透配置成功。四. 內(nèi)網(wǎng)打洞P2P 通信的底層奧秘內(nèi)網(wǎng)穿透雖然解決了外網(wǎng)訪問內(nèi)網(wǎng)的問題但所有流量都需要經(jīng)過公網(wǎng)服務(wù)器轉(zhuǎn)發(fā)這會帶來兩個問題帶寬成本高和延遲大。對于視頻通話、文件傳輸、P2P 直播等大流量、低延遲要求的場景內(nèi)網(wǎng)穿透并不是最優(yōu)解。這時就需要內(nèi)網(wǎng)打洞NAT Traversal技術(shù)。4.1 為什么需要內(nèi)網(wǎng)打洞我們以虎牙直播為例來說明主播在內(nèi)網(wǎng) A觀眾 1 在內(nèi)網(wǎng) B觀眾 2 在內(nèi)網(wǎng) C如果使用服務(wù)器轉(zhuǎn)發(fā)模式主播需要將視頻流推送到虎牙服務(wù)器服務(wù)器再分別轉(zhuǎn)發(fā)給觀眾 1 和觀眾 2這種模式下服務(wù)器需要承擔巨大的帶寬壓力而且視頻流經(jīng)過服務(wù)器轉(zhuǎn)發(fā)會增加延遲而內(nèi)網(wǎng)打洞技術(shù)可以讓主播和觀眾之間建立直接的 P2P 連接視頻流不需要經(jīng)過服務(wù)器轉(zhuǎn)發(fā)大大降低了服務(wù)器的帶寬成本和傳輸延遲。4.2 內(nèi)網(wǎng)打洞的工作原理內(nèi)網(wǎng)打洞的核心原理是利用中間服務(wù)器交換雙方的公網(wǎng) IP 和端口信息然后雙方同時向?qū)Ψ降墓W(wǎng)地址發(fā)送數(shù)據(jù)包在各自的 NAT 路由器上生成映射表從而建立直接連接。整個過程可以分為四步注冊與信息交換主播和觀眾都主動連接到虎牙的中間服務(wù)器服務(wù)器記錄下他們的公網(wǎng) IP 和端口號打洞指令發(fā)送服務(wù)器將主播的公網(wǎng) IP 和端口發(fā)送給觀眾同時將觀眾的公網(wǎng) IP 和端口發(fā)送給主播同時打洞主播和觀眾同時向?qū)Ψ降墓W(wǎng)地址發(fā)送 UDP 數(shù)據(jù)包。這個數(shù)據(jù)包會被對方的 NAT 路由器接收并在各自的 NAT 轉(zhuǎn)換表中生成映射條目建立 P2P 連接當雙方的 NAT 路由器都生成了映射條目后直接連接就建立成功了之后的通信就可以直接進行不需要再經(jīng)過中間服務(wù)器需要注意的是內(nèi)網(wǎng)打洞主要使用 UDP 協(xié)議因為 UDP 是無連接的不需要三次握手更容易穿越 NAT。對于 TCP 協(xié)議內(nèi)網(wǎng)打洞的成功率會低很多。4.3 內(nèi)網(wǎng)打洞 vs 內(nèi)網(wǎng)穿透效率與復(fù)雜度的權(quán)衡含補充知識可以看看對比維度內(nèi)網(wǎng)穿透內(nèi)網(wǎng)打洞連接方式所有流量經(jīng)過公網(wǎng)服務(wù)器轉(zhuǎn)發(fā)建立直接的 P2P 連接只有初始握手經(jīng)過服務(wù)器帶寬成本高服務(wù)器需要承擔所有流量低幾乎不消耗服務(wù)器帶寬傳輸延遲高流量經(jīng)過服務(wù)器中轉(zhuǎn)低直接通信實現(xiàn)復(fù)雜度低部署簡單高需要處理各種 NAT 類型和網(wǎng)絡(luò)環(huán)境成功率高只要能連接公網(wǎng)服務(wù)器就能成功中受 NAT 類型和網(wǎng)絡(luò)環(huán)境影響適用場景小流量、低并發(fā)場景SSH、Web 服務(wù)大流量、低延遲場景視頻通話、文件傳輸、P2P 直播下面是一些補充知識的圖解結(jié)尾 我是草莓熊 Lotso若這篇技術(shù)干貨幫你打通了學習中的卡點 【關(guān)注】跟我一起深耕技術(shù)領(lǐng)域從基礎(chǔ)到進階見證每一次成長 ?? 【點贊】讓優(yōu)質(zhì)內(nèi)容被更多人看見讓知識傳遞更有力量 ? 【收藏】把核心知識點、實戰(zhàn)技巧存好需要時直接查、隨時用 【評論】分享你的經(jīng)驗或疑問比如曾踩過的技術(shù)坑一起交流避坑 ? 【投票】用你的選擇助力社區(qū)內(nèi)容方向告訴大家哪個技術(shù)點最該重點拆解 技術(shù)之路難免有困惑但同行的人會讓前進更有方向愿我們都能在自己專注的領(lǐng)域里一步步靠近心中的技術(shù)目標結(jié)語NAT、代理服務(wù)、內(nèi)網(wǎng)穿透和內(nèi)網(wǎng)打洞這四項技術(shù)共同構(gòu)建了現(xiàn)代互聯(lián)網(wǎng)的通信基礎(chǔ)。它們都是為了解決 IPv4 協(xié)議的固有缺陷而誕生的雖然 IPv6 協(xié)議提供了幾乎無限的 IP 地址理論上可以消除 NAT 的存在但由于歷史原因和兼容性問題這些技術(shù)在未來相當長的時間內(nèi)仍將被廣泛使用。理解這些技術(shù)的底層原理不僅能幫助你解決日常工作中遇到的網(wǎng)絡(luò)問題也是后端開發(fā)、運維、網(wǎng)絡(luò)工程師必備的核心知識。希望本文能讓你對這些技術(shù)有一個全面、深入的理解。如果你覺得本文對你有幫助歡迎點贊、收藏、關(guān)注我會持續(xù)分享更多 Linux 和網(wǎng)絡(luò)底層技術(shù)的干貨。?把這些內(nèi)容吃透超牛的放松下吧??????づきらど