色五月色开心色婷婷色丁香,五月婷婷丁香花综合网,婷婷丁香五月激情综合在线,五月婷婷六月丁香动漫,婷婷丁香五月激情综合在线,丁香花中文字幕在线观看,播五月色五月开心五月网,开心激情综合网,狠狠色丁香婷婷综合最新地址,丁香视频在线观看,狠狠做六月爱婷婷综合av,久久激情五月丁香伊人

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Socket實(shí)戰(zhàn)排查:從狀態(tài)機(jī)、半包粘包到WebSocket與嵌入式lwIP

Socket實(shí)戰(zhàn)排查:從狀態(tài)機(jī)、半包粘包到WebSocket與嵌入式lwIP 先聲明一下Socket 這個(gè)東西入門教程滿大街都是但熱搜詞列表里那些真實(shí)問題——error 2002 (HY000)、bind: only one usage of each socket address、no more data to read from socket、listen tcp 127.0.0.1:11434: bind、甚至是FreeRTOS下的lwIP報(bào)錯、WebSocket和SSE的選擇困難——才是真正讓開發(fā)者熬夜的東西。這篇博文不重復(fù)教科書我直接把這些熱搜問題當(dāng)成一條線索從連接建立、數(shù)據(jù)讀寫、協(xié)議選型到嵌入式場景帶你走一遍完整的Socket實(shí)戰(zhàn)排查鏈路每一條都是我在真實(shí)項(xiàng)目中踩過的坑。1. 從熱搜詞看Socket的核心難點(diǎn)連接層、讀寫層、平臺層1.1 三類高頻報(bào)錯背后的共同本質(zhì)我仔細(xì)扒了一遍這些熱搜詞發(fā)現(xiàn)它們其實(shí)可以分成三組非常有意思。第一組是連接建立失敗類error 2002 (HY000): cant connect to local MySQL server through socket /tmp/mysql.sock、listen tcp 127.0.0.1:11434: bind: only one usage of each socket address、tiger vnc unable connect to socket: connection refused(10061)、java.sql.SQLException: 通過端口 1433 連接失敗 (-70028)。這些問題全部發(fā)生在socket生命周期的前幾步——你連都連不上后邊的邏輯全是空的。第二組是數(shù)據(jù)讀寫異常類no more data to read from socket、socket read timed out、為什么socket接收到奇數(shù)字節(jié)后面會補(bǔ)一個(gè)隨機(jī)數(shù)。這些問題發(fā)生在連接已經(jīng)建立、但讀寫過程出狀況的時(shí)候通常意味著你對TCP的字節(jié)流特性理解不到位或者超時(shí)設(shè)置不嚴(yán)。第三組是平臺差異和選型類freertos tcpip lwip socket、web socket 和 sse、socket有跨域嗎、華為手機(jī) amqjs0007e socket。這些是不同語言、不同操作系統(tǒng)、不同網(wǎng)絡(luò)環(huán)境下的方言問題底層機(jī)制一樣但表現(xiàn)形態(tài)完全不一樣。這三組問題對應(yīng)著同一個(gè)本質(zhì)Socket編程真正難的不是API調(diào)用而是對連接狀態(tài)機(jī)的理解。一個(gè)socket連接從創(chuàng)建、連接、傳輸?shù)疥P(guān)閉要經(jīng)歷十幾個(gè)狀態(tài)你在應(yīng)用層看到的所有奇怪報(bào)錯幾乎都是狀態(tài)機(jī)某個(gè)環(huán)節(jié)被破壞的結(jié)果。如果你只記住API名字遇到報(bào)錯就只能靠搜索引擎碰運(yùn)氣如果你理解了狀態(tài)機(jī)哪怕沒見過這個(gè)報(bào)錯也能順著鏈路找到根因。1.2 學(xué)習(xí)Socket的正確姿勢別急著寫代碼很多初學(xué)者習(xí)慣先跑通再說。我個(gè)人的建議反而不是這樣先花20分鐘把TCP的三次握手、四次揮手和幾個(gè)關(guān)鍵狀態(tài)LISTEN、ESTABLISHED、FIN_WAIT_2、TIME_WAIT、CLOSE_WAIT搞清楚再寫代碼。否則你會在TIME_WAIT導(dǎo)致的端口復(fù)用、CLOSE_WAIT導(dǎo)致的連接泄漏這些問題上反復(fù)碰壁而且根本不知道為什么。我不讓你背狀態(tài)圖但下面這幾個(gè)狀態(tài)你必須刻在腦子里狀態(tài)什么時(shí)候出現(xiàn)不處理會怎樣TIME_WAIT主動關(guān)閉方發(fā)出最后一個(gè)ACK后要等2MSL才消失用同一個(gè)端口快速重建服務(wù)會報(bào)bind: only one usage of each socket addressCLOSE_WAIT對端關(guān)閉了連接但本地應(yīng)用沒調(diào)用close文件描述符泄漏最終報(bào)too many open filesFIN_WAIT_2主動關(guān)閉方發(fā)了FIN等對端回FIN對端不關(guān)就永遠(yuǎn)掛著浪費(fèi)fdESTABLISHED正常傳輸狀態(tài)需要靠心跳機(jī)制判斷對端是否還活著這一章先把為什么Socket編程這么容易出問題的地基打好后面所有的踩坑案例你都可以用這張表格來對照。2. 連接建立階段五種常見失敗案例的完整排查鏈路2.1 VNC報(bào)connection refused(10061)先分清沒監(jiān)聽還是真拒絕熱搜詞里有一條tiger vnc unable connect to socket:connection refused(10061)。10061是Windows下的WSAECONNREFUSED對應(yīng)Linux下最常見的$11$號錯誤ECONNREFUSED。說白了就一句話你連接的目標(biāo)端口上根本沒有socket在listen或者防火墻把你攔了。我來說說一次真實(shí)排查。某個(gè)Windows服務(wù)器上的TigerVNC服務(wù)時(shí)不時(shí)連不上遠(yuǎn)程桌面工具報(bào)10061。當(dāng)時(shí)我第一反應(yīng)不是去看VNC配置而是先在服務(wù)器本機(jī)執(zhí)行netstat -ano | findstr :5900 ss -ltnp | grep 5900 # Linux下就用這條結(jié)果發(fā)現(xiàn)5900端口根本沒有進(jìn)程在監(jiān)聽。再檢查服務(wù)狀態(tài)發(fā)現(xiàn)VNC服務(wù)進(jìn)程崩了Windows的服務(wù)管理器沒把它拉起來。重啟服務(wù)后端口正常問題消失。這里有一個(gè)很容易踩的誤區(qū)connection refused和timeout的排查方向完全不同。refused說明你找到了這臺機(jī)器但那個(gè)端口沒人接待你問題大概率在目標(biāo)服務(wù)本身timeout則說明你連機(jī)器都夠不著中間被防火墻或網(wǎng)絡(luò)設(shè)備靜默丟包了。搜這個(gè)問題的人如果只盯著VNC配置改來改去永遠(yuǎn)解決不了真正的坑就是服務(wù)進(jìn)程沒起來。2.2 bind報(bào)錯端口復(fù)用和端口獨(dú)占是兩個(gè)維度listen tcp 127.0.0.1:11434: bind: only one usage of each socket address這條是Go語言常見的報(bào)錯但你不用Go也可能遇到同名錯誤。先說結(jié)論這個(gè)報(bào)錯的本質(zhì)是端口被占用了而端口被占用又分兩種情況。第一種是短期占用典型場景是服務(wù)崩潰后立即重啟。你上一次服務(wù)作為客戶端或者主動關(guān)閉方留下的連接還處在TIME_WAIT狀態(tài)這個(gè)連接的四元組源IP、源端口、目標(biāo)IP、目標(biāo)端口還占著那個(gè)端口所以你bind的時(shí)候系統(tǒng)不讓你用。解決辦法是設(shè)置SO_REUSEADDR。在Go里這樣寫listenConfig : net.ListenConfig{ Control: func(network, address string, c syscall.RawConn) error { return c.Control(func(fd uintptr) { syscall.SetsockoptInt(int(fd), syscall.SOL_SOCKET, syscall.SO_REUSEADDR, 1) }) }, } ln, err : listenConfig.Listen(context.Background(), tcp, 127.0.0.1:11434)第二種是長期被別的進(jìn)程獨(dú)占比如兩個(gè)服務(wù)都想監(jiān)聽同一個(gè)端口或者Docker端口映射沒釋放。這時(shí)候SO_REUSEADDR救不了你得先查是誰占著端口。Linux下ss -lntp | grep 11434看到PID之后去看這個(gè)進(jìn)程是不是你的舊實(shí)例。很多人在本地起服務(wù)時(shí)報(bào)這個(gè)錯第一反應(yīng)是改端口其實(shí)只是上個(gè)開發(fā)環(huán)境的實(shí)例沒殺掉。另外要特別注意Linux上的SO_REUSEPORT。它和SO_REUSEADDR完全不同——它允許多個(gè)進(jìn)程同時(shí)bind同一個(gè)端口由內(nèi)核做負(fù)載均衡。如果你是Nginx worker、多進(jìn)程游戲服務(wù)器這類場景要用的是SO_REUSEPORT而不是SO_REUSEADDR。很多人把這兩個(gè)混為一談改完發(fā)現(xiàn)端口還是起不來就是沒用對選項(xiàng)。2.3 MySQL的error 2002Unix domain socket路徑錯位error 2002 (HY000): cant connect to local MySQL server through socket /tmp/mysql.sock這條我很熟因?yàn)槲易约壕驮赃^一次。當(dāng)時(shí)我改了MySQL的datadir順手把socket配置也從默認(rèn)的/tmp/mysql.sock改到了/data/mysql/run/mysql.sock結(jié)果應(yīng)用層還按老路徑去連立刻報(bào)2002。這里的核心知識點(diǎn)是MySQL本地連接走的是Unix domain socket不是TCP socket。Unix domain socket本質(zhì)上是一個(gè)文件路徑文件不存在、權(quán)限不對、目錄不可達(dá)都會導(dǎo)致連接失敗。排查順序如下確認(rèn)mysqld有沒有起來systemctl status mysql或者service mysql status。確認(rèn)socket文件真實(shí)路徑登錄MySQL執(zhí)行SHOW VARIABLES LIKE socket;。確認(rèn)應(yīng)用連接的socket路徑是否一致。PHP的mysqli配置是mysqli.default_socketPython的pymysql用unix_socket參數(shù)。檢查/tmp目錄權(quán)限很多系統(tǒng)用systemd做了PrivateTmp隔離進(jìn)程看到的/tmp和外部完全不一樣這也會導(dǎo)致明明文件存在卻連接失敗。還有一類2002錯誤是服務(wù)真的沒起來。我遇到過磁盤寫滿導(dǎo)致mysqld啟動失敗的情況這時(shí)候任何socket路徑都是連不上的。先用journalctl -u mysql看日志不要急著改配置。2.4 Java的JDBC連接失敗與read timed out兩類超時(shí)別搞混熱搜里有兩條Java相關(guān)的java.sql.sqlexception: io 錯: socket read timed out!和[08s01] create socket connection failure (-70028)。先說-70028。這是微軟SQL Server JDBC驅(qū)動里的錯誤碼通常表示TCP連接在建立階段就失敗了。我遇到過的情況是運(yùn)維在防火墻上只放行了1433端口但SQL Server的允許遠(yuǎn)程連接沒開更隱蔽的是數(shù)據(jù)庫服務(wù)器有多個(gè)IPJDBC連接串里寫的主機(jī)名被DNS解析到了一個(gè)不可達(dá)的IP上。這種問題用telnet host 1433一測就露餡了。socket read timed out則完全是另一層的問題——連接已經(jīng)建立但讀不到服務(wù)端的響應(yīng)。常見場景是慢SQL把數(shù)據(jù)庫拖垮了或者連接池里的連接被數(shù)據(jù)庫主動斷開客戶端上面還傻等著。排查時(shí)要分清兩個(gè)超時(shí)參數(shù)connectTimeout建立TCP連接的超時(shí)單位毫秒建議設(shè)成3000-5000。超過這個(gè)時(shí)間連不上直接報(bào)連接失敗不要無限重試。socketTimeout讀數(shù)據(jù)的超時(shí)單位毫秒按你接口的P99延遲來設(shè)。如果你提供的是查詢接口設(shè)成10秒比較合理批量導(dǎo)入場景可能要60秒以上。String url jdbc:mysql://127.0.0.1:3306/test?connectTimeout3000socketTimeout10000;這兩個(gè)參數(shù)設(shè)合理了你的告警數(shù)量會直線下降因?yàn)閼?yīng)用中不會再出現(xiàn)線程卡死好幾分鐘才報(bào)錯的假死現(xiàn)象。3. 數(shù)據(jù)讀寫層的臟活累活半包、粘包、超時(shí)與對端關(guān)閉3.1 從收到奇數(shù)字節(jié)說起TCP沒有消息這個(gè)概念熱搜里有一條特別有意思為什么socket接收到奇數(shù)字節(jié)后面會補(bǔ)一個(gè)隨機(jī)數(shù)。我猜測查這條的人是在調(diào)一個(gè)二進(jìn)制協(xié)議服務(wù)一幀數(shù)據(jù)應(yīng)該固定長度結(jié)果讀出來多了幾個(gè)字節(jié)而且每次多的字節(jié)還不一樣看著像隨機(jī)數(shù)。這個(gè)現(xiàn)象背后最根本的原因是TCP是字節(jié)流協(xié)議不是消息協(xié)議。你在應(yīng)用層調(diào)用一次send發(fā)送一段數(shù)據(jù)內(nèi)核不保證對端recv一次就能收到完整的一段反過來你調(diào)用一次recv拿到的字節(jié)數(shù)也可能小于你期望的buffer長度甚至可能同時(shí)包含兩段業(yè)務(wù)消息的內(nèi)容。那隨機(jī)數(shù)到底哪來的我排過一次類似問題。當(dāng)時(shí)我們用C寫了一個(gè)socket服務(wù)報(bào)文結(jié)構(gòu)是2字節(jié)長度 N字節(jié)內(nèi)容代碼讀取時(shí)直接往一個(gè)固定大小的結(jié)構(gòu)體里memcpy結(jié)果結(jié)構(gòu)體里有padding字節(jié)這些padding是未初始化的棧內(nèi)存每次都是隨機(jī)值發(fā)送出去之后對端就看到了額外的隨機(jī)數(shù)。還有一種更常見的場景接收端把兩次完整報(bào)文拼接后按固定長度切分切出來的邊界剛好落在第二條報(bào)文中間多出來的隨機(jī)字節(jié)其實(shí)是下一條報(bào)文的前綴。這不是TCP給你補(bǔ)了什么數(shù)據(jù)而是你自己的分包邏輯沒有按幀來切。解決方案是應(yīng)用層必須自己定義消息邊界。常用手段有三種固定長度、長度前綴、分隔符。我推薦長度前綴工程上最通用import struct import socket def send_msg(sock: socket.socket, payload: bytes): header struct.pack(I, len(payload)) sock.sendall(header payload) def recv_exact(sock: socket.socket, n: int) - bytes: data b while len(data) n: chunk sock.recv(n - len(data)) if not chunk: raise ConnectionError(connection closed) data chunk return data def recv_msg(sock: socket.socket) - bytes: header recv_exact(sock, 4) length struct.unpack(I, header)[0] return recv_exact(sock, length)這里有兩個(gè)細(xì)節(jié)值得強(qiáng)調(diào)。第一send和sendall的區(qū)別send只管發(fā)一次返回實(shí)際發(fā)送字節(jié)數(shù)如果沒發(fā)完你得自己繼續(xù)發(fā)sendall內(nèi)部幫你循環(huán)發(fā)送直到全部完成發(fā)送消息一律用sendall。第二recv的長度參數(shù)是最多讀多少不是必須讀多少所以要實(shí)現(xiàn)上面的recv_exact循環(huán)是必須的。很多線上詭異bug就是有人默認(rèn)recv能一次收全。另外如果你的場景涉及TLSHTTPS、MQTT over TLS那就更有補(bǔ)位操作了——TLS記錄協(xié)議允許對應(yīng)用數(shù)據(jù)做padding來掩蓋流量模式這在設(shè)計(jì)上就叫隨機(jī)擴(kuò)展。所以看到奇數(shù)字節(jié)隨機(jī)數(shù)時(shí)別懷疑是TCP本身做了手腳先檢查協(xié)議棧上層。3.2 recv返回0、Connection reset與no more data to readPython socket編程里有個(gè)經(jīng)典分水嶺新手能讀懂recv()返回值老手能區(qū)分正常關(guān)閉和異常關(guān)閉。recv返回0空bytes表示對端正常執(zhí)行了close()發(fā)出FIN包這是四次揮手的正常路徑。你收到b之后應(yīng)該優(yōu)雅地關(guān)閉本地socket完成對端開始的雙向關(guān)閉。recv拋ConnectionResetError/報(bào)Connection reset by peer表示對端根本沒有正常close而是直接發(fā)了RST包。什么情況會觸發(fā)RST對端進(jìn)程崩潰、對端有數(shù)據(jù)沒讀完就close、或者你往一個(gè)已關(guān)閉的連接上寫了數(shù)據(jù)。比如對端只讀了100字節(jié)就關(guān)閉了socket你后面又發(fā)送了500字節(jié)內(nèi)核發(fā)現(xiàn)對方的接收隊(duì)列已經(jīng)關(guān)閉直接回RST給你。Java環(huán)境下常見的no more data to read from socket本質(zhì)就是輸入流讀到EOF但業(yè)務(wù)代碼還在嘗試讀。這個(gè)報(bào)錯在JDBC連接池里極其高頻原因通常是數(shù)據(jù)庫因?yàn)閣ait_timeout把空閑連接關(guān)了而連接池里的連接對象還認(rèn)為自己是活的。你下次fetch的時(shí)候才驚覺對端早就揮手了。處理這個(gè)問題的標(biāo)準(zhǔn)手法是心跳保活死亡連接剔除。第一層是操作系統(tǒng)級的TCP KeepAlive默認(rèn)參數(shù)非常離譜Linux下要7200秒才探測一次基本等于沒有。你得改內(nèi)核參數(shù)或者用應(yīng)用層心跳覆蓋它。我在實(shí)際項(xiàng)目里傾向于應(yīng)用層心跳因?yàn)槟憧梢钥刂茩z測周期。舉個(gè)例子客戶端每30秒發(fā)一個(gè)心跳包服務(wù)端如果90秒內(nèi)沒收到任何數(shù)據(jù)就判定這條連接死了主動斷開并通知客戶端重連。這個(gè)30秒90秒的窗口按業(yè)務(wù)容忍度調(diào)。心跳消息在協(xié)議設(shè)計(jì)里要單獨(dú)定義一種messageType接收端收到后只回一個(gè)ack不走業(yè)務(wù)邏輯。3.3 超時(shí)設(shè)置的三個(gè)層次連接超時(shí)、讀超時(shí)、寫超時(shí)很多socket編程初學(xué)者是從Python的settimeout入門的但真正到了線上超時(shí)設(shè)計(jì)是個(gè)系統(tǒng)工程。我見過線程被socket卡死、最終拖垮整個(gè)應(yīng)用的案例原因就是沒有給socket設(shè)置超時(shí)或者把超時(shí)設(shè)得太大。Python里一個(gè)典型的完整超時(shí)配置import socket sock socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock.settimeout(5.0) # 所有阻塞操作connect/recv/send共用5秒注意sockettimeout設(shè)置的是一攬子超時(shí)。connect超時(shí)和recv超時(shí)都是同一個(gè)值。如果你想?yún)^(qū)分對待在connect之后先設(shè)置一個(gè)長一點(diǎn)或者短一點(diǎn)的值再改回去也行。Java的SoTimeout是服務(wù)端、客戶端通用的讀超時(shí)connectTimeout只作用于TCP握手階段。這兩個(gè)我已經(jīng)在2.4節(jié)強(qiáng)調(diào)過了。真正容易被忽略的是寫超時(shí)。Java沒有單獨(dú)的socket寫超時(shí)寫操作如果對端接收窗口滿了、一直沒消費(fèi)寫線程就會一直阻塞。這種情況在消息堆積時(shí)很常見。應(yīng)對方案是給寫操作套一層線程池Future.get(timeout)或者干脆用非阻塞IO框架Netty來控制。3.4 抓包工具是socket調(diào)試的最終裁判熱搜里有抓取socket數(shù)據(jù)包這是所有socket調(diào)試手段里最接近真相的。命令行下用tcpdump圖形界面用Wireshark。比如你要抓本機(jī)訪問11434端口的流量tcpdump -i lo -nn -A port 11434-i lo本機(jī)回環(huán)接口很多socket服務(wù)是本機(jī)通信別抓錯了網(wǎng)卡。-nn不做域名解析和端口名解析展示原始IP和端口速度快也省得被誤導(dǎo)。-A把包內(nèi)容按ASCII打印出來適合快速看協(xié)議文本。抓到包之后你至少要學(xué)會看四個(gè)東西TCP三次握手的SEQ/ACK序列、數(shù)據(jù)段的長度判斷粘包還是分包、重傳標(biāo)志網(wǎng)絡(luò)丟包、FIN/RST標(biāo)志判斷連接關(guān)閉方式。有一次我排查一個(gè)收到半包的問題服務(wù)端一直說數(shù)據(jù)不完整客戶端堅(jiān)稱發(fā)送邏輯沒問題。我用tcpdump一抓發(fā)現(xiàn)客戶端把一條應(yīng)用消息拆成了兩個(gè)TCP段發(fā)送因?yàn)橄㈤L度超過MSS最大報(bào)文段大小通常1460字節(jié)。這不是bug是TCP的正常行為——MSS限制導(dǎo)致大消息必須分段。最終方案是接收端加緩沖區(qū)做消息重組而不是去改發(fā)送端的send調(diào)用。4. 嵌入式場景下的lwIP SocketFreeRTOS里那些不太常見的坑4.1 lwIP的socket兼容層吃內(nèi)存、看配置嵌入式方向的開發(fā)者對freertos tcpip lwip socket不會陌生。lwIP在MCU上提供一套類似BSD socket的API但它畢竟不是PC配置和資源限制決定了你會遇到獨(dú)特的坑。先看基礎(chǔ)配置。lwIP的socket功能默認(rèn)是開著的但有幾個(gè)宏控制著關(guān)鍵能力/* lwipopts.h 片段 */ #define LWIP_SOCKET 1 // 開啟socket API #define LWIP_NETCONN 1 // netconn API是socket底層依賴 #define MEMP_NUM_NETCONN 10 // 可同時(shí)存在的netconn結(jié)構(gòu)體數(shù)量約等于socket數(shù)量上限 #define MEMP_NUM_TCP_PCB (LWIP_TCP_SOCKETS 6) // TCP協(xié)議控制塊數(shù)量 #define TCP_MSS 1460 // 最大報(bào)文段大小 #define TCP_WND 32768 // TCP接收窗口 #define SO_REUSE 0 // 低資源設(shè)備默認(rèn)關(guān)掉端口復(fù)用如果你在裸機(jī)無RTOS上跑lwIPNO_SYS1那socket API默認(rèn)不可用只能用raw API。到了FreeRTOS這種帶OS的環(huán)境NO_SYS0才談得上使用socket。我踩過最典型的坑是socket數(shù)量需求超過MEMP_NUM_NETCONN的默認(rèn)值之后調(diào)用socket()不會立刻失敗但后續(xù)的connect()或bind()會返回-1而且你把errno打出來都未必能直接對應(yīng)到內(nèi)存不足。排查方法比較簡單粗暴把lwIP這幾個(gè)內(nèi)存池配置參數(shù)改大然后觀察RAM占用。MCU上RAM是硬約束所以在產(chǎn)品設(shè)計(jì)階段就要定好最多同時(shí)存在多少條TCP連接不要幻想像PC一樣隨便開幾百個(gè)socket。另外lwIP的DNS、DHCP都吃獨(dú)立的內(nèi)存池如果設(shè)備聯(lián)網(wǎng)失敗先檢查這些配置而不是應(yīng)用代碼。4.2 阻塞與非阻塞別讓嵌入式板子卡死在recv里MCU資源寶貴socket編程里最容易讓整個(gè)系統(tǒng)掛死的操作就是阻塞式recv。比如你有一個(gè)TCP客戶端每5秒連服務(wù)器上報(bào)一次數(shù)據(jù)如果在某個(gè)異常時(shí)刻服務(wù)器不回應(yīng)你的recv就永遠(yuǎn)阻塞而FreeRTOS里如果這個(gè)recv占用的線程是低優(yōu)先級任務(wù)系統(tǒng)行為會變得極其詭異甚至看門狗復(fù)位。我的做法是給socket設(shè)置接收超時(shí)這是lwIP本身就支持的選項(xiàng)struct timeval tv; tv.tv_sec 5; tv.tv_usec 0; setsockopt(sockfd, SOL_SOCKET, SO_RCVTIMEO, tv, sizeof(tv));注意lwIP默認(rèn)沒有打開LWIP_SO_SNDTIMEO寫超時(shí)選項(xiàng)如果要用寫超時(shí)得先確認(rèn)這個(gè)宏開了。接收超時(shí)生效之后recv在超時(shí)時(shí)間內(nèi)沒數(shù)據(jù)會返回-1配合errno檢查是EAGAIN還是EWOULDBLOCK來判斷是超時(shí)還是真實(shí)錯誤。更進(jìn)一步的優(yōu)化是用select()配合非阻塞IO讓一個(gè)任務(wù)同時(shí)管理多個(gè)socket。MCU端的select語義和PC端基本一致但要注意fd_set的容量及宏實(shí)現(xiàn)差異建議直接看lwIP頭文件里的聲明按實(shí)際連接數(shù)量調(diào)整。4.3 嵌入式環(huán)境的抓包調(diào)試技巧開發(fā)板上跑不了Wireshark但不代表不能抓包。我在FreeRTOS lwIP的調(diào)試過程中用的最多的方案有幾種。第一種是lwIP自帶的debug輸出。LWIP_DEBUG打開后選擇TCP_DEBUG、SOCKET_DEBUG級別它會在串口打印TCP狀態(tài)變化和socket錯誤碼#define LWIP_DEBUG 1 #define TCP_DEBUG LWIP_DBG_ON #define SOCKET_DEBUG LWIP_DBG_ON這個(gè)日志在定位連接為什么沒建立為什么收到RST時(shí)非常有用比瞎改代碼高效得多。第二種是抓包方案。如果板子用的是以太網(wǎng)可以在交換機(jī)的鏡像端口上掛Wireshark如果是Wi-Fi模組ESP8266之類的在模組固件里開promiscuous模式抓空口包也可以。沒有專業(yè)工具的時(shí)候就用第一種串口日志配合errno逐個(gè)對照。這里補(bǔ)充一個(gè)最容易忽略的細(xì)節(jié)lwIP在FreeRTOS下跑在哪個(gè)線程默認(rèn)是tcpip_thread它要負(fù)責(zé)處理所有協(xié)議棧數(shù)據(jù)。如果你的應(yīng)用任務(wù)里做大量send/recv操作阻塞的時(shí)間越長tcpip_thread的任務(wù)堆積越嚴(yán)重最終表現(xiàn)為整個(gè)網(wǎng)絡(luò)假死。解決辦法是提高tcpip_thread優(yōu)先級同時(shí)保證消息隊(duì)列長度足夠否則一次數(shù)據(jù)突發(fā)就能把隊(duì)列打滿CPU一直在做錯誤處理。5. WebSocket與SSE為什么它們總被放在一起比又該怎么選5.1 一個(gè)被問爛卻總答不清的問題web socket 和 sse能上熱搜說明這個(gè)選擇困擾了大量開發(fā)者。這兩個(gè)技術(shù)思路完全不同但場景上有重疊——都是瀏覽器和服務(wù)器之間的實(shí)時(shí)通信。WebSocket的核心是通過HTTP Upgrade握手把連接升級成全雙工通道。握手請求長這樣GET /chat HTTP/1.1 Host: example.com Upgrade: websocket Connection: Upgrade Sec-WebSocket-Key: dGhlIHNhbXBsZSBub25jZQ Sec-WebSocket-Version: 13服務(wù)端返回101之后連接就從HTTP協(xié)議切換成WebSocket幀協(xié)議之后任意一方都能隨時(shí)發(fā)數(shù)據(jù)。它是一個(gè)徹底的真實(shí)連接和后端socket編程思路一致。SSEServer-Sent Events則完全不同它本質(zhì)上是HTTP長連接客戶端用EventSource發(fā)起請求服務(wù)端不斷返回文本流。關(guān)鍵限制是服務(wù)端到客戶端單向通信客戶端要發(fā)數(shù)據(jù)還得另開HTTP通道。選型其實(shí)不復(fù)雜下面這張表是我給團(tuán)隊(duì)做技術(shù)方案時(shí)用的維度WebSocketSSE通信方向全雙工雙向?qū)崟r(shí)服務(wù)端到客戶端的單向推送斷線重連需自己實(shí)現(xiàn)EventSource自動重連傳輸數(shù)據(jù)格式文本或二進(jìn)制幀僅文本UTF-8代理支持長連接容易被中間代理斷掉基于普通HTTP兼容性好實(shí)現(xiàn)復(fù)雜度較高有握手和心跳協(xié)商前端幾行代碼即可適合場景聊天、游戲、實(shí)時(shí)協(xié)作行情推送、通知、日志流如果你的需求只是服務(wù)器有新數(shù)據(jù)就推給瀏覽器SSE是性價(jià)比最高的方案不需要引入WebSocket庫。但注意SSE有個(gè)坑Vercel、Serverless函數(shù)這類按請求計(jì)費(fèi)或短超時(shí)的平臺不支持長連接SSE會頻繁斷開。反過來如果后端是長駐進(jìn)程SSE就非常穩(wěn)。WebSocket在后端編程上需要考慮的心跳機(jī)制、半關(guān)閉、粘包等問題和TCP socket一脈相承。很多語言的WebSocket庫都提供了ping/pong幀建議每30秒ping一次防止中間代理把空閑連接回收。5.2 跨域問題Socket本身沒有跨域跨域的是瀏覽器socket有跨域嗎這個(gè)問題得分層回答。原生SocketPython、Node、C、Go等沒有跨域概念??缬蚴菫g覽器基于同源策略搞出來的限制跟操作系統(tǒng)提供的socket接口沒關(guān)系。你寫一個(gè)Node TCP服務(wù)任何進(jìn)程都可以連它。WebSocket作為瀏覽器API確實(shí)受跨域限制影響。但WebSocket的跨域和XHR不同它不做預(yù)檢請求而是依賴服務(wù)端在握手響應(yīng)時(shí)校驗(yàn)Origin頭。也就是說瀏覽器會主動把發(fā)起頁面的Origin帶給服務(wù)端服務(wù)端決定放行還是拒絕。很多后端開發(fā)在寫WebSocket服務(wù)時(shí)忘了校驗(yàn)Origin導(dǎo)致任何網(wǎng)站都能連你的服務(wù)這是一個(gè)安全隱患。Pythonsocket或Node net模塊本身根本沒有Origin這個(gè)概念。如果你在Electron、Tauri這類桌面應(yīng)用里做本地socket通信完全不用擔(dān)心跨域走本地回環(huán)地址即可。6. 移動端與消息中間件那些看著不像Socket問題的Socket問題6.1 華為手機(jī)AMQJS0007E移動端連接IBM MQ的真實(shí)排障熱搜里有一條華為 手機(jī) amqjs0007e socket一看就是IBM MQWebSphere MQ的JMS客戶端錯誤碼AMQJS0007Esocket連接失敗。這個(gè)錯不能孤立地理解成MQ服務(wù)器端口不通移動端場景有它自己的特色。我當(dāng)時(shí)處理過一個(gè)設(shè)備端MQ連接問題應(yīng)用在Wi-Fi下連MQ服務(wù)一切正常切成4G之后幾分鐘內(nèi)不定時(shí)掉線日志里刷AMQJS0007E。排查過程分了三步。第一步抓網(wǎng)絡(luò)信號。發(fā)現(xiàn)切換網(wǎng)絡(luò)后TCP連接還在舊的網(wǎng)絡(luò)接口上保持但設(shè)備拿到新IP原來的socket已經(jīng)變成僵尸連接。Android和iOS在移動網(wǎng)絡(luò)切換時(shí)活躍TCP連接基本都會被系統(tǒng)強(qiáng)制回收應(yīng)用層如果不監(jiān)聽網(wǎng)絡(luò)變化事件并及時(shí)重連就會持續(xù)連不上。第二步確認(rèn)MQ服務(wù)端配置。IBM MQ的通道Channel默認(rèn)有MAXSESSIONS和HBINT心跳間隔如果客戶端長時(shí)間不發(fā)送心跳服務(wù)端會主動斷開。移動端尤其激進(jìn)——總是晚一步客戶端還在等服務(wù)器報(bào)文服務(wù)器已經(jīng)因?yàn)樾奶瑫r(shí)把連接回收了。第三步在客戶端做了三重保障監(jiān)聽CONNECTIVITY_ACTIONAndroid或NWPathMonitoriOS網(wǎng)絡(luò)變化回調(diào)網(wǎng)絡(luò)切換時(shí)立刻釋放舊連接設(shè)置MQ客戶端的HeartbeatInterval30讓服務(wù)端知道這個(gè)連接還活著連接失敗后采用指數(shù)退避重連策略比如第一次重連等2秒、第二次4秒、第三次8秒最多等60秒避免在弱網(wǎng)下瘋狂建連打爆MQ服務(wù)。這個(gè)排障思路其實(shí)對所有移動端長連接都適用。AMQJS0007E在PC端大概率是防火墻問題在手機(jī)上八成是網(wǎng)絡(luò)切換心跳超時(shí)的問題。同樣的錯誤碼還是要看部署環(huán)境。6.2 中間件連接超時(shí)與端口配置別忽略本地回環(huán)和端口沖突回到listen tcp 127.0.0.1:11434: bind: only one usage of each socket address這條熱搜如果這是一個(gè)AI服務(wù)或者消息中間件的實(shí)例端口我最后補(bǔ)充一個(gè)經(jīng)典場景服務(wù)本身沒崩但本地還殘留了一個(gè)舊的、看起來像卡死的進(jìn)程占著端口。有一次我調(diào)試一個(gè)本地模型服務(wù)報(bào)的正是bind錯誤。我用lsof -i :11434查到了PID然后發(fā)現(xiàn)這個(gè)進(jìn)程是我的一個(gè)終端會話里沒退干凈的服務(wù)實(shí)例。把那個(gè)進(jìn)程殺掉之后服務(wù)立刻恢復(fù)正常。所以排查bind沖突時(shí)優(yōu)先lsof -i或ss -lntp別再改代碼邏輯了。另外如果你用的是Docker端口沖突還有另一層含義Docker的NAT端口映射會占用宿主機(jī)的端口127.0.0.1:11434這個(gè)映射即使容器停止了如果容器進(jìn)程還在端口也可能被占著。優(yōu)先檢查docker ps里的容器列表。6.3 Socket選型與開發(fā)者自檢清單最后我想沉淀一份選型清單這也是我給團(tuán)隊(duì)做技術(shù)評審時(shí)反復(fù)用的東西。業(yè)務(wù)需求推薦方案不建議的方案局域網(wǎng)內(nèi)自定義協(xié)議、高性能原生TCP SocketHTTP輪詢浪費(fèi)帶寬低資源MCU設(shè)備、少量連接lwIP socket或raw APIWebSocket握手和維護(hù)成本高瀏覽器實(shí)時(shí)雙向通信WebSocketSSE不能上傳實(shí)時(shí)數(shù)據(jù)瀏覽器單向通知SSEWebSocket過度設(shè)計(jì)本機(jī)進(jìn)程間通信Unix domain socketTCP回環(huán)性能低于UDS弱網(wǎng)、設(shè)備端MQTT over TCP長連接HTTP輪詢**每個(gè)socket項(xiàng)目寫完代碼后問自己四個(gè)問題**超時(shí)時(shí)間都設(shè)了嗎斷線檢測機(jī)制心跳加了嗎消息邊界半包/粘包處理好了嗎對端異常關(guān)閉RST/EOF有兜底嗎這四個(gè)問題能過濾掉我見過的八成線上故障。如果都符合了再考慮性能優(yōu)化——Nagle算法關(guān)閉TCP_NODELAY、接收緩沖區(qū)調(diào)大、零拷貝等手段。但順序一定不要反了協(xié)議完整性永遠(yuǎn)優(yōu)先于性能。我個(gè)人在實(shí)戰(zhàn)中最大的體會是Socket編程不是一門靠背API就能精進(jìn)的技術(shù)。你把連接狀態(tài)機(jī)、字節(jié)流邊界、超時(shí)與心跳這三件事想透了絕大多數(shù)熱搜里的報(bào)錯你都能一眼定位。每次遇到新錯誤碼先別急著搜答案按連接能不能建、數(shù)據(jù)能不能讀、數(shù)據(jù)是否完整、連接是否關(guān)閉四步走一遍你遲早能成為團(tuán)隊(duì)里那個(gè)負(fù)責(zé)排障的人。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久美女福利是上海美女| 成人无码专区精品视频| 91综合在线| 久久久久久91香蕉国产| 大香蕉碰碰| 成人无码在线超碰网| 在线 欧美 亚洲| 丝袜内射| 亚洲欧洲综合视频在线| 一级A啪啪啪啪| 明星性猛交ⅹxxx乱大交| 九九超碰综合网| 在线观看午夜婷婷久久久久清性观看| 欧美狠狠操| 柠檬AV导航| 伊人操你| 黄片www视频免费| 91青青在线| 一区二区三区色综合| 天天综合色| 亚洲国产一级精品毛一级精品看免费视频| 国产精品69人妻无码久久久| 成人a级高清视频在线观看| 亚州性色| 高清无码 国产精品| 高清国产精品福利网站| av毛片aaaaa免费看| 人人妻人人澡人人爽人人精品浪潮| 天天天操天天天爱| 人妻熟女一区二区| 天天摸夜夜操视频| 中文幕97| 日韩精品一区,二区 九九...老司机| 亚洲人在线成线成人| 熟女精品一区二区三区| 五月婷婷色| 免费在线观看国内色片网站网址 | 高清国产性猛交xxxx乱大交| 18禁止看精品中文字幕| 国产福利一区二| 欧美懂色综合网| 国产精品久久天天干| 日产欧美电影一区二区三区| 无遮挡男女激烈动态图| 中国一级特黄大片护士| 少妇高潮特黄A片| 91人妻素女| 亚洲色图欧美视频| 九九色热| 96精品久久久久中文字幕| 亚洲熟妇丝袜在线观看| 天天影视亚洲| 欧洲综合无码| 日韩欧美中文日韩欧美色| 日韩中文字幕人妻视频| 欧美特大黄一级片片免费| 国产午夜无码片在线观看影视| 午夜福利视频在线一区| 日本三级中国三级99人妇网站| www.婷婷六月天| 99re6久热只有精品6在线直播| 99久久久无码| 亚洲诱惑天堂 | 日本三级人妻a人妻一在线| 欧美狠狠操| 三级网站超变态精品| 欧美在线色| 日比av无码| 人人搞人人插人人操| 久久草草亚洲蜜桃臀| 国产无吗在线播放| 性吧在线视频| 久久同城AV| 久久男人| 国产精品爱欲| 五月天伊人| 少妇天堂网络| 日日骚av| 日日操丁香五月天| 青草香蕉网| 日本高清视频在线观看黄已三辽| Av手机版天堂网| 国产人妻天天干精品| 七久久久| 中文字幕色AV| 人妻81p| 婷婷丁香久久| 日韩综合97P| 国产h小视频在线观看免费| 国产女人高潮嗷嗷嗷叫小说| 深夜啪啪啪视频免费| 色香伊人| 人妻献身系列第54部| 大香蕉乱伦视频网| 欧美日韩国产人人| 人妻9117c| 亚洲精品精品一区二区| 熟女高潮合集-永久久久-成人AV| 五月丁香黄色网| 色色色999| 亚洲精品白丝| 最新岛国大片| 成人久久无码www| 深夜视频| 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | 91爱| 91久久久久久久久久久| 夜夜欧美 | 亚洲日韩97| 老外又粗又长一晚做五次| 亚洲激情久久| 夜夜高潮夜夜爽夜夜爱爱一区| 天天操天天干一区二区| 亚洲伊人久久精品影院| 国产精品女生av| 日韩美女久久一区二区三区| 91天天| 国产少妇与亚洲av| 天天干18禁| 欧洲色色| 2024黄色视频| 中文字幕国产精品1区| 欧美日韩色| 婷婷在线视频| 国产在线播放成人免费| 精品熟女一区=区三区| 老熟女91视频| 亚洲最大的黄色电影网站。| 久草视频观看视频在线| 长久操视频| 国内毛片无码一级毛片| 午夜啊啊| 97干日韩| 国内毛片欧美香蕉精品| 躁躁日曰躁2020| 超碰无码加勒比| 99热在线不卡| 91人妻中文| 欧美亚洲手机在线| 大香蕉欧美国产日韩高潮| 五月天黄色av| 国产v片在线免费观看| 九九久久99| 国产精品免费1区2区视频| 日日夜夜青青草母狗| 黄页视频网站野外| 亚洲色性| 欧美日韩人人精品| 日本在线不卡一二区| 九九九成人| 第二页中文字幕| 色呦呦呦在线观看视频| 久久久亚洲精品中文字幕人妻| 天天拍天天操| 人人艹亚洲| 九九超碰综合网| 亚洲天堂99| 看日韩黄片| 久久高清无码夜夜操| 三级三久久线久久99久目本WW| 国产99999| 国产大片精久久久久久| 日本操BAV| 美女诱惑久久| 黑人干亚洲| 69精品少妇一区二区三区蜜桃| 日韩免费三级黄片电影| 91蜜臀人妻中文字幕在线| 日韩精彩免费| 日本狠狠干| 天天狠操| 亚洲天堂男人的天堂| 国产亚洲色婷婷99精品91| 精品亚洲国产成人AV制服丝袜| 免费a v| 精久久久| 射欧美综合| 人人干人人搞人人摸| 超碰成人人人爽人人爽| 成片免费观看视频大全| 69视频入口| 久久r精品| 另类欧美综合| 97免费在线观看| 国产精品麻豆免费视频| 激情文学 国产一二三aV| 国产精品无码论坛| 日韩精品黄片免费观看| 岛国免费视频在线| 国产捆绑一区| 91国模| 国产精品夜夜夜| 欧美亚综合色图| 成人欧美一区二区三区黑人一| 国产亚洲欧美每日在线| 1769一区| 九九九热| 好吊色青靑草| 久久久精品网站| 欧美亚州综合网图片| 久久久久人| 超碰久在线天天做| 欧美日韩亚洲五月天婷婷| 欧美在线官网| 在线黄页看毛片| 九九Av| 色香色欲天天综合网天天来吧| 韩国一级AAA| 精品久久无码午夜福利| 国产精品点击进入在线影院| 国产成人亚洲精品无码最新在线| 张柏芝国产一区在线观看| 婷婷激情四射| 久久精品一区二区| 搡老女人老熟女91| 成人性爱AV在线免费观看| 日韩成人私密一级精品av| 96麻豆精品一区二区三区| 国产精品在线免费| 天天草天天日| 亚洲乱色视频一区、二区在线| 一区二区三区机械有限公司| 天天爽天天| 裸体美女国产免费久久久网站| 伊人AAA| 黄色大片一区二区密桃丝袜| 91欧美美女日韩国产婷婷| 久久久穴999| 国产欧美成人精品| 综合网天天| www.亚洲黄色| 玖玖爱免费观看视频| 伊人女女资源在线观看| 欧美日韩成人在线| 激情图片亚洲色图| 亚洲 无码 有码 中文字幕| 骚熟女AV网| 亚洲人妻五月丁香婷婷| 日韩视频啪啪| 91九久| 嗯嗯啊好大| 日韩综合色网| Sekablack无码一区| 91影库| 伊人五月天| 青青青操| 一级免费精品| 国产精品不卡av免费在线观看| 爱妃国产亚洲视频中文字幕| 日本网色| 97超碰无码网| 欧美日韩亚洲天堂| 久操网址| 黄页大片在线观看| 久久精品无码不卡| 无码动漫av中文字幕| 伦伦成年午夜免费视频| 麻豆视频test| 五毛骚逼极品美女怕怕| 日韩欧美亚欧在线视频| 久久99久久99精品天美传媒棢·纸:.| 99久久国产精品免费高潮| 国产精品经典一卡久久久| 91色插| 亚洲欧洲综合成人av一区| 午夜男人一级A片7777| 综精品久久久aaaa| 精品天堂| 日韩欧美中文| 精品九九九九九九九| 日韩大香蕉AV影片| 久久久亚洲欧美综合| 久久久9视频| 久久中文字幕女同性恋一区| 天天摸夜夜添无码小视频| 人妻天堂综合网| AV久日| 日本性爱欧美性爱| 欧美色图片91| 老司机福利青青草| 热天堂一区二区| 人人透人人操| 青青欧美在线| 日韩国产中文字幕| 亚洲女毛多水多21P| 国产精品动态一区二区三区四四| 在线有码中文字幕| 嗯嗯啊啊操死我| 欧美92| 操逼国产免费| 久久啊啊啊视频| 粉嫩av在线| 99久久99久久综合| 大香蕉日韩欧美| 男女激情黄色网址| 亚洲久草AV色图| 久久精视频美日韩在线视频| 色踪合AV| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 亚洲天堂99| 97亚洲资源| 亚洲乱码精品一区二区| 红桃视频高潮| 少妇一级婬片免费放一级a性色.| 激情欧美日韩女同久久| 青娱乐国产精品| 啊啊啊不要嗯嗯在线观看| 亚洲天堂7777| 91插B网站| 色情五月综合婷婷| 男人的天堂2019| 天天干天天操天天拍| 亚洲色图一区二区三区| 日日干夜夜操视频h| 黄片免费视频2019| 欧美人妻一区二区| 色99色| 精品99999| 日韩av色图综合| 一牛影视成人片免费| 九色 蝌蚪 熟女自 | 久久、1234| 亚洲精品成人动漫在线| 欧美丝袜美女电影一二三四区| 爱我干综合| 超碰九区| 99亚洲人人| 大地资源在线观看中文第二页| 天天摸天天操视频| 亚欧中文字幕在线视频| 日韩免费看黄片| 熟妇色99| 日韩成人人妻网站| 日韩精品高清资源在线| 国产精品视频白浆免费| 国产精品99999| 日本97久久久精品| 狠狠干综合| 无码不卡八戒| 久久日韩肥臀| 久久久久久中文版| 亚洲熟妇极品| 手机在线人成免费视频| 一本色道久久天天射天天干| 超碰97久| 中文字幕精品久久久久人妻红杏ⅰ| 入口操逼网站| se吧提供国产乱老熟视频胖女人| 亚洲人妻精品一区二区| 日韩精彩视频| 欧美 日韩 另类 亚洲| 国产欧美亚洲精品a第2页| 女人天堂av在线播放| 亚洲精品国产熟女久久久| 九色 人妻 大香蕉| 91麻豆va国产精品| 亚洲成人免费中文字幕| 国产精品人妻免费精品| 中国和日本人色哪个不下载能放| 久草在| 综合影院亚洲| 亚洲成人av色网| 熟妇操花| 日本高清有码网址视频| 国产一级137片内射麻豆| 97精品久久| 九九热re99re6在线精品| 色偷偷色偷偷欧美日韩| 国产熟女一区二区丰满| 91精品成人| 亚洲熟妇乱女区二区三区| 色欲久久综合| 高清在线偷拍自拍视频| 久久久久久国产精品免费网站| 天堂69亚洲精品中文字| 国产AV色黄看到爽| 亚欧免费| www.91理论| 6080yy午夜理论三级一区二区三区无码| 亚洲高清无码在线桃色| 18禁超污无遮挡无码免费网| 中文字幕 国产 精品| 国产aⅴ无码片毛片一级网站| AV一起草在线| 色就色综合| 国产高清吃奶免费视频网站| 久久精品国产亚洲5555| 草草电影院| se..亚洲欧美| 亚洲国产精品无码AV久久久| 欧美激情视频在线一区| 在线A日本| 一起草日韩| 一区操逼日比视频| 欧美特大黄一级片片免费| 久久国内| 婷婷五月天影院| 天堂岛av| 国产白领连续中出在线观看| 久久99精品国产| 欧美亚洲厕所精品偷拍91| 男人的天堂日本东京热| 啊啊在线| 视频一区二区免费在线| av强奸乱轮| 在线v中文字幕一区二区三区| 日本韩欧美在线播放a| 亚洲夜夜欢无码一区二区| 婷婷月色| 神马久久网| 久欲AV| 亚洲高清欧美总合| 日本中文字幕不卡视频| 久久久国产亚洲精品系列| 欧美亚洲日本激情在线| 国模限制级电影| 精品国产国产AV| 国内精品久9| 日本不卡二区| 日本熟妇人妻中出视频| 久久久久久久久久久久久9999| 啊啊啊啊操死我了| 欧美自拍网| 91天天看| 两性综合网| 伊人97色天使| 9久9久9久9久视频网站| 成人精品久久久午夜福利| 久久精品国产96精品亚洲拳交| 丁香五月天视频| 亚洲日韩少妇一道本视频| 久久激情婷婷| 麻豆啪啪啪视频| 日本一二区免费 | 日美免费黄片| 狠狠搞 亚洲91| KK色在线影院| 免费的黄片有限公司| 99天堂网| 天天综合站| 国产人妖的免费的视频| 亚洲伊人久久精品狠狠在线| 丝袜综合网| 三级三级三级a级全黄三| 日本97久久久精品| 性色A∨91| 日韩女模中文造逼| 亚州综合AⅤ| 射久久| 五月丁香婷婷啪啪| 亚洲 中文 欧美 日韩 在线| 成人八戒网站| 久久久久久久久久久久欧美日| 亚洲综合影院| 久久久久久亚洲精品不卡人乳| 18啪啪手机免费性爱| 99色综合| 天天日天天干少妇日| 日本久久天堂| 后入综合久久| 蜜桃无码AV一区二区| 欧美 综合 亚洲| 日逼逼免费看| 麻豆 亚洲 97| 亚洲 日韩 丝袜 熟女 变态| 欧美最大综合网| 天天操夜夜操狠很操| 久久久久久波多野吉衣高潮| 午夜男女爽爽爽影院视频| 小少妇| 97干色| 精品四五区| 91九九| 91大胆欧美| 亚洲美女AV无码| 欧美最婬乱婬爆婬性视频 | 日产操逼| 久久久久ab| 26UUU欧美激情一区二区| 熟女一区二区三区| 日本一级性爱| 天天综合-91入口| 色五91| 大象AV在线| 亚洲三级网址久久最新| 免费伦费视频在线观看| 天天操熟妇| 97干在线| 亚洲国产一区二区日韩专区| 日韩亚洲97| 五月婷婷激情综合| 亚洲综合欧美| 国产精品久久久久久久免牛肉蒲团| 老熟女乱子伦中文字幕一区二区| 人人九九精| 色5月婷婷| 91狠狠综合网| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 五十路熟女在线不卡观看一区二区| 国产男女无套视频免费观看| 三级色影综合网| 伊人大香蕉在线| 萌白酱自拍视频| 久久久涩| 久久超碰大香蕉| 欧美专区日本专区| 91综合色噜噜| 久久华人网| 啪啪91| 日韩欧美aⅴ综合网站发布| 视频二区美腿制服人妻欧美| 校园春色亚洲欧洲| 久久久久国产无av| www.久久制服糖| 欧美色图另类图片| 欧美日韩青操| 99久久无色码| JULIA一区二区三区在线播放| 精品欧美老熟女一二区| 97在线欧| 伊人久久大香线综合无码| 91丨九色丨43老版熟女| 女同女同恋久久级三级| 久久男人的天堂| 97欧美色| 久草在| 国模限制级电影| 天天做日日爱夜夜爽| 中文字幕美女91| 亚洲狠| 精品无码产区一区二| 澳门人妻久久| 五月天色图影视| 一区二区三区精品视频| 草草影院最新网址| 99综合免费视频| 日韩无码三级影院| 成人自拍三级在线观看| 成人午夜高潮av猛片| 男人的天堂一区| 久9久9久9久9久9久9| 使劲用力艹少妇视频一区二区| 91精品国产综合久久久蜜臀| 五月天成人综合| 综合操逼| 午夜电影在线观看无码专区| 无码高清少妇久久| 中文字幕国产在线天堂| 免费视频一二三区| 久久一区二区蜜桃| 亚洲中文字幕熟女少妇一区二区| 情色大香蕉| 人妻少妇久久中文| 997色在线| 中出在线视频| 色网亚洲人| 伊人性在线视频| 91熟女视频网| 天堂亚洲欧美| 97在线观看免费视频| 舔足天天操天天射| 百度百度日本操逼| 亚洲天堂五月天国产| 日韩精品中文字幕人妻| 热久久国产| 无码精品久久久天天影视 | 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 超清中文乱码字幕| 乱伦强奸区日韩| 日韩欧无码一区二区三区免费不卡| 久久久久99999| 男人天堂网址| 久久久久亚洲三级电影| 天天干干天天干干| 性爱精品一区| 精品一区二区三区蜜桃臀赵总 | 乱伦a片视频| 色色色色日本| 亚洲国产无码精品首页久久久| 可以在线观看AV的网站| 最近的最新的中文字幕视频| 992这里有精品| 中文字幕视频一区视频二区| 色娱乐色呦呦夜夜夜夜av| 色香欲天天天天综合色| 99热一区二区三区四区| 国产午夜精品理论片a大结局| 操操逼视频| AV不卡在线| 亚洲操操| 天天享受天天看| 中文字幕伊人| 久久天堂| 亚洲色图亚洲无码强奸乱伦| 亚洲天堂区| 欧洲与亚洲欧美精品中文字幕| 色眯眯av| 97综合| 两性色网| 一区黄二区黄| 自拍第一页| 综合久久久久久久久91| 欧美v亚洲v日韩v最新在线二区| 另类在线| 欧美性天天影院| 少妇久久久久| 国产一区二区啪啪视频| 久久超碰、| 丝袜 中出 制服 人妻 美腿 中文字幕| 最新无码国产| 色色色999| 色天堂综合| 激情小说亚洲色图| 一级A啪啪啪啪| 粉嫩国产精品久久久| 亚洲女优有码无码高清| 午夜乱轮操逼视频免费看| www.色婷婷| 久久久久921| 夜夜草我| 日本天天人人狠狠在线日美女| 青草伊人久久| 国产精品亚洲一级av第二区| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 九七毛片九九毛片| 十八禁视频一区二区| 91丝袜美女国产| 久久激情视频| 色综合久久88色综合久久天天| 成人女人国产| 91美女在线观看| 色色亚洲| 一区二区视频在看| 丁香五月影院| 国产免费小视频| 欧美性爱在线无码| 亚洲素人综合| 综合欧美日韩在线观看| 亚洲日韩久久精品一区| 免费又黄又裸乳的视频| 天天天天天天天天综合| 欧美的性爱网站免费| 宅男91视频在线播放| 农村女一级毛卡片| 天天欧美色| 久久久久久久久999| 私色综合网| 亚州男人天堂| 亚洲免费精品一区| 日本国产亚洲一区在线观看| 国产有码一区| 国产精品蜜臀久久久久无码AV| 97视频在线观看高清资源| yaouchengrenav| 亚洲男人天堂网久久| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 中国国国产一级特黄毛片| 国产丝袜高跟美女av免费观看| 成人性爱美曰韩| 蜜桃臀AV在线| 超碰99在线| 亚洲97在线| 歐美一級亂黃99在綫精品| 一本色道无码DVD中文字幕| 99国产精品久久久久久久成人热| 亚欧免费| 亚洲骚男同com| 久久伊人大香蕉| 久久久久久九九九| 超碰 av 女人天堂| 偷拍自拍在线视频观看| 强乱老妇中文字幕| 国产九九久久久精品| 草莓精品视频在线免费观看| 久湿久久 | 中文字幕加勒比海高清无码免费视频 | 污污汅18禁网站在线永久免费观看 | 人妻久久| 嫩草伊人久久精品| 岛国片在线观看视频亚洲| 蜜臀久久99精品久久久久久婷婷| 嗯嗯啊啊用力视频免费| 午夜偷拍久久熟女| 搡老女人老熟女91老熟女综合网| 亚洲中文字幕乱码无码一区二区| 嗯啊抽插大香蕉网页| 97操碰| 成人日韩中文字幕| 欧美性爱在线无码| 人人爱人人乐人人操| 美女干逼2| 国产欧美日韩在线观看麻豆传媒公司| 五月丁香六月综合缴清无码 | 欧美日韩性爱操大逼| 国语av狠狠色丁香婷婷综合激情| 色亚州人久干视频在线观看免费版| 99只有精品| 精品午夜福利国产一区二区在线观看 | 丰满人妻-区二区三区免费看 | 国产熟女一区二区丰满| 干婷婷综合网| 日本操逼视频不卡直接放| 四虎精品永久在线观看| 欧美中字二区| 午夜男人天堂| 亚洲欧美日韩综合在线尤物| 亚洲视频1区| 日本Suv精品一区二区| 天堂资源站| 真实高潮91| av资源在线播放天堂| 无码人妻精品一区二区三区99不卡| 久久激情视频| 亚洲欧洲无码一区夜| 女色视频社区| 久久99网站| 十八禁成人网站在线观看| 国产美女在线精品免费看| 日日干日日摸| 久久久精| 青青草久草AV| 成人五月天色网| 97在线免费看| 成人贴图日韩欧美| 开心五月深爱五月| 日韩精品一区二区三区色欲| 久久人人舔人人爽舔人人av片| 国产黄色视频久久| 搡老女人老91妇女老熟女| 久久男人| 怡红院久久老司机| 91无码人妻精品一区二区三区蜜桃| 久久亚码| se,,,亚洲欧美| 男女激情中文字幕| 色哟哟-国产专区| 一区久久久二区| 婷婷情色综合网| 免费视频在线观看啊啊啊啊啊| 久久人妻视频网| 97操碰| 另类图片五月天| 婷婷导航| 加勒比在线视频| 95精品在线| 国产欧美一区二区| 欧美亚洲第1页| 九九九久久久久| 蜜臀久久99精品久久久| 97超碰香蕉| 亚洲另类春色| 国产操逼网站亚洲一级黄色| 91综合网| 国产亚洲欧美每日在线| 欧美黄色大片在线观看 | 欧美福利视频啊啊啊啊| 秋霞操逼片| 中国国产精品一区视频| 亚洲乱码国产乱码精网站| 欧美麻豆成人同性GⅤ在线| 久久久精品国产亚洲AV无码| 天天爱天天操| 亚洲天堂另类小说男人| 夜夜嗨绯色| 日韩专区久久久| 久久超碰com| 家庭乱伦麻豆| 精品亚洲国产成人精品| 综合啪啪| 台湾佬中文娱乐自偷自拍| 亚洲诱惑| 欧综合网| 日小BB小视频| 国产伦精品一区二区三区在线观| 九九九九九九九精品视频| 91亚洲青青草原精品1区| 欧美日韩大陆黑人少妇99| 综合天天。| 久久午夜色播影院免费高清| 嫩草在线视频| 久99热| 99re这里只有精品中心播放 | 国产美女裸体秘 永久无遮挡| 国产超碰人人爽人人做| 九九精品美女高溯喷水 | 欧洲亚洲国产综合在线| 中文字幕一区二区三区视频播放| 亚洲美女精品| 精品大全99999| 天天干天天操天天操夜夜操天天操 | 国产成人精品日本亚洲语言| 欧美大码在线视频| 精品欧美日韩在线观看| 91精片| 色综合久久88色综合久久天天| 国内91熟女人妻丝袜天天精品视频在线| 日韩99神马视频播放| 久久大香蕉97| 国产啊v在线免费播放| 婷婷在线播放| 亚洲人精品午夜不卡| 欧美日韩在线视频网站| 国产一级片| 亚洲十八禁止| 国产精品久久久久久亚洲色欲| 国产成人精品亚洲日本| 婷婷色网| 国产v亚洲v日韩v欧美v片另类| 屁屁影院一区二区三区国产| 欧美综合色站| 日日爱99| 99色在线| 自拍啪啪视频| 黑人操一区二区| 久久久久久九九九九-美女久久久久久久-成人AV | 中文字幕乱碼在线| 91 丝袜在线播放| 九九RE视频在线精品| 成人黄页| 26uuu欧美日韩| 国产天天骚| 1区2区3区视频| 亚洲中文字幕网| 亚洲在钱| 午夜寂寞欧美| 啊啊啊啊啊好舒服视频| 美女视频尤物网在线看| 欧美一区二区三区大综合| 久久超碰网| 人妻少妇色综合| 大香蕉99re| 中文字幕亚洲在线一区| 91在线国产后入风骚翘臀美女素人| 伊人丁香五月婷婷| 亚洲 欧美 小说| 白丝被操91| 蜜臀AV成人精品蜜臀AV久久| 国产午夜精品在线观看| 2011国产精品| 看全色黄大色大片免费视频| 无码99| 国产精品精品系列在线观看| 色噜噜人妻av 中文字幕| 国产精品日日摸夜夜添骚逼| 蜜臀久久久久久999| 国产一区在线播放| 女人妻一区| 麻豆综合一区av| 久操在97| 日本性爱不卡视频| 91精品在线播放| 天天做天天爽| 中文字幕精品探花视频| 精品一久久久| 操B在线观看| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 老师充足的奶水小说| Av手机版天堂网| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 欧美性色欧美| 天无日色综合| 欧美日韩另类在线| 国产自产22区| 欧美综合站| 级做a爱无码性色永久免费| 午夜精品久久久久| 国产视频一区二区免费| 丰满人妻-区二区三区| 日日日啊啊啊| 少妇高潮对白在线观看| 欧美—性—交—色| 性色高清在线| 国产 v乱码一区二| 麻豆精品一区二区三区四区免费观看| 久久最新视频免费观看| 大伊香蕉在线视频免费| 美女久久久| 麻豆国产成人精品| 六月丁香网| 人人操人人摸人人看人人插| 人人妻人人色一区二区三区| 精品夜夜澡人妻无码| 精品欧美А∨无码黑人大荫蒂| 九九九九一区| 色九月综合| 极品极品色影院| 欧美熟妇成人一区二区| 青草伊人网| 国产精品网站www| 欧美一级色| 中文字幕一区二区日韩网| 国产多人在线观看视频| 91操熟女视频| 97色涩| 亚洲.欧美.丝袜.中文.综合| 国产一级不卡在线观看| 国产精品剧情| 97精品视频在线播放| 97超碰色屌| 九九在线精品| 国产三级中文有码在线视频| 人人模人人看| 97欧美综合网| 97视频在线免费播放| 欧美AB在线观看| 久久99亚洲精品久久99果| 国产无码精品高清| 97超碰碰| 啊啊啊啊啊啊在线| 超碰综合97在线| 97国产色图 | 日本一卡二区在线| 日韩欧美中文字| 欧美日日夜夜| 欧美|91色综合| 丁香婷婷久久| 中文字幕日本久久| 日本国产高清色www视频在线| 韩国免费播放一级毛片| 特色a在线上| 欧美性性性| 中出91视频| 国产欧洲精品亚洲午夜拍精品| 青青草精品| 快点操死我| 欧美精品另类人妖xxxx| 99无码视频| 国产激情综合| 深田咏美亚洲精品福利社| 精品国产人成在线| 精品日韩中文在线| 亚洲色图尤物视频| 中国操逼无码| 男人女人18禁片免费看网站| 欧美爱爱97| 91精品91久久久中77777| 久久精品导航| 亚洲色人阁| 久久αⅴ| 超碰91在线| 97亚洲精品| 日本国产欧美一区三区二区| 97超碰人人模人人拍人人| 啊啊啊操死我| 成年无码动漫av片无尽在线| 中文操逼字幕| 国产午夜福利专区综合| 国产亚洲日韩欧| 中国一级操逼视频| 少妇干B| 韩国一级婬片A片AAAAA| 婷婷综合久久| 天天欧美色| 极品内射| 天天日美女的B| 亚洲不卡一| 久久这里只| 国产91福利小视频在线观看| 大香蕉免费3| 日本免费人成视频播放120秒| 久久亚洲AV成人精品无码| 亚洲Av无码成人精品国产| 大香蕉久| 91久青| 欧美亚洲厕所精品偷拍91| 午夜精品久久久久久久| 韩日欧亚a级| 秋霞Av理论一级在线| 国产在线激情视频| 国产又粗又长又爽又色| 口爆综合网| 中出789在线视频| 四虎影视永久在线观看精品免费网站 | 欧美韩日精品资源| 国产又粗又长的视频| 少妇久久久久久| 久久黄色性爱视频| 亚洲操操操| 超碰人妻中文在线| 欧美三四五区| 国产亚洲福利第一页丝袜| 综合免费无码中文| 2020视频1区2区3区| 嗯嗯啊好大| 在线天堂资源亚洲| 成人无遮挡毛片免费看| 免费一级视频特黄色大片| 搡老女人老妇女老妇老熟女怎么读| 亚热日本熟女| 国产精品诱惑| 色乱二区| 久久久久9久久久久| 死我十八禁| 四虎午夜影院| 婷婷五月激情综合| 麻豆 亚洲 97| 蜜臀久久99精品久久久久| 亚洲天堂人妻熟妇视频| 欧美综合站| 亚洲麻豆18发?| 13小男生GAY自慰脱裤子| 动漫爆乳3D奶水一区在线观看| 丝袜综合色图| 美女91AV| 中文字幕十五区| 欧美se综合| 日韩成人大片一区二区| 国产农村妇女精品一| 久久久久久综合久久伊人蜜月| 干干干天天| 97超碰无码网| 亚州男人天堂| 99ri精品| 亚州国产成人精品女人久久| 成人蜜乳小视频网站| 婷婷丁香六月| 久区视频| 激情视屏国产乱伦强奸| 精品亚洲俞拍视频一区| 男人天堂网站| 亚洲综合小说另类图欧美视频激情小说色五月天 | 哈哈操电影AV| 亚洲欧美小说| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 超碰免费在线| 亚洲中文字幕久久无码精品| 手机在线视频国内精品| 精品亚州18| 国产又黄又粗的视频| 色综合中文字幕不卡| 精品九九| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 97在线看| 久久久久久国产精品| 久久久久久人| 操逼操网| 97人妻人人躁人人玩人人| 老司机深夜影院18未满| 啊啊啊啊好大好硬啊啊啊啊啊| wwwxxx日本爽| 小明看看网址| 日韩图区 偷拍| 天天综合麻豆视频| 丝袜熟女一区二区三区| 超碰一区二区| 手机看片1024你懂的国产| 大干人妻| 九九黄色网| 国产精品96| 欧洲免费一区二| 9国产超碰| 精品一区二区三区四区外站| 中文字幕91页| 亚洲男人天堂视频| 97色婷| 九九九九国产| 日韩二三区| 亚洲色色探花| 欧美特黄视频网站| 日日夜夜干| 精品九九九九九| 久草色悠悠在线视频| 日韩在线一区高清在线| 精品人妻一二三四区视频| 亚洲最大网站av| 人人妻人人玩人人澡人人爽| 丰满人妻一区二区三区在线| 91性高朝久久久久久久久| 亚洲精品一卡二卡三卡福利视频网站| 亚洲国产精品成人无码久久久| 96国产精品| 1024亚洲中文字幕久在线看片你懂的| 日本爽爽爽爽爽爽免费视频| 少妇色综合| 一区二区日韩欧美久久| 日本人妻伦在线中文字幕| 试看60秒| 色色色色色色色色色色色色色色综合 | 久久AV无码网址| 97久久超碰国产网站| 日韩精品一区二区日韩| 天天日天天干天天摸天天操| 鲁鲁色综合网| 狼狼色丁香久久婷婷综合五月 | 欧美亚洲尤物久久| 91制服丝袜| 大香蕉在线免| 九九色逼| 日韩黄片影院| 中文字幕黄色一起草| 草蕉影视亚洲无码| 欧美在线播放aaaa| AA级电影三区| 99热精品在线观看| 熟女一区二区三区| 亚洲日本加勒比在线| av日韩国产一区二区| 国产99热| 亚欧美综合| 18岁禁 茉莉成人久久| 九九99精品视频在线观看| 国产无码高清操逼视频| 人人操人人摸超碰| 超碰一区二区| 亚91亚洲网| 91色情黑丝搞鸡在线观看一区二区三区三州| AA级电影三区| 亚洲情欲| 在线观看啊啊啊啊啊| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 久久精品国产亚洲妲己影视| 99国产女人| 伊人嫩草| 天天操人人操骚逼网站| 欧美日本久久精品一区| 91 刺激在线| 午夜男女爽爽爽在线视频| 熟妇的味道HD中文字幕| 日本成人在线不卡一区二区三区| 97精品一区| 伊人亚洲综合| 国产成自自拍在线观看| 美女露胸露屁股| AA丁香综合激情| 欧美性爱精品一区二区| 人妻81p| 日本三级A片网站com| 富女玩鸭子一级毛片| 91制服丝袜中文字幕| 亚洲狠狠入| 亚洲双插| 精品无人区麻豆乱码1区2区图片| 91影视亚洲| 久久精品视频一区三区小泽玛利亚| 精产国品一区二三产品| 97青青操视频| 欧美大香蕉在线观看| 久操视频免费在线观看| 日本三级久| 91 在线亚洲| 久久最新免费视频23| 97干日韩| 国产精品 亚洲情色| 国产欧美一区二区| 蜜臀在线免费观看在线免费观看| 亚洲美乱| 欧美日日夜夜| 亚洲大色堂| 欧美少妇性乱| 碰超人人在线一区二区三区| 亚洲无限观看| 91女优在线观看 | 婷婷香网站| 天天综合网~91综合网| 美国三级日本三级久久99| 夜夜国自区| 国产精品9999| 思思热一热婷婷热一热| 亚洲综合情色| 久久成人精品|