色五月色开心色婷婷色丁香,五月婷婷丁香花综合网,婷婷丁香五月激情综合在线,五月婷婷六月丁香动漫,婷婷丁香五月激情综合在线,丁香花中文字幕在线观看,播五月色五月开心五月网,开心激情综合网,狠狠色丁香婷婷综合最新地址,丁香视频在线观看,狠狠做六月爱婷婷综合av,久久激情五月丁香伊人

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Agent-Reach:打造多Agent協(xié)作的可靠觸達層與管理實踐

Agent-Reach:打造多Agent協(xié)作的可靠觸達層與管理實踐 如果你的多 Agent 系統(tǒng)只在一臺機器上跑你可能還意識不到 Agent-Reach 的價值。等 Agent 被拆到不同容器、不同機器、不同網(wǎng)絡(luò)區(qū)域后你就會遇到一類特別詭異的現(xiàn)象Agent 的進程明明活著日志還在打印但調(diào)度 Agent 就是連不上它。我在負責(zé)一個多 Agent 質(zhì)檢系統(tǒng)時被這個問題連續(xù)折磨了兩周。后來折騰出了一個輕量工具就是 Agent-Reach。它解決的問題非常具體多 Agent 協(xié)作里的觸達管理——Agent 如何注冊、如何被感知、任務(wù)消息如何可靠投遞。這篇文章會從一次真實事故講起掰開揉碎介紹 Agent-Reach 的架構(gòu)、核心算法、接入步驟和排查經(jīng)驗。無論你是在用 LangGraph、CrewAI 這類編排框架還是準(zhǔn)備自己手寫多 Agent 服務(wù)只要你的 Agent 需要跨進程、跨機器協(xié)作這篇文章里的思路都可以直接參考。1. 先從一次線上事故說起Agent 為什么叫不應(yīng)1.1 一次真實的多 Agent 超時事故當(dāng)時我們有一個質(zhì)檢系統(tǒng)跑著 12 個 Agent分別部署在兩個機房和一組容器節(jié)點上。為了把這些 Agent 串起來我們用了主流的微服務(wù)注冊中心做服務(wù)發(fā)現(xiàn)每個 Agent 啟動后上報自己的 IP 和端口主調(diào)度 Agent 通過注冊中心拿地址然后直接發(fā)起 HTTP 調(diào)用。起初一切正常直到某次發(fā)布后集中式調(diào)度器開始大量出現(xiàn)connect timeout很多子 Agent 的任務(wù)隊列里堆了上千條消息。我們第一反應(yīng)是網(wǎng)絡(luò)問題于是登錄到調(diào)度機器上手動 curl 那些 Agent 的地址。結(jié)果非常詭異幾乎每個地址都能通端口響應(yīng)也正常Agent 的健康檢查接口返回 200。但一旦讓調(diào)度器去調(diào)用真實的業(yè)務(wù)接口就有一半概率卡住最終超時。后來我們查了很久才發(fā)現(xiàn)問題出在受檢 Agent 內(nèi)部其中一個核心組件出現(xiàn)了死循環(huán)導(dǎo)致處理線程幾乎被占滿但負責(zé)健康檢查的線程還能響應(yīng)簡單請求。這個事故讓我徹底意識到傳統(tǒng)微服務(wù)的注冊中心模式放在 Agent 協(xié)作場景里是不夠的。Agent 的可達不能只看進程是否活著更要看它有沒有能力接收并處理當(dāng)前的任務(wù)消息。為了應(yīng)對這一類問題我需要一個專門為 Agent 設(shè)計的東西它得懂 Agent 的注冊、心跳、網(wǎng)絡(luò)探測和消息投遞而不是讓我把微服務(wù)全家桶搬過來再魔改一遍。后來Agent-Reach 就這么誕生了。1.2 Agent-Reach 是什么適合誰Agent-Reach 本質(zhì)上是一個面向多 Agent 協(xié)作的輕量觸達層。它不是一個完整的 Agent 框架不提供大模型推理能力也不替代 LangGraph 這類編排工具。它專注解決三個問題Agent 如何注冊和發(fā)現(xiàn)、Agent 當(dāng)前是否真正可達、任務(wù)消息如何可靠地投遞到正確的 Agent 實例上。你可以把它理解成 Agent 世界的電話交換機 健康檔案。Agent-Reach 用 Go 實現(xiàn)核心是一個中心服務(wù)各 Agent 通過多語言 SDK 接入。目前我主要維護 Python 和 Node 兩種 SDK基本覆蓋了實驗性項目的常用語言。如果你正在做跨進程、跨機器部署的 Agent 協(xié)作尤其是遇到服務(wù)注冊了但調(diào)用不到進程活著但任務(wù)不消費這類問題很適合嘗試這套思路。如果你只是在本機用兩個 Agent 做演示那暫時不必引入它Agent-Reach 的價值在于分布式環(huán)境下的確定性。2. 整體架構(gòu)設(shè)計Agent-Reach 如何做到統(tǒng)一觸達2.1 注冊、探測、路由三層結(jié)構(gòu)Agent-Reach 的架構(gòu)不復(fù)雜核心是三個組件注冊中心Registry、可達性探針Reach Probe和觸達路由器Router。這三個組件互相配合形成一條完整的鏈路。注冊中心負責(zé)維護每個 Agent 的元數(shù)據(jù)包括 Agent ID、能力標(biāo)簽、地址列表、版本號、啟停時間等。它默認使用 SQLite 存儲單機幾百個 Agent 沒問題如果要部署多副本可以把存儲后端切換到 etcd??蛇_性探針會不斷從注冊中心拉取 Agent 地址并主動發(fā)起 TCP 探測測量往返時延、丟包率和連通性然后生成一個綜合的可達性評分。觸達路由器則是消息的發(fā)貨員當(dāng)調(diào)用方通過 Agent ID 請求某個 Agent 時路由器根據(jù)注冊信息和評分結(jié)果選擇一個最優(yōu)實例把消息投遞過去失敗時自動進入重試流程。三者之間的數(shù)據(jù)流大致是這樣的Agent 啟動時SDK 先調(diào)用agentreach.Register()把自己注冊進去然后后臺線程每隔固定時間上報一次心跳服務(wù)端的探針從注冊中心拿到地址列表主動測一遍并把結(jié)果寫回注冊中心當(dāng)業(yè)務(wù)代碼調(diào)用agentreach.Send()時Router 會結(jié)合注冊列表、心跳狀態(tài)、探測結(jié)果來決定投遞路徑。整個過程中調(diào)用方永遠只關(guān)心 Agent ID不需要維護任何 IP 或端口表。這個設(shè)計帶來的直接好處是你調(diào)整 Agent 副本、遷移服務(wù)器、更換容器網(wǎng)絡(luò)都不需要改動調(diào)用方代碼。2.2 為什么不用純注冊中心方案可能有人會問直接用 Nacos、Consul 這類注冊中心不行嗎我之前也這么想過但實踐下來有幾個坑。第一傳統(tǒng)注冊中心的健康檢查通???HTTP/health接口返回 200 就認為是健康的。但 Agent 場景的問題在于健康接口可以很輕而實際業(yè)務(wù)處理線程可能已經(jīng)被拖垮。也就是說傳統(tǒng)健康檢查給不出是否有能力消費消息的判斷。第二Agent 的實例地址經(jīng)常動態(tài)變化尤其是容器環(huán)境一個 Agent ID 可能對應(yīng)多個實例傳統(tǒng)注冊中心雖然支持服務(wù)列表但按能力標(biāo)簽路由需要大量二次開發(fā)。第三注冊中心本身不負責(zé)消息投遞它只解決誰能被找到不解決消息怎么送進去。Agent 協(xié)作最關(guān)鍵的恰恰是后者任務(wù)消息要可靠地進入目標(biāo) Agent 的處理隊列并且在失敗時能夠重試、轉(zhuǎn)移。Agent-Reach 沒有把自己定位成又一個注冊中心而是把注冊、探測和投遞三個動作整合到同一個上下文里。調(diào)度決策可以同時參考元數(shù)據(jù)和實時探測結(jié)果盡量避免查到的節(jié)點活著結(jié)果一調(diào)用就超時的尷尬。這套邏輯用熟了以后你再回去看傳統(tǒng)注冊中心會覺得它只解決了一半問題。2.3 心跳與探測雙通道的取舍Agent-Reach 使用了雙通道來做可達性判斷應(yīng)用層心跳和服務(wù)端主動探測。這兩條通道各有側(cè)重缺一不可。應(yīng)用層心跳由 Agent SDK 主動發(fā)起默認每 10 秒上報一次除了我還活著之外還會攜帶當(dāng)前負載、正在處理的任務(wù)數(shù)、最近一次任務(wù)完成時間等業(yè)務(wù)狀態(tài)。服務(wù)端主動探測則從 Agent-Reach 服務(wù)端的視角出發(fā)向 Agent 注冊地址發(fā)送 TCP 探測包測量 RTT、丟包率等網(wǎng)絡(luò)指標(biāo)。雙通道的價值在于互相校驗心跳是 Agent 自己說的可能因為代碼 bug 而失真探測來自服務(wù)端更接近真實調(diào)用的網(wǎng)絡(luò)視角但它看不到業(yè)務(wù)內(nèi)部狀態(tài)。只有兩者交叉才能同時發(fā)現(xiàn)進程假活和網(wǎng)絡(luò)不通這兩種問題。舉一個實際例子某個 Agent 因為資源泄漏進入半死狀態(tài)心跳線程還能跑但業(yè)務(wù)線程已經(jīng)全部阻塞。此時鏈路探測可能完全正常不過 Agent 上報的正在處理任務(wù)數(shù)會持續(xù)上漲。Agent-Reach 就會結(jié)合這個業(yè)務(wù)指標(biāo)把該 Agent 標(biāo)記為業(yè)務(wù)性不可達而不是繼續(xù)把新任務(wù)硬塞進去。反之如果心跳線程掛掉了但探測正常說明 Agent 進程還在但狀態(tài)上報出了問題這種情況會觸發(fā)告警但不會立刻判定為離線。兩條通道互相印證信息更可靠。3. 核心細節(jié)可達性評分與可靠性投遞3.1 AgentReachScore 評分公式Agent-Reach 最核心的指標(biāo)是AgentReachScore范圍 0~100。它不是簡單的通或不通而是通過加權(quán)計算給上層調(diào)度提供一個精細的優(yōu)先選擇依據(jù)。默認公式是ReachScore 50 * heartbeatScore 30 * rttScore 20 * lossScore三個子分?jǐn)?shù)的計算方式分別如下。心跳分?jǐn)?shù)heartbeatScore取決于最近一次心跳的新鮮度設(shè)置的心跳間隔是 10 秒如果心跳 age 小于 10 秒取 1.0超過 30 秒后線性衰減到 0。RTT 分?jǐn)?shù)rttScore根據(jù)服務(wù)端到 Agent 的探測往返時延計算小于 20ms 為 1.0大于 500ms 為 0中間線性映射。丟包分?jǐn)?shù)lossScore基于最近 10 次探測的丟包率0% 為 1.0超過 30% 為 0。這三個權(quán)重不是拍腦袋定的。我們在壓測中發(fā)現(xiàn)Agent 失去響應(yīng)比單純網(wǎng)絡(luò)慢對協(xié)作體驗的破壞要大得多所以心跳新鮮度權(quán)重最高RTT 主要影響單次調(diào)用的等待時長影響次之短期丟包可以通過重試來緩解所以權(quán)重最低。你可以根據(jù)自己網(wǎng)絡(luò)的實際情況調(diào)整權(quán)重。比如在內(nèi)網(wǎng)低延遲環(huán)境RTT 通常是穩(wěn)定的個位數(shù)毫秒就可以降低 RTT 權(quán)重避免因為偶爾一次探測抖動導(dǎo)致誤判。舉個具體的計算例子。假設(shè)一個 Agent 最近心跳 age 為 12 秒探測 RTT 為 150ms最近 10 次探測丟包率 5%。那么heartbeatScore 1 - (12-10)/(30-10) 0.9rttScore 1 - (150-20)/(500-20) 0.73lossScore 1 - 5/30 0.83。最終ReachScore 45 21.9 16.6 83.5分屬于可用但狀態(tài)一般。這個評分會直接參與路由選擇分?jǐn)?shù)高的實例優(yōu)先被投遞。3.2 自適應(yīng)探測頻率與連接池隔離探測本身不能太頻繁否則會無謂地消耗 Agent 資源和網(wǎng)絡(luò)帶寬但也不能太稀疏否則故障感知會變慢。Agent-Reach 默認的策略是Agent 狀態(tài)健康時每 5 秒探測一次當(dāng)某個 Agent 的 ReachScore 降到 60 以下時探測頻率自動提高到 1 秒如果連續(xù) 3 次探測全部失敗就會把該 Agent 標(biāo)記為UNREACHABLE同時把重試探測的頻率降為每 30 秒一次。這樣既能在故障發(fā)生時快速發(fā)現(xiàn)又不會對著一個已經(jīng)宕機的地址持續(xù)高頻打探。這里有一個必須強調(diào)的細節(jié)探測用的連接池和業(yè)務(wù)消息投遞連接池是要分開的。最初我的實現(xiàn)里探針復(fù)用了業(yè)務(wù)連接池結(jié)果在一次高負載測試中探針連接把連接池占滿真實的任務(wù)消息反而排不進去了。后來我單獨為探測維護了一個連接池默認最大 8 個連接超過就跳過本次探測。這個改動雖然不大但對穩(wěn)定性提升非常明顯屬于那種不踩坑不會注意到的設(shè)計。另外探測結(jié)果還需要做平滑處理不能因為一次 RTT 抖動就瘋狂改變路由。Agent-Reach 內(nèi)部保存了最近 10 次探測結(jié)果的滑動窗口路由時取的是窗口內(nèi)的加權(quán)平均值。這樣做的好處是偶爾一次網(wǎng)絡(luò)毛刺不會被當(dāng)成 Agent 故障處理。3.3 重試、指數(shù)退避與死信處理Router 在投遞消息時不會直接同步阻塞等待目標(biāo) Agent 返回。它先把消息寫入一個本地持久化隊列默認使用 BoltDB然后異步投遞。這個設(shè)計其實是借鑒了消息隊列的至少一次語義但用更輕量的方式實現(xiàn)。為什么不直接上 Kafka因為引入 Kafka 會增加部署復(fù)雜度對中小規(guī)模的 Agent 協(xié)作系統(tǒng)來說性價比不高。投遞失敗時Router 會按照失敗原因做分流處理。目標(biāo) Agent 短暫不可達時進入重試隊列按指數(shù)退避重試最多 5 次。第一次重試延遲 1 秒第二次 2 秒第三次 4 秒依次翻倍上限 30 秒。目標(biāo) Agent 返回業(yè)務(wù)錯誤比如當(dāng)前負載已滿或任務(wù)類型不受支持這時不盲目重試而是立即回調(diào)給調(diào)用方讓上層 Agent 決定是否更換目標(biāo)。重試次數(shù)耗盡后消息進入死信隊列同時觸發(fā)告警方便人工介入。因為投遞是異步的調(diào)用方拿到的是一個任務(wù)提交結(jié)果而不是最終執(zhí)行結(jié)果。如果你需要知道 Agent 是否真正處理成功就得依賴任務(wù) ID 做結(jié)果回傳。Agent-Reach 內(nèi)置了結(jié)果回調(diào)接口Agent 處理完消息后可以調(diào)用agentreach.reportResult()把執(zhí)行結(jié)果上報調(diào)用方通過agentreach.waitForResult()異步等待結(jié)果。這套機制對耗時任務(wù)非常友好不會讓調(diào)用方一直占用一個同步連接。3.4 多副本與按標(biāo)簽路由Agent 生產(chǎn)環(huán)境中經(jīng)常一個 Agent ID 下掛多個實例例如三個相同的文檔解析 Agent 同時運行。Router 在選擇目標(biāo)實例時會先根據(jù)能力標(biāo)簽過濾然后在可用實例里按照ReachScore和當(dāng)前負載綜合排序選最優(yōu)實例投遞。默認策略是最高分優(yōu)先但如果最高分和次高分之間差距小于 5 分會采用隨機選擇避免同一個實例被反復(fù)選中造成熱點。標(biāo)簽路由是我在實際使用中認為最有價值的功能之一。你可以給每個 Agent 打上doc、image、gpu、cpu_only這類標(biāo)簽然后調(diào)用時指定標(biāo)簽要求。例如result agentreach.send( methodtask.process, tags[doc, gpu], payload{doc_id: abc123} )Router 會自動在帶有這兩個標(biāo)簽的 Agent 中篩選實例而調(diào)用方完全不需要關(guān)心具體是哪個 Agent 處理。這就讓 Agent 的擴容和縮容變得非常靈活新加一個 Agent 實例只要打上相同標(biāo)簽立刻就能接到任務(wù)下線一個實例也只需要從注冊中心摘除。4. 實操記錄從零接入 20 個異構(gòu) Agent4.1 部署 Server 端與配置文件我推薦用 Docker 鏡像方式部署 Server這樣依賴干凈、升級方便。需要在目標(biāo)機器上準(zhǔn)備好一個數(shù)據(jù)目錄用來存放注冊數(shù)據(jù)和持久化隊列。啟動命令如下docker run -d --name agent-reach \ -p 8800:8800 \ -p 8900:8900 \ -v /opt/agent-reach/data:/data \ agentreach/server:0.4.2這里 8800 是 HTTP 管理端口供查詢和配置使用8900 是 Agent SDK 通信端口。如果不方便用 Docker也可以下載編譯好的二進制文件直接運行./agent-reach-server --config config.yaml對應(yīng)的config.yaml里我習(xí)慣重點配置這幾項server: port: 8900 admin_port: 8800 storage: type: sqlite # 可選 etcd path: /data/agent-reach.db probe: interval: 5s fail_threshold: 3 retry_interval: 30s router: max_retry: 5 dead_letter: trueprobe.interval默認 5 秒是一個比較平衡的配置。調(diào)成 1 秒雖然故障發(fā)現(xiàn)更快但會讓 Agent 的日志刷新得很快也會增加連接占用調(diào)成 10 秒以上則會讓故障發(fā)現(xiàn)變得遲鈍。除非你的監(jiān)控系統(tǒng)有更高頻的需求否則先用默認值。4.2 Python Agent 接入與消息收發(fā)以 Python 為例Agent 端接入分為三步注冊、上報心跳、啟動消息回調(diào)。第一步在 Agent 進程啟動時初始化import agentreach agent agentreach.Agent( agent_iddoc-analyzer-01, tags[doc, gpu], addr172.18.0.5:7001, heartbeat_interval10 ) agent.register() agent.start_heartbeat()注意addr必須是其他 Agent 也能訪問到的地址不能寫127.0.0.1否則 Agent-Reach 服務(wù)端從別的機器探測時永遠連不通。這也是新手最容易踩的坑之一。第二步把 Agent 的業(yè)務(wù)處理函數(shù)暴露成回調(diào)接口。Agent-Reach 提供了一套簡單的裝飾器from agentreach.web import route route(task.process) def handle_task(task_id: str, payload: dict): result process_document(payload[doc_id]) return {code: 0, data: result}裝飾器會在 Agent 本地啟動一個 HTTP 服務(wù)把task.process映射到對應(yīng)路徑。Router 投遞消息時會攜帶task_id、method、payload三個字段自動 POST 到這個路徑。第三步調(diào)用方發(fā)消息result agentreach.send( agent_iddoc-analyzer-01, methodtask.process, payload{doc_id: abc123}, task_idtask-20240915-001 )task_id我強烈建議由業(yè)務(wù)自己生成。如果不傳SDK 會生成一個 UUID但你沒有辦法在業(yè)務(wù)上關(guān)聯(lián)原始請求。有了自己的task_id后續(xù)冪等和排查都會方便很多。4.3 用管理接口驗證觸達狀態(tài)部署完成后可以通過管理端口快速檢查集群里的所有 Agent 狀態(tài)curl http://localhost:8800/api/v1/agents返回的 JSON 數(shù)組里每個 Agent 會包含reach_score、probe_status、last_heartbeat、last_probe_error等字段。我當(dāng)時的 20 個 Agent 里19 個reach_score穩(wěn)定在 95 分以上只有一個跨專線部署的 Agent 因為 RTT 一直在 300ms 左右分?jǐn)?shù)只有 70 多但仍然屬于可用狀態(tài)。我還會用另一個命令觀察消息投遞指標(biāo)curl http://localhost:8800/metrics重點關(guān)注agentreach_router_delivery_total、agentreach_router_retry_total和agentreach_router_dead_letter_total三個指標(biāo)。如果重試次數(shù)持續(xù)上升說明網(wǎng)絡(luò)不穩(wěn)定或者目標(biāo) Agent 應(yīng)用層處理能力不足需要進一步排查。4.4 長任務(wù)與異步回調(diào)的處理Agent 處理任務(wù)不總是瞬間完成的。有些任務(wù)比如批量文檔分析可能需要幾十秒甚至幾分鐘。如果調(diào)用方一直同步等結(jié)果會把連接資源和調(diào)用線程都占住。Agent-Reach 對此有兩種處理方式。第一種Agent 收到消息后立刻返回一個已接收狀態(tài)然后在后臺任務(wù)完成后通過agentreach.reportResult()回調(diào)結(jié)果。第二種調(diào)用方在發(fā)送消息時傳入timeout參數(shù)并配合waitForResult()做異步等待。我在接入那個質(zhì)檢系統(tǒng)時把所有耗時超過 5 秒的任務(wù)都改成了異步回調(diào)模式系統(tǒng)吞吐量立刻上了一個臺階。這里要給 Agent 開發(fā)者一個建議回調(diào)接口一定要做并發(fā)控制。我最初把 Agent 回調(diào)用的是單線程 HTTP 處理結(jié)果連續(xù)投遞幾十個長任務(wù)后回調(diào)端口自己先堵了大量消息堆在 TCP backlog 里看起來服務(wù)端一直在重試實際 Agent 根本來不及消費。后來給回調(diào)接口增加了線程池并用max_concurrency元數(shù)據(jù)告訴 Agent-Reach 當(dāng)前實例的并發(fā)上限路由時自動跳過已經(jīng)達到上限的實例問題迎刃而解。5. 常見問題與排查技巧實錄5.1 顯示不可達但手動連接正常這是 Agent-Reach 落地時最常被問到的現(xiàn)象管理接口顯示某個 AgentUNREACHABLE但手動curl或nc連接又通。一般情況下問題出在判斷維度不同。Agent-Reach 判定不可達是綜合了心跳新鮮度和服務(wù)端探測結(jié)果而手動 curl 通常只驗證了端口通。常見原因有三個。第一Agent 的心跳線程被業(yè)務(wù)代碼阻塞了。比如 Agent 里有一段同步調(diào)用遲遲不返回把心跳 goroutine 也拖住了心跳續(xù)不上評分自然歸零。第二Agent 注冊的地址用了127.0.0.1或內(nèi)網(wǎng)映射地址Agent-Reach 服務(wù)端從外部探測不到。第三云端環(huán)境對 ICMP 或 TCP SYN 限速導(dǎo)致探測包大量丟失但業(yè)務(wù)流量因為走了別的高速通道反而正常。排查時不要只看最終狀態(tài)要先查last_heartbeat和last_probe_error。如果last_probe_error有內(nèi)容你需要在 Agent-Reach 所在機器上手動執(zhí)行nc -vz agent_ip port確認網(wǎng)絡(luò)鏈路是否真的通。如果探測正常但心跳斷了那問題基本在 Agent 進程內(nèi)部需要去看 Agent 的日志和線程狀態(tài)。5.2 消息重復(fù)執(zhí)行與冪等處理Agent-Reach 默認是至少一次投遞語義所以重試不可避免地會帶來重復(fù)消息。如果你收到的任務(wù)里有少量重復(fù)這其實是正?,F(xiàn)象真正要做的是保證消費端的冪等。我常用的方案是在數(shù)據(jù)庫里維護一張任務(wù)執(zhí)行記錄表利用唯一索引來過濾重復(fù)任務(wù)INSERT INTO task_execute_log(task_id, agent_id, status) VALUES (?, ?, processing) ON CONFLICT(task_id) DO NOTHING;如果插入影響行數(shù)為 0說明這個任務(wù)之前已經(jīng)處理過直接返回成功不再執(zhí)行業(yè)務(wù)邏輯。這個方案比先查再插入要穩(wěn)妥能避免并發(fā)重復(fù)投遞時兩個人同時查到不存在然后一起執(zhí)行。注意唯一索引要建立在業(yè)務(wù)冪等鍵上而不是 Agent 生成的隨機 UUID。5.3 多副本下的路由超時調(diào)優(yōu)如果你一個 Agent ID 掛了多個副本但還是頻繁出現(xiàn)路由超時核心原因是 Router 選中的實例恰好沒有消費能力。比如兩個文檔分析實例一個空閑一個已經(jīng)積壓了大量任務(wù)但因為它們的 ReachScore 差距不大Router 隨機選中了積壓實例消息就卡住了。解決辦法有兩個方向。第一Agent 上報心跳時務(wù)必把current_load這個字段填對。Router 在選擇實例時不僅看 ReachScore還會參考current_load和max_concurrency負載高的實例天然會被降權(quán)。第二在 Agent 回調(diào)接口處設(shè)置合理的并發(fā)上限。如果并發(fā)數(shù)只設(shè) 1那么來兩個任務(wù)就會有一個端口響應(yīng)變慢導(dǎo)致 Router 誤判為網(wǎng)絡(luò)問題而觸發(fā)重試。我在容器環(huán)境里通常把并發(fā)數(shù)設(shè)為 CPU 核數(shù)的兩倍效果不錯。5.4 排查速查表癥狀可能原因檢查方法顯示 UNREACHABLE注冊 IP 外部不可達、心跳線程阻塞在 Server 端執(zhí)行nc -vz agent_ip portReachScore 持續(xù)偏低網(wǎng)絡(luò) RTT 高、丟包嚴(yán)重查看/metrics中probe_rtt_ms和probe_loss_rate任務(wù)積壓但 Agent 不消費業(yè)務(wù)線程池占滿、并發(fā)上限過低查看 Agent 上報的current_load和max_concurrency重試次數(shù)飆升目標(biāo) Agent 應(yīng)用層處理能力不足查看agentreach_router_retry_total指標(biāo)變化趨勢數(shù)據(jù)目錄增長過快死信隊列積壓過多調(diào)整死信隊列保留策略只保存必要字段這張表是我在實際項目中的速查清單覆蓋了我遇到過的大部分問題。當(dāng)然場景不同細節(jié)會有點差異但排查方向基本一致。6. 同場景下的三個擴展方向6.1 從單組網(wǎng)走向多組網(wǎng)Agent-Reach 目前的多 Agent 協(xié)作還沒有支持多租戶聯(lián)邦。如果你有多個互不相通的網(wǎng)絡(luò)區(qū)域每個區(qū)域內(nèi)部部署獨立的 Agent-Reach區(qū)域之間默認是隔離的。我最近在嘗試讓不同的 Agent-Reach 服務(wù)之間建立聯(lián)邦關(guān)系通過一個輕量的目錄同步機制讓跨區(qū)域調(diào)用可以像本地調(diào)用一樣按 Agent ID 路由。這個做法的難點在于區(qū)域間網(wǎng)絡(luò)往往不穩(wěn)定需要把探測和路由的粒度都加一層。如果只是想做簡單的多區(qū)域分發(fā)可以先不用等待這個功能。你可以在上層編排 Agent 里做區(qū)域策略通過 Agent-Reach 的標(biāo)簽?zāi)芰Π巡煌瑓^(qū)域標(biāo)記成不同標(biāo)簽調(diào)用時指定標(biāo)簽路由器自然只會選符合條件的實例。6.2 從通用探測到任務(wù)級探測當(dāng)前 Agent-Reach 的可達性評分是通用的只衡量網(wǎng)絡(luò)和應(yīng)用基礎(chǔ)狀態(tài)。但在真實業(yè)務(wù)里同一個 Agent 可能對不同類型的任務(wù)響應(yīng)差異很大。例如一個 Agent 既支持文本處理也支持圖片處理GPU 實例的圖片任務(wù)表現(xiàn)很好文本任務(wù)卻因為資源競爭響應(yīng)很慢。我下一步打算在注冊數(shù)據(jù)里加入能力資源維度讓每個 Agent 能夠聲明某個方法預(yù)期的 RTT 和并發(fā)能力Router 在投遞不同任務(wù)時參考不同的評分權(quán)重。這樣可以讓調(diào)度更精準(zhǔn)但也會讓配置和維護更復(fù)雜。對于現(xiàn)階段大多數(shù)實驗項目來說通用評分已經(jīng)足夠用了。6.3 一個可以馬上動手的小優(yōu)化如果你想在現(xiàn)有 Agent-Reach 版本上立刻優(yōu)化效果我建議從心跳載荷入手。SDK 默認上報的心跳消息里除了 Agent ID 和負載還可以加兩個自定義字段last_task_duration和consecutive_failure_count。前者可以讓 Router 感知到實例近期處理任務(wù)的平均耗時后者可以用于在服務(wù)端做降級預(yù)判。一旦某個實例連續(xù)上報了 3 次失敗計數(shù)就可以提前把它從路由池中暫時移除而不是等任務(wù)消息真正發(fā)過去之后再等超時。這個小改動不需要改服務(wù)端邏輯只改 SDK 的心跳字段和服務(wù)端的權(quán)重規(guī)則收益卻很直接。最后再分享一點個人體會。我在多 Agent 系統(tǒng)上折騰了這幾年最大的感覺是大家很容易把注意力放在Agent 聰明不聰明上卻忽略了底層的協(xié)作工程問題。Agent-Reach 解決的不是智能問題而是穩(wěn)定性問題。它讓我在寫業(yè)務(wù)邏輯的時候再也不用擔(dān)心這個 Agent 到底叫不應(yīng)怎么辦因為這些都交給觸達層去管了。如果你正在做類似架構(gòu)希望這篇文章里的思路能幫你少踩幾個坑。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产黄色 A 片免费看| 中文字幕五月婷婷免费| 亚洲AV成人无码一区二区三区在线观看 | 啊啊啊啊,啊啊好多水| 日韩欧无码一区二区三区免费不卡| 国产又猛又粗又爽又黄| 青青青操| 天天摸天天舔天天操| 亚洲精品九九九| 亚洲蜜桃V妇女| 91模特在线观看| 蜜臀久久99精品| 一级黄色性爱裸体视频| 日本精品免费一区二区三区四区| 日韩免费在线观看不卡| 四虎在线观看网站| 天美麻花大全视频| 777超碰| av凤凰久久久| 亚洲美女av无码| 国产九九久久久精品| 2020中文字幕在线观看| 天堂资源欧美| 亚洲精品无码少妇久久| 国产美女高潮| 精品久久久久久久久久久久 | 猛交交| 97碰碰色| 亚洲人在线成线成人| 亚洲伊人久久综合97| 性生活久久久久久久久久| 国产精品午夜福利亚洲综合网| 大奶尤物鲍汁淫荡欧美视频粉嫩夜夜骚| 97爱综合| 99久久免费看精品国产一区| 成人久久久精品| 99自拍视频| 欧美色图第一页| 精品一区二区三区最新| 激情久久av一区av二区av| 久久精品国产亚洲5555| 久久机热| 成人热久久精品| 国产亚洲精品自在线亚洲情侣| yaouchengrenav| 黑白配性爱AV成| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 久操电影| 九九热AV| 亚洲男人天堂手机版| a人欧美综合天堂麻豆| 欧美日韩岛国大片在线观看| 欧美日韩国产三级黄色| 自拍偷拍第26| 免费看片黄| 亚州综合色| 久久精品区| 91成人无码| 日韩精品一区,二区 九九...老司机| 黄页大片在线观看| 麻豆av一区二区三区| 2011国产精品| 国产精品欧美激在线| 欧美色自拍| 天天网综合| 五十路熟女人妻一区二区在线观看 | 天综合中文| 欧美大香蕉在线观看| 97爱爱爱综合| 夜草欧美| 日韩内| 久久九色| 亚洲网站一区二区在线| 豆花视频操逼网址| 欧美精品999| 五月丁香综合激情| 日韩资源网| 91 偷| 国产精品精品系列在线观看| 久久毛卡| 激情自拍 校园春色| 九九玖玖精品| 四虎在线视频| 国产精品视频播放| 91人人看| 0755午夜福利视频| 国产在线观看91精品一区| 国产成人无码a| 丰满人妻一区二区三区四区| 久久人人看| 五月天黄色av| 青草精品视频一日本久久久久网站| 欧美亚洲综合高清在线| 深夜激情无码| 五毛骚逼极品美女怕怕| 思思热国产在线视频| 嗯嗯嗯,草死我| 伊人影院综合是一个与深夜成人在线| 黄页网站免费高清在线观看| 97少妇人妻中文字幕久久| 亚洲密乳AV| 久久露脸国产老熟女| 激情文学欧美| 国产真实子伦对白| 欧美日韩在线国产在线| 久久精彩视频9| 九九九九免费高| 久久78| 屁屁影院一区二区三区国产| 精品久久久久久久久久久久 | 九九热精品免费视频| 精品视频一区二区| 亚洲一区二区精品福利| 色呦呦、国产精品| 日韩一卡二卡三卡| 亚洲精品官网在线观看| 欧美性五月| 中文AV制服乱伦| 日欧操屄视频| 国产97免费视频| 婷婷五月天影院| 日日夜夜青青草母狗| 亚洲成人黄色在线观看| 欧美操逼视频二区| 97色色色| 日本片日本片祼观看网站在线看中文版网页在线看 | 伊人大香蕉在线| 国产精品久久久久久久久久久久久久| 久热超碰| 亚洲无码日韩电影| 国产精品天美传媒| 狠狠婷婷亚洲中文综合久久| 爱爱60秒免费视频| 中文字幕蜜乳av| 亚洲影视综合网| 久久久91| 天天操女人| 探花视频免费观看国产专区| 台湾大香蕉99热| 午夜人人操| 久久久久久波多野吉衣高潮| 日韩 欧美 另类 人妻| 久久999久| 国产欧美日本亚洲精品| 另类 综合 日韩 欧美 亚洲| 夜色AV无码手机在线影院| 大香蕉色欲AV| 9999免费精彩视频| 日日夜夜摸| 97色欧州| 亚洲最新a在线观看| 美女丝袜激情小说| 性爱视频久久| 强奸a片网| 婷婷人妻激情| 91丝袜美腿网站| 少妇人妻好深太紧了vr91| 熟女高潮合集-永久久久-成人AV | 69人妻精品一区二区绯色| 欧洲亚洲少妇| 啊啊啊啊好疼视频| 日本99视频| 欧美色999| 欧美日韩国产人人| 综合熟女| 国产无马av| 日本一级真人黄色性爱视频| 中文字幕综合人妻| 久久久久久久国产a∨| 2017天天操天天日| 少妇精品久久久| 日韩女模中文造逼| 91日韩网站| 国产精品乱人伊人网| 国产男人又猛又粗又爽| 欧在线一二区| 亚洲素人综合| 精品国产99| 国产超碰| 26uuu欧美日韩| 99色在线| 2003天天干夜夜操| 久久精品国产99国产精品亚洲| 欧美亚洲日本视频久久久| 男人的天堂2018| 99re在线视频国产| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 欧美后入式| 亚洲精品天天影视综合网| HEYZO高无码国产精品227| 国产在线播放成人免费| 97色欧洲| 嫩草伊人久久精品| 人妻天天爽夜夜爽爽| 亚洲一本大道中文字幕无码在线| 成人a v在线播放免费| av影院十区| 亚洲性图91| 精品久久久久瑟瑟| 色香色欲天天综合网天天来吧| 日本加勒比无码专区| 秋霞午夜视频一区二区| 男插女青青影院| 欧美1727免费观看视频| 少妇99成人麻豆| 国产av又色又爽又黄| 欧美日韩*字幕一区| 亚洲骚男同com| 欧美久久人妻少妇一区二区| 蜜桃久久久久久久| 日本99一区二区| 欧美老妇女内射网址| 91丨九色丨大屁股| 婷婷丁香五月综合| 920日本午夜免费| 欧美性爱另类综合| 久久久9视频| 懂色AV一区二区三区| 国产吞精a级片激情电影| 久操com| 国产精品一区二区三区,亚洲综合| 丁香六月激情| 久久亚洲AV无码专区国产精品| 日韩簧片免费看| 国产精品美女视频诱惑| A一区片| 无码高清操逼网址| 日本欧美一区二区三区免费| 人人摸.人人色| 翔田千里AV无码秘 三区| 麻豆精品.欧美精品.日韩精品.| 不卡二三区人妻少妇| 南澳成人一级片在线播放| 久久久成人免费av电影| 97日韩欧美亚洲| 女生久久网| 国产美女自拍视频| 国产黄色影片在线观看| 精品一区二区三区蜜桃臀赵总 | 嗯嗯啊啊操死我| 91夜色chaopeng| 91丝袜激情在线| 婷婷精品国产欧美精品亚洲人人爽| 日日碰视频网| 好属操| 成人免费毛片| 日本在线播放不卡一区| 亚洲综合图色在线| 密臀视频三区免费网站| 尤物视频一区| 日本污ww视频网站| 日韩伦理视频| 97久久国产亚洲精品超碰热| 国产精品播放| 浪人综合网| 亚洲综合色男人网| 91老熟女91老女人| 超碰精品国产无码| 亚洲最大网站av| 亚洲春色激情小说| 东京热大香焦| 天天操夜夜嗨| 亚洲自拍一区夜夜操| 色与欲影视天天看综合网| 97干色| 色婷婷视频| 99综合网| 狠狠躁天天躁日日躁97| 午夜男女爽爽爽影院视频| 男女激烈网站最新| 啊啊啊用力在线观看| 天天日天天操VV| 偷拍盗拍亚洲色图图片 | 亚洲综合小说另类图欧美视频激情小说色五月天 | 久久蜜色情在线视频xxx免费观看| 毛片99-全集电影手机免费观看完整-B029AV| 久久啊啊啊| 国产操逼逼网| 人妻丝袜肏逼| 亚欧毛片基地国产毛片基地| 综合久久婷婷| 无卡一区=区| 高清国产精品福利网站| 97资源超碰| 日韩成人小视频| 日韩成年人性爱视频| 午夜男女爽爽爽在线视频| 婷婷另类小说| 国产亚洲性生活视频播放| 国产精品交换一区二区| 黄色交缠性感爆操91国产精品免费一区二区三区| 91亚洲欧洲| 天天做天天爽| 99热精品在线观看| 亚洲操逼无码| 欧美在线大香999| 国产日韩欧美中文在线播放| 欧美日韩一干二干| 亚洲蜜乳av| 天天碰操中国年青熟妇| 天天日夜干| 色婷婷综合视频| 国产精品夜夜夜| 日韩AV熟女乱伦| 欧美天天综| 免费国产视频| 久艹伊人精品综合在线| 久操操AV电影| 男人的天堂日韩| 夜间福利片1000无码| 亚洲黄色网址| 五月婷色| a一区二区三区乱码在线| 久久啊啊啊视频| 国产精品亚洲一级av第二区| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 亚洲日韩电影| 亚洲综合图文| 懂色AV蜜臀无码精品APP| 97在线资源| 日本性爱少妇| 欧美78P| 亚洲熟妇图片| 亚洲欧洲日韩天堂av| 97精品综合久久网| 婷婷五月天久久久| 久久专区| 亚洲国产中文字幕| 色五月婷婷五月天| 色黄污美女啪啪啪免费网站| 粉嫩av一区二区三区四季| 在线啊v一区| 久草这里只有精品| 少妇与黑人高潮在线| 激情小说成人日本无码一| 又黄又硬又粗又长国产视频| 91狠婷| 蜜乳成人AV| 国产精品大屁股999| 18精品一区| 特级毛片特黄久久免费看 | 日本中文字幕在线电影| 国产女人视频三四五区| 9九九九九视频在线观看| 久久欧美按摩999| 人人模人人看| 偷拍新久久| 亚洲欧美大| 情趣丝袜无码操逼视频| 亚洲偷91色| 99热综合| 岛国在线一区二区三区| 91精品国产91久久福利| 成人日本片久久久蜜桃| 香蕉免费一区二区三区不读| 96精品在线| 国产精品自拍xxxx| 亚洲少妇在线观看| 深夜激情 | 秋霞福利网| 精品无码久久久| 欧洲综合无码| 中文三一区| 成人黄页| 青青草久久一区网| 德国一二三不卡| 99激情| 丝袜美腿制服人妻二区中文字幕| AA级电影三区| 国产成人91一区二区三区| 日韩97超碰| 中文字幕欧美日本乱码一线二线| 青青草吊丝| 首页亚洲国产高跟丝袜诱惑视频| 99久久精品国产高潮| 丁香九月 婷婷| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 黄色乱论网站| 九九成人| 国产女人操逼视频| 探花视频免费观看国产专区| 青青草好吊色| 国产精品久久久亚洲第一牛牛_在线观看| 性性欧美| 久久爱超碰网| 色综合久久夜色精品国产天堂 | 性久久久| av一区二区三区不卡| 中文久久久| 青青青青青手机视频| 日韩成人人妻网站| 日日玩天天干| 国产精品第二页| 伊人久久大香蕉线AV五月天| 亚洲A色| 大香蕉欧美伊| 成人小说视频在线精品欧美| 欧美成人A√在线一区二区| 91社区伊人| 日本性感人妻91| 最新制服中文第一页| 美女黄站| 欧美裸体美女日麻屄| 国产中出内射一区二区| 久久精品国产AV一区二区三区| 6080YYY午夜理论片在线观看| 三级AV入口| 久久精品国产亚洲AV片多多| 亚洲日韩一区电影| 男女91| 亚洲无限观看| 日韩精品三级| 国产一区二区成人av在线播放| 亚洲自拍97| 国产毛片片精品天天看视频| 国产精品女生av| 天天视频综合在线观看视频| 香蕉在线一区二区三区| 久久久久密臀一区二区| 免费99精品国产自在在线| 亚洲,欧美,综合网| 亚洲精品不卡一二三区| 99夜夜操| 国产无码久久高清| 91成人在线免费视频| 丁香五月综合| 青草影院内射高潮| 熟妇色99| 亚洲精品xxx| 狼人久草| 日韩不卡码| 欧美,日韩,中文,另类| 欧洲久久一二线| 国产69精品久久久久99尤物| 人人喜人人妻| 99精品综合久久久久五月天| 国产狂喷潮在线精品| 深夜国产一区二区三区在线看| 99色色网| 亚洲春色欧美| 人妻 中文 日韩| 国产欧美日韩在线观看麻豆传媒公司 | 日本一级真人黄色性爱视频| 欧美日韩性爱无码| 久久大香蕉手机高清视频| 日韩无码AB| 久久久精品网| 国产精品青草综合久久| 秋霞无码av鲁丝片一区| 人妻在线中出视频| 豆1无夜无码| 婷婷色综合欧美日韩| 亚洲伊人久久综合97| 另类天堂| 加勒比av网| 国产精品不卡一区二区电影| 色呦呦呦在线观看视频| 狠狠婷婷亚洲中文综合久久| 欧美一区二区三区另类精品| 综合欧美亚洲| JIZZJIZZ亚洲女人被躁| 国内毛片四区| 97就爱干| 污到发麻的视频 国产| 久久风骚城市人| 在线综合 亚洲 欧美中文字幕 | 97资源免费视频| 日本道人妻久久久在线不卡色视频| 成人羞羞视频国产| a人欧美综合天堂麻豆| 久久首页| 嗯嗯嗯好爽| 国产精品肉丝自拍| 爱啪精品一区| 色丁香五月婷婷| 国产操偷| 无码天天操| 国产一区二区在线播放| 91熟女视频网| 国产丁香精品露脸视频| 免费99精品国产自在在线| 蜜臀久久久| 丁香五月婷婷基地| aaa淫乱视频| 天天综合精品| 亚洲图片 91| 亚欧中文字幕在线视频| 亚州欧美一区| 久草看看看| 中英熟女操女| 婷婷视频在线免费观看| 91麻豆天美国产| 97操在线| 亚洲精品99| 极品粉嫩一区二区| 欧美日韩m| 中文字幕一区二区韩| 插插综合网天天影视网| 日韩三级在线观看网站| 俺去俺来也在线www| 蜜臀久久99精品久久久久久-DVD| 丁香色狠狠色综合久久小说| 97最新在线播放视频| ai欧美亚洲小说| 日韩熟女无码| 国产熟女高潮一区二区三区| 国产无遮挡| 午夜婷婷| 欧美日综合| 亚洲中文sv| 日韩天天综合| 97超碰欧美中文字幕| 日日操夜夜操天天操免费观看麻豆| 97爱b| 久热久| 国产精品乱码久久久久久久| 国产精品久久久亚洲第一牛牛_在线观看 | 伊人久久青青草| 亚州操操穴网| 330Dv国产女人终合视频极品人与兽| 久草婷婷| 久久久久久中文| 肥臀熟女一区二区三区视频| 成人性交午夜免费片| 狠狠婷婷亚洲中文综合久久| 亚洲色系另类精品国产| 亚洲AV无码国产精品久久久久| 九月色婷婷| 67194无码不卡| 亚洲一本色码中文字幕| 夜夜夜爽www精品视频| 天天噜| 91精品国产日韩欧美综合| 黄色视频特级毛片| 十八禁啪啦拍视频无遮挡| 熟妇熟女一区二三区| www.男人天堂| 九热中文字幕| 国产AV人人 夜夜人人澡| 日本熟妇精品九九| 精品黄色电影| 亚洲最大的综合性av| 亚洲黄色影视| 美国久久一二三四| 欧美偷拍| 国产亚洲精品美女久久久m| 99热这里是精品| 久久久久久91香蕉国产| 男同专区一区二区三区在线| 亚洲精品性爱片| 天天爽天天| 国产白丝在线| 日韩av在线精品观看| 手机看片1024你懂的国产| 久久理论字幕视频| 97 国产精品| 久草尤物| 少妇二级| 免费精品AB| 精品久久久久av影院| 国产黄a三级三级三级av在线看| 色综合超碰超| 久久中文字幕一区不卡| 天天综合网国产| 中文字幕性感少妇av| 综合操逼| 91久久久亚洲| 黄色大片免费在线| 人人操人人舒服| 色欲av一区二区三区蜜芽| 天天摸天天操视频| 色播综合| 欧美激情激情xxxx欧美专区| 情色大香蕉| 亚洲天天操| 最新国内自拍av免费| 97超碰人人模人人拍人人| 日韩高清黄片| 丁香婷婷啪啪| 精品无人区麻豆乱码久久久| 超碰午夜| 人妻一区二区三区| AV久日| 欧洲欧美视频一区二区| 一区二区三区四区姦女| 激情五月天中文字幕色| 七久久久| suv精产一二三区| 日本3级一区二区免费| 熟妇高潮精品一区二区三区下载| 久久久久久亚洲Av无码| 人妻美腿丝袜制服诱惑综合天堂-| 97AV在线观看| 污啪啪啪视频| 超碰视97中文| 亚洲乱熟女一区二区三区大香蕉| 五月天九九日国产精品一区二区三区| 操逼逼福利视频| jiujiujiujingpin| 亚洲高清国产理伦片| 97干色天堂| 一级人妻性爱视频| 亚州春色| 户外裸露刺激视频第一区| 欧美另类自拍 | www.色婷婷.com| 色五月综合网| 亚州男人天堂| 999在线电影香蕉| 亚洲国产综合视频| 亚洲永久永久永久永久一级一级一级精品 | 插日本熟女视频| 一区二区亚州激情久婷婷欧美| 亚洲,日韩,欧美,成人播放| 欧美熟妇操操视频| 无色无码| 激情一区二区| 91精品丝袜久久久久久无码人妻| 精品人妻av在线播放| 人妻喷水| 老熟妇一区二区三区…| 午夜经典| 后入内射蜜桃臀| 亚洲精品官网在线观看| 91亚洲丝袜熟女| 亚洲另类综合欧美| 岛国激情视频软件| 亚洲色电影在线| 中文字幕日产av人| 日本Xx性爱| 欧美日韩欧美| 欧美亚洲se91| 水野优香在线观看| 人人干人人操人人爱| 亚洲AV色图一区| 亚洲色鬼| 风流老熟女一区二区三区l| 97欧美色综合| 清清一区二区三区四区不卡视频| 成人小说视频在线精品欧美| 亚洲宗合网| A久久| 国产精品永久免费10000| 亚洲色图片区| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 91蜜桃婷婷狠狠久久综合9色| 国产精品久久久吖| 九九九只有精品| 熟妇最新先锋一二三区| 去干网最新版| 中字幕人妻一区二区三区| 国产人人干| 九九九综合精品| 日本岛国黄色网址| 夜夜操青青草| 97中文综合| 99国产精品久久久在线播放| 亚洲影视综合网| 国产三级中文有码在线视频| 视频国产欧美在线播放| 丝袜美腿丝袜| 伊人久久大香线综合无码| 97久久精品亚洲| 国产成人无码久久精品| 操逼国产免费| 精品蜜乳AV免费观看| 99re欧美| 欧美综合亚洲| 97操在线| 久久大陆| 免费看片黄| 色网亚洲人| 丝袜高跟澳门91视频| 99色婷婷中文字幕乱色| 美日韩成人| 亚洲一区二区三区四区视频| 日韩乱伦AⅤ| 探花视频免费观看国产专区| 91欧美网| 9精品久久久久| 粉嫩久久久极品| 91天天美女| 加勒比综合a∨| 亚洲国产丝袜在线观看| 97超视频在线观看| 中文字幕日韩国产传媒欧美精品| 婷婷尹人大香蕉免费| 欧美精品99久久久**| 99视频这有这里有精品| 97香蕉网| 中国熟女老妇仑乱一区二区三区| 99久久99久久免费精品蜜臀| 天天日天天干少妇日| 久夜操| 久久久久久91香蕉国产| 麻豆精品三区视频| 国产人妻精品一区二区三区秋霞| 午夜福利在线合集| 久久精品高清无码一区| 综合色久欲| 亚洲欧美天| 久夜操| 九九九九精| 97欧美超碰| 精品蜜乳AV免费观看| 国产高清午夜成人在线观看| 国模无码人体一区二区三| 国产成人精品必看| 一级特级aaaa毛片免费观看| 亚洲精品国产熟女| 天天懆天天日| 亚洲精品aa久久伊人| 久久精视频美日韩在线视频| 激情小说五月天| 97人妻色| 久久妇| 婷婷性网| AAAA级日本片免费视频| 天天色,天天干,天天干| 人人妻人人狠人人| 国产成人自拍视频在线| 久久久久久久久久久六六| 久久av色| 好一吊区二区| 另类天堂| 九九探花视频在线观看| 狠狠操狠狠| 久久久久9久久久久| 中文字幕精品乱码| 欧美亚洲手机在线| 国产黄色小视频网站| av日韩在线观看电影| 天美传媒一二三区永久网站| 91天美传媒在线观看| 欧美后入式| 翔田千里A片一区二区| 国产偷拍自拍在线视频| 久久人人妻| 亚洲91综合| 亚洲爽图| 激情五月天社区| 人妻少妇久久久| 中文字幕艹艹| 后入日本1234| 超碰99在线| 被男人添B超爽视频| 亚洲操操操| 成人片视频| 97精品久久| AV无码久久久精品| 天天天肏屄欧美| 97国产|免费| 精品欧美А∨无码黑人大荫蒂 | 国产精品乱码久久久久| 国产精品女久久久久av爽| 欧美大香蕉卡久久| 99精品无码| 亚洲一区二区三区中文字幕| 精品国产网站| 啊啊啊骚| 欧美日韩 强奸乱伦| 天天91~综合入口| 99re在线精品78| 国产成人无码a| 色五91| 精品乱码在线观看| 日韩图区| 狠狠久久手机视频精品| 久热九九| 9 1超碰九色| 国产精品爆乳懂色蜜乳| 久久久久久亚洲精品不卡人乳| 蜜臀一二三区| 欧美A片中文字幕| 95精品在线| 日韩精品一二三| 成人性爱免费播放| 日韩有码一区三区| 男人天堂毛片| 三级片网站在线播放| 啊啊啊啊啊啊啊网址在线观看| 男女做爰猛烈动高潮A片免费应用| 成人性爱电影网| 精品欧美日韩在线观看| 乱伦1色页| 热久久国产精品视频大陆精品| 国产中出内射一区二区| 欧美一级做a爰片免费视频| 久久人妻少妇| 性做久久久久久免费观看软件| 性交一区二区在线播放| 国产传媒日韩欧美| 伊人97色天使| 午夜男女爽爽大片免费观看| 欧美嗯啊……在线观看视频免费| 91亚洲情色| 野狼激情网| 国产精品午夜AV完会免费| 亚洲91av| 夜草网站| 91天天c| 欧美性爱中文字幕无线码| 91neishe| 女人久久久| 香蕉99秘 精品一区丁香| 国产精品美女视频诱惑| 蜜臀在线免费观看在线免费观看| 亚洲欧美日韩中文播放| 欧美少妇第一页| 国产久久成人| 很狠操| 91GD.COM| 啊啊啊啊免费视频| 久久精品国产亚洲AV成人直播| 超碰色大香蕉| 九九综合| 日韩簧片免费看| 97se综合| 久久久久久夜夜夜夜夜| 午夜.DJ高清在线观看免费7 | 国产在线76页| 日本欧美中文字幕| 好看的久久不射无码影视影院| 夜色AV无码手机在线影院| 精品国产乱码久久久| 人妻出轨一区二区三区| 亚洲日韩精品一区视频在线| 91精品国产91久久久久久久久久久久| 亚洲日本成人动漫| 国产a片操逼| 欧美亚州色的图| 国产67194| 日产欧美电影一区二区三区| 欧美日本不卡| 一本久道久久综合狠狠爱| 青青草好吊色| 新精精品久久精品| 五月婷婷综合在线| 偷拍 欧美 日韩| 亚洲清纯唯美| 99啪| 在线免费观看日韩一区| aV中文麻| 精品国产一区二区三区久久久蜜臀| 全免费a敌肛交毛片免费| 玖玖大干人妻| 吉川爱美98堂在线| 九九RE视频在线精品| 亚洲一区中文精品| 青青草色AV| 97频视在线| 久久久久久久少妇| 久久一区二区三区入口| 18禁看网站一区| 欧成人在线| 秋霞男人网| 天天天天干| 国产欧美岛国精品一区| 欧美综合网| 色老牛| 一区二区三区四区姦女| 伊人激情| 日本人人操人人操| 天天久久| 天天日熟妇| 熟妇精品juliaannAV| 激情婷婷五月天| 精品v日韩欧美国产| 欧美精品二区视频在线| 亚洲丝袜二区在线| 九九九草| 亚洲揄拍网| AV高清一区| 成年女人一区| 欧美性爱另类综合| 秋霞一级鲁丝片A片| 青青青草伊人精品| 超碰中文字幕人妻草一区| 亚洲色图在线视频| 99精品热| 无码伊人久久大杳蕉中文无码| 久久久久亚洲av综合波多野制衣| 黄色大片视频在线免费看| 欧美 色 亚洲| 伊人久久亚洲中文字幕不卡| 97资源欧美| www老逼91| 99色婷婷| 亚洲夜夜欢无码一区二区| 黄色免费网页无码| 夜夜天天噜狠狠爱2021| 热久日综合| 一直超碰| 老鸭窝黄色视频网站| 熟妇艹鸡八| 国产欧美日韩女同性恋ww喷水精品| 精品亚洲国产成人AV制服丝袜| 久久精品国产亚洲AV片多多| 操b在线观看| 日韩性爱长视频免费| 青草综合| 日韩视频中文字幕| 国内偷拍精品一区二区| 日本视频在线中文字幕| 亚洲伊人久久综合97| 麻豆久久精品亚洲精品88| 密乳视频在线| 97久久超碰国产精品| 大但人体久久久久| 蜜桃AV天堂| 久久久久白虎| 日韩欧美女求操每天更新| 国产高清在线自在拍69| 亚洲日韩狠狠撸视频| 色网亚洲人| 国产女同在线观看视频| 激情小说图片亚洲首页| 国产成人精品必看| 国产亚洲中文不卡二区| 亚洲1区| 99re6久热只有精品6在线直播| 精品丰满人妻一区二区三区免费观| 夜夜一区二区| 久久久成人国产精品无码| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 日本一区不卡| 麻豆国产97在线| 国产自产自拍| 亚洲另类电影| 99999精品视频| 91国产丝袜足交精品视频| 亚洲精品骚逼| 啊啊啊啊啊舒服| 超碰95| 午夜乱轮操逼视频免费看| 亚洲一级特黄大片在线播放91| 亚州操逼网| 91色五月俺来也| 日本中文字幕一区| 亚洲资源一区| 亚洲天堂资源网| 91久久国产精品| 亚洲中文字幕熟女| 九色精品视频导航1| 无码WWW免费视频网站| 日韩精品一区二区三区色欲| 偷拍欧美激情| 热热色色综合| 好涩综合| 一区二区三区亚洲| 人人干人人搞人人摸| 久久露脸国产老熟女| 手机不卡视频不卡在线一二三区| 97精品97久久| 亚洲色图欧美色18直播在线| 久久精品欧美一区二区三区不卡| 韩国黄色片精品久久久| 嗯嗯嗯不要不要免费视频| 91女优在线观看 | 超碰精品| 欧美性爱一区二区三区| 久久夜夜| 十八禁视频网站| 亚洲 欧美 91| 加勒比性爱成人在线| 尹人免费观看视频在线| 韩国一级婬片A片AAAAA| 国产精品第二页| 欧美精品97| 一级A片女人高潮叫床| 日本九九久久99播| 亚洲高潮影院| 亚欧视频在线| 女人爽到高潮久久久| 美女网站黄页| 两女互慰AV高潮喷水在线观看| 五月婷婷六月丁香| 91精品少妇搡搡搡| 国产超碰AV在线精品| 桃色五月天| 伊人嫩草| 国产熟女乱论| 98色网| 欧美激情内射| 果冻国产精品麻豆成人av| 成人无码专区精品视频| 女人精品内射国产99| 婷婷久草| 亚州色国| 人妻少妇被猛烈进入中| 依人大香蕉| 乱人乱色一区二区三区免费| 欧美激情性爱视频网站| 99热精品在线观看| 亚洲熟女一区二区| 人人操人人叉人人插人人| 好好的日:com久久九九| 成人精品在线免费视频| 少妇一线天久久久久久| 久久久96精品| 玖玖爱免费观看视频| 久久婷婷亚洲欧| 日日操免费视频| 天天舔九色婷婷| 伊人影院日本| 嗯啊啊啊轻点视频| 97超碰超碰| 一色网男人的天堂| 精品78| 亚洲另类久操网| 欧美激情在线观看视频| 激情五月综合| 亚州男人天堂| 日韩素人无码一区二区三区三州| 无码人妻一区二区三区四区老鸭窝| 国产亚洲综合欧美一区| 国产精品69久久久久孕妇欧美| 夜色AV无码手机在线影院| 美女91在线观看| 懂色天天爱天天日天天射天天澡| 天天日美女的B| 久热影视| 自拍亚洲综合| 日韩不卡av一二三| 亚洲自拍小说| 国产精品久久久亚洲一区| 另类图片综合| 综合网亚| 亚洲AV无线| 欧美性暴力猛交XXXX | 亚洲a色| 久久极品一区二区| 日韩免费a级毛片无码a∨| 亚洲丝袜色图| 国产成年免费大片黄在线观看| 亚洲啪啪啪啪视香蕉| 1024人妻| www国产无码| 欧美大片天天看| 亚洲乱码国产乱码精网站| a人片中文字幕一区二区| 中文字幕成人理论在线| 久久精品高清无码一区| 日本三级一区二区 在线| 日本熟妇自慰性高潮一区二区三区| 中字乱伦AV| 日本成a人v网站在线观看| 久久999久| 日本韩欧美在线播放a| 日本道人妻久久久在线不卡色视频| 久久久一区二区三区四曲免费听| 青娱乐国产剧情av一区| 91日日| 亚洲各类熟们中文字幕| 极品销魂美女一区二区 | 天天插天天操| 亚洲欧洲激情卡通另类文学四射小说网站 | 日韩一区二区精品视频| 视频二区美腿制服人妻欧美| 97干色天堂| 91|九色|国产熟女| 思思热国产高清| 亚州欧美总和| 亚殴在线| 国产精品无码在线| 欧美一区二区男人天堂| 欧美色图天堂网m| 韩日性爱av| 东北操逼| 另类综合另类| 国产女人成人精品视频| 最新无码国产| 亚洲精品蜜桃久久久| 青青草大香蕉在线视频| 免费精品99| 免费1级a做爰片观看| 精品一区二区三区丰满熟女-亚洲欧美一区 | 激情小说亚洲| 日韩欧美天堂| 75大香蕉| 亚码激情| 天天看特黄的免费网站| 变态乱伦伪娘灌肠一区二区| 97色插| 国产理论视频在线播放| 亚洲天天更新| 欧美中字不卡| 超碰天天操你比| 97久久久久久久精| 亚洲综合一区二区| 免费a级毛片av无码久久精品中文字幕| 高清无码学生妹高潮| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | AⅤ片水多多| 九九九九AV| 99re28在线观看| 成人在线午夜视频一区| 久久人人爽爽爽人久久久| 激情综合五月婷婷| 国内偷自视频区视频综合| 久久男人的天堂| 91丝袜美女视频| 特级大荫道BBwBBwBBW| 青青草在线成人视频| 九九天堂| 国产精品一级片在线看| 欧美综合娱乐久久| 国产精品无码成人精品| 18禁超污无遮挡无码免费网| 后入美女国产| 狠狠色色| 国产精品一级毛片不卡视| 丰满美女一级毛片在线播放| 亚洲性网| 丰满人妻aA一区二区三区| www.男人的天堂| 99少妇内射| 208天天久久九九九| 精品女同一区| 久久久555| 久久亚洲一区女同性恋中文字幕 | 亚洲成人美女无吗| 日本激情免费大片| 日本激情免费大片| 黑丝自慰喷水网站| 中文字幕一区二区韩| 91精品女厕偷拍视频| av一区二区三区不卡| 国产91福利小视频在线观看| 97爱综合| 久久精品 六十路 熟女 欧美| 超碰精品日韩欧美国产| 国产一级舔足在线观看| 国产主播福利| 久久久国产av美女私房| 日韩激情小说一区二区| 神马久久久久久伦理片| 操逼视频亚洲| 99精品无码| 欧美九九爱| 亚洲精品视频二区| 在线观看AV不卡| 成人A片男人的天堂| 久偷拍欧美日韩三区| 国产精品电| 97色色色综合网站| 亚洲天天影视综合网| 少妇特黄一区二区三区| 青青草大香蕉视频| 色妇综合网| 成人国产二区三区在线,男女精品。| 囯产精品久久久久久久久久二区三区| 激情婷婷综合久久| 日本黄色精品专区网站| 国产高清MV操逼视频| 五月丁香综合激情| 在线观看十八禁| 亚洲成av人片色午夜乱码| 激情五月天婷婷| 熟妇熟女一区二三区|