色五月色开心色婷婷色丁香,五月婷婷丁香花综合网,婷婷丁香五月激情综合在线,五月婷婷六月丁香动漫,婷婷丁香五月激情综合在线,丁香花中文字幕在线观看,播五月色五月开心五月网,开心激情综合网,狠狠色丁香婷婷综合最新地址,丁香视频在线观看,狠狠做六月爱婷婷综合av,久久激情五月丁香伊人

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制 先把話說在前面如果你只是裸機(jī)單任務(wù)跑 picolibc這文章你看了會(huì)打瞌睡但只要你把程序搬到 RTOS 上兩個(gè)任務(wù)同時(shí)開始 printf 和 malloc你很快就能體會(huì)到 locking support 到底在解決什么。picolibc 的 locking support說人話就是給 C 標(biāo)準(zhǔn)庫內(nèi)部的共享資源堆、標(biāo)準(zhǔn) I/O、errno 等補(bǔ)上“多線程安全”的鎖機(jī)制。它解決的是嵌入式領(lǐng)域里最隱蔽也最致命的一類 bug不崩潰、不亂碼、但時(shí)不時(shí)出現(xiàn)內(nèi)存被踩、任務(wù)卡死、錯(cuò)誤碼莫名變化。這篇文章適合正在用 picolibc FreeRTOS、RT-Thread、Zephyr 或者自研 RTOS 的開發(fā)者尤其是從裸機(jī)剛轉(zhuǎn)過來、還沒意識到 libc 線程安全是個(gè)問題的朋友。我要講的不是“怎么開一個(gè)配置宏”這么簡單而是把 picolibc 鎖支持的前因后果、底層函數(shù)設(shè)計(jì)、移植實(shí)現(xiàn)以及我踩過的大大小小的坑一次性講透。1. 為什么嵌入式 C 庫需要鎖支持1.1 裸機(jī)時(shí)代的“單線程假設(shè)”C 標(biāo)準(zhǔn)庫誕生的時(shí)候根本沒人考慮多線程。標(biāo)準(zhǔn)庫內(nèi)部大量使用全局狀態(tài)strtok 用靜態(tài)指針保存剩余字符串rand 用全局種子errno 是全局變量malloc 的堆管理結(jié)構(gòu)也是全局鏈表。這些設(shè)計(jì)在單任務(wù)裸機(jī)下沒有任何問題因?yàn)槟阒挥幸粋€(gè)執(zhí)行流所有資源天然“同步”??梢坏┥狭?RTOS多個(gè)任務(wù)分時(shí)復(fù)用 CPU這幾個(gè)全局狀態(tài)就成了最危險(xiǎn)的共享資源。很多剛接觸 RTOS 的開發(fā)者會(huì)有一種錯(cuò)覺只要我不在中斷里調(diào)用 printf多個(gè)任務(wù)各調(diào)各的 printf 就沒事。真不是這樣。picolibc 的 stdio 內(nèi)部有緩沖區(qū)兩個(gè)任務(wù)同時(shí)寫 stdout 時(shí)先寫一半再被調(diào)度走另一個(gè)任務(wù)接著寫最終輸出就是亂碼。更嚴(yán)重的是 malloc堆管理鏈表被兩個(gè)任務(wù)同時(shí)操作輕則內(nèi)存分配異常重則堆結(jié)構(gòu)被破壞直接硬件異常。picolibc 作為面向嵌入式場景的 libc 替代品設(shè)計(jì)上保留了 C 標(biāo)準(zhǔn)庫的可移植性同時(shí)也保留了標(biāo)準(zhǔn)庫的“單線程假設(shè)”。所以它才需要 locking support 來彌補(bǔ)這個(gè)缺陷。鎖支持并不是 picolibc 獨(dú)有的概念newlib、musl、glibc 都有類似機(jī)制只是嵌入式場景里資源受限實(shí)現(xiàn)方式更加精簡。1.2 多線程下的三個(gè)典型事故現(xiàn)場我自己踩過一次特別經(jīng)典的坑。有一個(gè)跑在 STM32F4 上的 FreeRTOS 項(xiàng)目四個(gè)任務(wù)分別采集傳感器、刷 OLED、處理串口命令、上報(bào)日志。一開始裸機(jī)單任務(wù)跑得好好的上了 FreeRTOS 之后每隔幾分鐘 OLED 顯示就花一次串口日志偶爾出現(xiàn)一行被截?cái)嗟膩y碼。當(dāng)時(shí)第一反應(yīng)是驅(qū)動(dòng)問題調(diào)了 SPI 時(shí)序加了 DMA 超時(shí)重試折騰了兩天最后才發(fā)現(xiàn)根因是 printf 在多個(gè)任務(wù)間競爭 stdout 緩沖區(qū)。第二個(gè)事故現(xiàn)場是 malloc。系統(tǒng)跑了幾小時(shí)后隨機(jī)會(huì)進(jìn)入 HardFault看調(diào)用棧發(fā)現(xiàn)是 free 函數(shù)里面崩了。追查發(fā)現(xiàn)兩個(gè)任務(wù)都在做動(dòng)態(tài)內(nèi)存申請釋放其中一個(gè)任務(wù)在 free 的瞬間被高優(yōu)先級任務(wù)搶占新任務(wù)也調(diào)了 free堆鏈表就被改壞了。這類錯(cuò)誤在嵌入式里特別難查因?yàn)樗驼{(diào)度時(shí)序強(qiáng)相關(guān)不是每次都能復(fù)現(xiàn)等抓到現(xiàn)場往往已經(jīng)晚了。第三個(gè)是 errno 污染。我在一個(gè)文件系統(tǒng)相關(guān)任務(wù)里調(diào)用底層接口失敗后打印 errno結(jié)果打出來的錯(cuò)誤碼是另一個(gè)任務(wù)的。原因很簡單兩個(gè)任務(wù)共享同一個(gè) errno 全局變量后寫的人把先寫的人的值覆蓋了。排查這種問題極費(fèi)時(shí)間因?yàn)殄e(cuò)誤碼本身沒有規(guī)律只有加鎖或者改成 TLS 才能根治。1.3 picolibc 的兩種線程模型picolibc 處理線程安全和我之前用過的 newlib 不太一樣它支持兩套模型。老模型是struct _reent每個(gè)線程維護(hù)一份獨(dú)立的 errno、緩沖區(qū)狀態(tài)通過線程局部數(shù)據(jù)指針找到自己的 reent 結(jié)構(gòu)新模型則是直接使用 TLS線程局部存儲(chǔ)編譯器會(huì)為每個(gè)線程分配獨(dú)立的 errno 副本不存在共享問題。老模型最大的問題是代碼復(fù)雜每個(gè)函數(shù)都要先取 reent 指針再訪問內(nèi)部字段函數(shù)體積和調(diào)用路徑都變長。TLS 模型則簡潔得多尤其是在 ARM Cortex-M 這類硬件上picolibc 對 TLS 做了專門的編譯期支持加載 TLS 基址的指令開銷很小。理解了這一點(diǎn)你就能明白鎖支持的邊界errno 這類“每個(gè)線程各有一份”的東西TLS 能解決但 malloc 的堆、printf 的 stdout 緩沖區(qū)這類“物理上只有一份”的資源TLS 解決不了必須靠鎖。這也解釋了為什么很多嵌入式工程師以為開了編譯器 TLS 選項(xiàng)就萬事大吉結(jié)果 malloc 還是崩——因?yàn)閮蓚€(gè)問題的本質(zhì)不一樣。2. picolibc 鎖支持的底層設(shè)計(jì)拆解2.1 鎖函數(shù)家族__lock_init 到 __lock_releasepicolibc 的鎖支持其實(shí)是一組很精簡的函數(shù)接口定義在sys/lock.h里。我在實(shí)際使用中把這組函數(shù)分成三類生命周期管理、普通鎖操作、遞歸鎖操作。生命周期管理包括__lock_init和__lock_close前者在 libc 內(nèi)部初始化某個(gè)全局資源時(shí)被調(diào)用后者在資源銷毀時(shí)調(diào)用。普通鎖操作是__lock_acquire和__lock_release分別對應(yīng)“上鎖”和“解鎖”。遞歸鎖操作則是__lock_acquire_recursive和__lock_release_recursive對應(yīng)支持遞歸持有的鎖。為什么會(huì)需要遞歸鎖考慮 malloc 的實(shí)現(xiàn)堆分配器在拿到鎖之后如果分配失敗可能觸發(fā)系統(tǒng)調(diào)用系統(tǒng)調(diào)用內(nèi)部為了記賬又要訪問同一個(gè)堆控制塊這就是典型的“同一線程重復(fù)獲取同一把鎖”的場景。如果鎖不支持遞歸第二次獲取就會(huì)死鎖。還有一個(gè)__lock_try_acquire非阻塞嘗試獲取鎖用于一些不想被阻塞的路徑。嵌入式環(huán)境里這個(gè)函數(shù)使用率不高但移植時(shí)最好一并實(shí)現(xiàn)因?yàn)?picolibc 內(nèi)部某些代碼路徑會(huì)在條件編譯下引用它。函數(shù)原型作用注意事項(xiàng)void __lock_init(_LOCK_T *lock)初始化鎖在 libc 內(nèi)部資源首次使用時(shí)調(diào)用void __lock_close(_LOCK_T *lock)銷毀鎖釋放底層互斥量句柄void __lock_acquire(_LOCK_T *lock)獲取鎖阻塞式等不到就一直等void __lock_release(_LOCK_T *lock)釋放鎖必須與 acquire 成對int __lock_try_acquire(_LOCK_T *lock)嘗試獲取鎖返回 0 表示成功void __lock_acquire_recursive(_LOCK_T *lock)遞歸獲取鎖同一線程可重復(fù)獲取void __lock_release_recursive(_LOCK_T *lock)遞歸釋放鎖需要配對 count2.2 弱符號機(jī)制你的覆蓋點(diǎn)在哪里我最開始接觸 picolibc 鎖支持時(shí)有個(gè)困惑這些函數(shù)到底是誰實(shí)現(xiàn)的后來看鏈接 map 文件才搞明白picolibc 在構(gòu)建時(shí)把這些鎖函數(shù)默認(rèn)編譯成了弱符號weak symbol。也就是說如果你在工程里沒有定義自己的__lock_acquire鏈接器就會(huì)使用 picolibc 自帶的弱引用空實(shí)現(xiàn)直接返回不上鎖。一旦你在某個(gè) C 文件里定義了同名的強(qiáng)符號鏈接器的符號解析規(guī)則會(huì)優(yōu)先選擇強(qiáng)符號你的實(shí)現(xiàn)就會(huì)“無縫接管”libc 內(nèi)部的鎖調(diào)用。這個(gè)設(shè)計(jì)非常巧妙。它意味著你不需要重新編譯 picolibc不需要修改庫源碼只要在應(yīng)用層提供一個(gè)適配文件就能把鎖的底層實(shí)現(xiàn)完全替換成目標(biāo) RTOS 的互斥量。對于裸機(jī)工程弱符號默認(rèn)空實(shí)現(xiàn)也不會(huì)帶來任何代碼膨脹零開銷。但這里有個(gè)坑弱符號的優(yōu)先級只比“未定義”高。如果你在多個(gè)源文件里都定義了強(qiáng)符號__lock_acquire鏈接器直接報(bào)多重定義錯(cuò)誤。另外picolibc 版本升級后鎖函數(shù)簽名如果有變動(dòng)你的移植層代碼沒有跟著改鏈接時(shí)不會(huì)報(bào)錯(cuò)但運(yùn)行時(shí)會(huì)因?yàn)榻Y(jié)構(gòu)體大小不匹配產(chǎn)生內(nèi)存越界。我建議在移植文件里加上編譯期_Static_assert至少把結(jié)構(gòu)體大小校驗(yàn)住。2.3 構(gòu)建開關(guān)newlib-multithread 與相關(guān)選項(xiàng)雖然弱符號機(jī)制讓你可以在應(yīng)用層覆蓋鎖實(shí)現(xiàn)但前提是 picolibc 庫本身編譯時(shí)啟用了鎖相關(guān)代碼路徑。picolibc 使用 meson 作為構(gòu)建系統(tǒng)其中有一個(gè)關(guān)鍵配置項(xiàng)叫newlib-multithread。這個(gè)選項(xiàng)默認(rèn)關(guān)閉關(guān)閉狀態(tài)下picolibc 內(nèi)部的 malloc、stdio 代碼根本不會(huì)調(diào)用__lock_acquire你在應(yīng)用層實(shí)現(xiàn)了鎖函數(shù)也無濟(jì)于事。啟用方式是在 picolibc 源碼目錄下執(zhí)行 meson 配置時(shí)傳參meson setup build --cross-file cross-arm-none-eabi.txt -Dnewlib-multithreadtrue ninja -C buildcross-arm-none-eabi.txt是你自己的交叉編譯工具鏈描述文件名字按實(shí)際工程來。啟用后構(gòu)建系統(tǒng)會(huì)定義_HAVE_LOCK宏libc 內(nèi)部的多線程安全代碼路徑才會(huì)被編譯進(jìn)去。和鎖支持經(jīng)常一起提的還有兩個(gè)選項(xiàng)newlib-tls和newlib-global-errno。newlib-tls控制是否使用線程局部存儲(chǔ)模型建議開啟newlib-global-errno控制是否把所有線程的 errno 合并成一個(gè)全局變量這個(gè)強(qiáng)烈建議關(guān)閉否則 errno 又會(huì)退化成共享資源失去 TLS 的意義。我見過有人圖省事把 global-errno 打開結(jié)果兩個(gè)任務(wù)跑著跑著錯(cuò)誤碼互相污染排查半天。3. 實(shí)操在 FreeRTOS 上為 picolibc 實(shí)現(xiàn) locking support3.1 前置確認(rèn)你的 picolibc 是否啟用了鎖工程實(shí)踐里第一步不是寫代碼而是確認(rèn)你的 picolibc 是不是已經(jīng)編譯成帶鎖的版本。最笨也最可靠的方法是看編譯生成的 map 文件。搜索__lock_acquire如果出現(xiàn)的是 picolibc 庫內(nèi)部的弱符號說明鎖支持已經(jīng)啟用如果整個(gè)符號都沒出現(xiàn)說明newlib-multithread沒開或者庫內(nèi)部代碼路徑?jīng)]有引用鎖。還有一個(gè)快速判斷方法寫一個(gè)多任務(wù)壓測程序兩個(gè)任務(wù)各自循環(huán)malloc和free跑十分鐘。如果程序穩(wěn)定不崩說明鎖是生效的如果崩得快基本可以確定鎖沒啟用或者移植有問題。但這種方法有概率性不適合作為唯一判斷依據(jù)我建議以 map 文件為準(zhǔn)。另一個(gè)容易忽略的點(diǎn)如果你是自己編譯 picolibc需要確認(rèn) Thread Local Storage 相關(guān)的鏈接腳本和啟動(dòng)文件是否正確。TLS 需要鏈接器分配.tdata、.tbss段工具鏈和鏈接腳本缺一不可。用現(xiàn)成的 picolibc 發(fā)行版時(shí)一般沒問題但如果你是從源碼自定義構(gòu)建或者手工改了鏈接腳本就要留意這個(gè)。3.2 實(shí)現(xiàn) _lock* 函數(shù)一份可用的 FreeRTOS 移植代碼下面是我在 Cortex-M 平臺(tái)上驗(yàn)證過的 FreeRTOS 移植實(shí)現(xiàn)。核心思路是把 picolibc 的_LOCK_T類型直接映射成 FreeRTOS 的SemaphoreHandle_t鎖函數(shù)內(nèi)部操作 FreeRTOS 信號量。/* picolibc_lock_port.c */ #include sys/lock.h #include FreeRTOS.h #include semphr.h typedef SemaphoreHandle_t _LOCK_T; void __lock_init(_LOCK_T *lock) { *lock xSemaphoreCreateRecursiveMutex(); configASSERT(*lock ! NULL); } void __lock_close(_LOCK_T *lock) { if (*lock ! NULL) { vSemaphoreDelete(*lock); *lock NULL; } } void __lock_acquire(_LOCK_T *lock) { /* 遞歸互斥鎖防止 malloc/free 內(nèi)部遞歸路徑死鎖 */ xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); } int __lock_try_acquire(_LOCK_T *lock) { return (xSemaphoreTakeRecursive(*lock, 0) pdTRUE) ? 0 : 1; } void __lock_acquire_recursive(_LOCK_T *lock) { xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release_recursive(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); }這里用了遞歸互斥鎖而不是普通互斥鎖原因前面說了malloc 內(nèi)部存在同一線程重復(fù)獲取鎖的路徑。如果一個(gè)任務(wù)在持有鎖期間被更高優(yōu)先級任務(wù)搶占而高優(yōu)先級任務(wù)也調(diào)用了 lock 相關(guān)的 libc 函數(shù)非遞歸鎖會(huì)直接導(dǎo)致死鎖。遞歸互斥鎖雖然比非遞歸鎖慢一點(diǎn)點(diǎn)但在這個(gè)場景下是必需的安全設(shè)計(jì)。有一點(diǎn)要單獨(dú)提醒上面的typedef SemaphoreHandle_t _LOCK_T;是假設(shè)你的 picolibc 允許自定義_LOCK_T類型。實(shí)際工程中_LOCK_T的定義位置可能在 picolibc 提供的sys/lock.h里也可能被某些版本固定為結(jié)構(gòu)體類型。你需要先打開 picolibc 源碼里的sys/lock.h確認(rèn)一下。如果它已經(jīng)定義成類似struct _lock_t { void *handle; }的結(jié)構(gòu)體那代碼就要改成往lock-handle里塞句柄。核心邏輯不變變的是類型賦值方式。3.3 編譯鏈接與驗(yàn)證移植完成后把picolibc_lock_port.c加入工程重編整個(gè)固件。鏈接階段重點(diǎn)看有沒有重復(fù)定義錯(cuò)誤因?yàn)?picolibc 自帶的弱符號鎖函數(shù)如果沒被排除你的強(qiáng)符號會(huì)和它共存正常情況下弱符號會(huì)被忽略不會(huì)沖突。如果你同時(shí)引用了啟動(dòng)文件里的其它弱符號也不要慌鏈接器對弱符號的處理規(guī)則是“強(qiáng)符號優(yōu)先弱符號墊底”不會(huì)報(bào)錯(cuò)。驗(yàn)證程序我建議分成兩級。第一級是功能驗(yàn)證兩個(gè)任務(wù)一個(gè)瘋狂printf一個(gè)瘋狂malloc/free系統(tǒng)跑不崩輸出不亂碼初步判斷鎖生效。第二級是壓力驗(yàn)證把任務(wù)優(yōu)先級故意設(shè)置為相同的加滿調(diào)度抖動(dòng)讓臨界區(qū)競爭更激烈連續(xù)跑 24 小時(shí)以上觀察有沒有卡死或者硬件異常。這兩個(gè)驗(yàn)證通過移植物才算合格。我實(shí)際測試過這個(gè)移植層在 Cortex-M4 168MHz 上每次__lock_acquire/__lock_release的完整開銷大約 1 到 3 微秒。這個(gè)數(shù)字受 FreeRTOS 內(nèi)核配置影響如果開了configUSE_TRACE_FACILITY或者調(diào)試鉤子開銷會(huì)更高。對大部分外設(shè)交互類應(yīng)用來說這個(gè)成本可以接受。3.4 性能開銷與優(yōu)化方向如果壓測發(fā)現(xiàn)鎖開銷成為瓶頸有幾個(gè)優(yōu)化方向。第一個(gè)是縮小臨界區(qū)最容易做也最有效。picolibc 的鎖是加在 malloc 入口和 printf 出口的臨界區(qū)長度由內(nèi)部算法決定這個(gè)我們改不了但我們可以減少調(diào)用次數(shù)比如把分散的小 printf 拼接成一條大 printf把頻繁的單對象 malloc 改成批處理內(nèi)存池。第二個(gè)優(yōu)化方向是權(quán)衡是否真的需要全局鎖。比如你的系統(tǒng)里只有任務(wù) A 會(huì) malloc其他任務(wù)從來不碰堆那就完全可以把newlib-multithread關(guān)掉省掉鎖的開銷。Picolibc 的鎖是全局的它判斷不了“誰會(huì)用堆”只會(huì)無差別保護(hù)。如果你能確認(rèn)“只有一個(gè)任務(wù)觸碰共享資源”關(guān)閉鎖支持就是最徹底的優(yōu)化。第三個(gè)方向是研究configUSE_MUTEX_ATTRIBUTES和 FreeRTOS 的優(yōu)先級繼承。普通互斥鎖有優(yōu)先級反轉(zhuǎn)問題低優(yōu)先級任務(wù)持鎖高優(yōu)先級任務(wù)等鎖中優(yōu)先級任務(wù)搶占低優(yōu)先級任務(wù)導(dǎo)致高優(yōu)先級任務(wù)被間接卡住。FreeRTOS 的互斥鎖內(nèi)置優(yōu)先級繼承機(jī)制但遞歸互斥鎖的行為略有不同。在強(qiáng)實(shí)時(shí)場景下你需要評估鎖的持有時(shí)間盡量把持鎖操作縮短到微秒級別。4. 常見問題與排查技巧實(shí)錄4.1 問題速查表我整理了鎖支持移植和運(yùn)行中最常見的幾類問題做成速查表。這些問題分散在論壇和 issue 里我匯總成一張表方便你對照排查?,F(xiàn)象可能原因排查方法解決方案鏈接錯(cuò)誤undefined reference to__lock_acquirepicolibc 編譯時(shí)未啟鎖支持看構(gòu)建配置確認(rèn)newlib-multithread是否開啟重新編譯 picolibc開啟多線程鎖選項(xiàng)多重定義錯(cuò)誤多個(gè)強(qiáng)符號__lock_acquire移植文件被重復(fù)加入工程檢查編譯日志里的文件列表只保留一個(gè)移植源文件malloc 頻繁崩潰HardFault 在 free 函數(shù)鎖未生效堆鏈表競爭查 map 文件中鎖符號來源確認(rèn)庫版本帶鎖移植正確實(shí)現(xiàn)printf 輸出亂碼、截?cái)鄐tdout 緩沖競爭兩個(gè)任務(wù)同時(shí) printf 壓測實(shí)現(xiàn)鎖函數(shù)或任務(wù)內(nèi)串行化輸出系統(tǒng)跑一段時(shí)間后死鎖鎖實(shí)現(xiàn)用了非遞歸鎖在死鎖現(xiàn)場查看任務(wù)棧換成遞歸互斥鎖中斷里調(diào)用 printf 導(dǎo)致系統(tǒng)掛起鎖在中斷上下文阻塞檢查中斷是否調(diào)用了 libc 函數(shù)中斷里禁用帶鎖的 libc 調(diào)用4.2 死鎖排查從 printf 卡死到優(yōu)先級反轉(zhuǎn)有一次我們的設(shè)備在現(xiàn)場升級時(shí)死機(jī)了復(fù)位后抓取調(diào)試信息發(fā)現(xiàn)卡死在__lock_acquire里。當(dāng)時(shí)第一個(gè)反應(yīng)是鎖沒有釋放但用調(diào)試器把任務(wù)列表打出來發(fā)現(xiàn)占用鎖的任務(wù)處于阻塞狀態(tài)而且它阻塞的原因不是在等這把鎖而是在等一個(gè)串口發(fā)送信號量。這就觸發(fā)了典型的優(yōu)先級反轉(zhuǎn)嵌套死鎖任務(wù) A 持有 malloc 的鎖調(diào)用串口發(fā)送等待串口信號量任務(wù) B 在串口中斷服務(wù)里觸發(fā)了一個(gè)快速 malloc嘗試獲取 malloc 的鎖但拿不到而串口信號量恰恰需要任務(wù) B 釋放于是形成了 A 等 B、B 等鎖的循環(huán)。這個(gè)案例讓我意識到只實(shí)現(xiàn)鎖函數(shù)是不夠的還要確保鎖的持有路徑上不要再次等待其他任務(wù)持有的資源。排查死鎖的常規(guī)思路是記錄鎖的持有者和等待鏈。我在工程里加了一個(gè)簡單跟蹤每次__lock_acquire進(jìn)入時(shí)記錄當(dāng)前任務(wù)句柄和調(diào)用 PC放在一個(gè)環(huán)形緩沖區(qū)里每次__lock_release清掉記錄。死鎖發(fā)生后用調(diào)試器查看緩沖區(qū)直接看到誰在持鎖、誰在等鎖問題定位效率提升很多。這些小工具平時(shí)看著多余關(guān)鍵時(shí)刻能救命。4.3 性能陷阱鎖函數(shù)實(shí)現(xiàn)不當(dāng)導(dǎo)致系統(tǒng)吞吐驟降還有一類問題不是崩潰而是“慢”。日志任務(wù)本來每秒能刷幾百條記錄加了鎖支持之后掉到三四十條。一開始懷疑是鎖本身開銷太大后來測出來根本不是是鎖函數(shù)里用了不該阻塞的調(diào)用路徑。我在移植實(shí)現(xiàn)里一開始用的是普通信號量xSemaphoreTake這個(gè)函數(shù)在鎖被占用時(shí)會(huì)觸發(fā)任務(wù)切換和調(diào)度器操作頻繁競爭時(shí)開銷被放大。后來改成xSemaphoreTakeRecursive并且確認(rèn)在持有鎖期間不會(huì)主動(dòng)讓出 CPU吞吐才恢復(fù)正常。本質(zhì)上不是函數(shù)多了幾行而是臨界區(qū)里不能做任何可能阻塞的調(diào)用否則整個(gè)系統(tǒng)的調(diào)度水位會(huì)迅速惡化。另一個(gè)性能相關(guān)的問題是中斷環(huán)境。FreeRTOS 的互斥信號量不能在中斷服務(wù)程序里使用因?yàn)閜ortMAX_DELAY這類阻塞參數(shù)在中斷上下文是無效的。如果你在中斷里調(diào)用了 printf并且 printf 背后走了帶鎖的 stdio 路徑系統(tǒng)行為就會(huì)變得非常詭異有時(shí)候返回錯(cuò)誤有時(shí)候直接卡死。我后來在中斷處理里統(tǒng)一改成寫無鎖環(huán)形緩沖區(qū)中斷外再做格式化輸出徹底繞開了這個(gè)坑。再補(bǔ)一個(gè)經(jīng)驗(yàn)如果你的工程同時(shí)使用多個(gè) RTOS 組件比如 lwIP 或者文件系統(tǒng)棧它們的鎖機(jī)制和 picolibc 鎖是完全獨(dú)立的兩套東西。picolibc locking support 只管 C 標(biāo)準(zhǔn)庫內(nèi)部網(wǎng)絡(luò)協(xié)議棧的內(nèi)存池、文件系統(tǒng)緩存都有自己的保護(hù)機(jī)制不要混為一談。我見過有的開發(fā)者以為“開了 picolibc 鎖整個(gè)系統(tǒng)就線程安全了”這是誤解。每層資源需要各自的鎖策略。4.4 一個(gè)隱藏已久的坑TLS 變量的初始化時(shí)機(jī)最后說一個(gè)比較冷門但影響很大的坑。TLS 模型下errno 是每個(gè)線程的線程局部變量但它的初始化依賴 RTOS 創(chuàng)建任務(wù)時(shí)為任務(wù)棧預(yù)留的 TLS 空間。如果 FreeRTOS 的configTLS_BLOCK_SIZE配置不對或者任務(wù)創(chuàng)建函數(shù)沒有正確地向任務(wù) TCB 注冊 TLS 塊那線程訪問 errno 時(shí)會(huì)讀到未初始化的內(nèi)存可能是一個(gè)隨機(jī)值也可能是別的任務(wù)寫過的殘留數(shù)據(jù)。這個(gè)問題不會(huì)像崩潰那么明顯它表現(xiàn)為某個(gè)任務(wù)偶爾拿到錯(cuò)誤的 errno且錯(cuò)誤碼和實(shí)際錯(cuò)誤毫不相關(guān)看起來完全是隨機(jī)的。排查時(shí)很容易懷疑是業(yè)務(wù)邏輯 bug反復(fù)看代碼也找不到問題。我最后是在一個(gè) FAE 的提示下檢查了任務(wù)創(chuàng)建時(shí) TLS 塊的大小和 picolibc 預(yù)期的 TLS 大小是否匹配才定位到根因。具體做法是在鏈接腳本里記錄.tdata和.tbss的總大小然后把這個(gè)值配置到configTLS_BLOCK_SIZE中。你在移植 picolibc 到 FreeRTOS 時(shí)這一步千萬不要漏。5. 我的移植經(jīng)驗(yàn)與收尾建議說實(shí)話picolibc 的 locking support 并不復(fù)雜真正的復(fù)雜度在于理解 libc 內(nèi)部的共享資源到底有多少以及你的 RTOS 調(diào)度行為和鎖之間的相互作用。每次換一個(gè) RTOS、換一塊硬件平臺(tái)我都建議重新走一遍完整的移植和壓測流程不要想當(dāng)然地拿上一版代碼直接拷過去。就我自己的經(jīng)驗(yàn)而言有一個(gè)比較穩(wěn)的組合配置TLS 保持開啟global-errno 關(guān)閉newlib-multithread開啟鎖底層使用 FreeRTOS 遞歸互斥鎖并且移植文件里只做鎖的獲取和釋放不做任何日志、不做調(diào)試打印。這樣既保證了線程安全又把移植層的不可控因素降到最低。如果你在移植過程中遇到特別怪異的現(xiàn)場優(yōu)先懷疑鎖的持有路徑其次懷疑 TLS 初始化最后再懷疑工具鏈鏈接腳本。這三步走完絕大多數(shù)問題都能水落石出。最后再分享一個(gè)我個(gè)人的小習(xí)慣在項(xiàng)目早期就把 lock 壓測代碼放進(jìn)自動(dòng)化構(gòu)建流程里每次 BSP 變更后跑一遍。這種問題一旦藏在系統(tǒng)深處越晚發(fā)現(xiàn)代價(jià)越大早發(fā)現(xiàn)反而最省時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
加勒比大香蕉视频在线| 99re3这里只有精品| 久久精品性| 成人亚欧免费视频| 成人三级片无码| 麻豆人妻精品一区二区| 欧美日韩亚洲电影| 亚洲自拍偷拍视频在线| 欧美系列在线一区二区| 久草综合视频| 99色婷婷中文字幕乱色| 操东北女人| 精品中文字幕第一页| 老司机深夜影院18未满| 亚洲伊人久久精品狠狠在线| 人妻少妇精品视频一区二区三区| 在线国产一区二区av| 亚洲揄拍网| 亚洲无码com| 99成人| 日韩毛片9| 亚洲操人| 青春草莓视频在线观看网址| 亚洲精品一二三四区| 北京专精特新企业招聘信息| 久草视频在线视频在线视频在线观看 | 久久九九视频九九视频| 欧洲人妻视频| 国产精品网站免费| 自拍偷拍2025在线观看| 污污污8888| 大香蕉久| 涩涩这里只有精品视频| 黑人与人妻| 人人操我人人干| 日韩pv中文| 思思热国产高清| 97人人中文网| 黄色网址在线免费观看| 热思思免费视频| 亚洲色图a| 波多野结衣AV无码一区| 亚洲综合伊人无码久久| 成人日韩中文字幕| 青青草日韩无码| 日韩无码操逼片| 97久久超碰国产精品| 99热网站| 日韩久久.一级黄色片| 后入式999| 熟女在线视频| 天天精品| 日韩激情中文字幕有码| 美女天天干| 色性荡荡荡荡视频| 99性爱视频| 日韩亚洲国产视频| 牛牛AV人人夜夜澡人人爽| 天天干人妻视频| 蜜臀一二三区| 亚洲伊人久久精品狠狠在线| 久久久久久亚洲精品不卡人乳| 人人摸人人干| 欧美日韩国产高清在线一二三区 | 五月天色图| 亚洲操人| 手机在线观看不卡无码av| 91在线免费精品视频| 国产精品久久久久久9999| 色盈盈影院| 水滴偷拍| 少妇第一页| 欧州激情视频在线一区二区| 神马午夜久久久| 国模精品娜娜一二三区| 精品毛片久久久精品毛片| 去干网最新版| 九九黄色视频在线观看| 亚洲另类综合欧美| 欧美天天谢综合网| 麻豆黄四叶草网站| 大香蕉一人在线| 亚洲欧美setu| 黄页av| 丝袜高跟澳门91视频| 国产精品久久久久久久免牛肉蒲团 | 日韩人体偷拍| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 东亚亚洲无码高清| 人妻久热在线| 天天综合站| 黄色一区三区| 曰韩精品视频一区二区| 中文字幕 国产 精品| 99免费在线视频| 日本天堂在线播放| 九九九九久久久| 天堂蜜桃无码视频一区二区| 久久夜嗨| 人妻天堂网| 精品九九国产无码| 一区二区三区精品黑丝白丝酒店对鸡 | 久久久精品视频欧州站| 乱伦熟女区| 青青久操| 人妻丰满熟妇一区二区三| 日韩av影片在线观看| 久久综合18p| 综合熟妇一区二区三区| 在线看片国产精品每日更新| 91久久堂| 最新日韩黄片| 久久久久国产精品人妻aⅴ天堂| 国产精品久久久久久亚洲色欲| 嗯嗯嗯啊啊啊在线免费观看| 91日韩国产欧美亚洲另类精盘州至城都| 日日摸夜夜夜夜爽| 亚洲熟女乱综合一区二区三区 | 精品人妻一区二区蜜桃视频| AA丁香综合激情| 久久九九精品一区二区| 又黄又硬又粗又长国产视频| 精品妇女一区二区三区| wwwcaobibi| 丰满少妇高潮无码| 国产精选三级在线观看| 久久线上视频免费看| 九九99久久| 91精品人妻| 综合久欧洲| 日韩无码精品综合久久| 中文字幕久久亚州无码| 九九成人| 久久αⅴ| 久久人妻视频网| 欧美日日操| 91女神在线视频| 韩国成人精品久久久免费看| 一区二区高清视频| 黑丝日韩av丝袜av| 六月婷婷综合| 国产女人操逼视频| 超碰2017| 男人的天堂日本东京热| 久久婷婷亚洲| jk白丝没脱就开始啪啪| 97在线免费看视频| 黄色一区三区| 男人的天堂日韩| 久久综合久久综合人久久夜精品| 中文字幕 国产 精品| 国产精品操| 粉嫩少妇自慰在线| 中文伊人大香蕉视频| 92人人操人人| 十八岁啪啪视频免费看| 青青草原香蕉日本Ap| 91AV天堂| 中文字幕青青草| 丝袜喷水在线| 欧美婷婷久久| 蜜臀精品1区2区| 综合熟女| 欧美久久婷婷| 淫骚熟女一区二区三区| 你操综合| 人妻啊啊人妻啊| 99亚洲天堂| www.人人cao| 欧美天天干| 久久久久久久久久久久欧美日| 日本男人插女人的逼黄色| 理论久久婷婷网 8| 久久亚州高清| 亚洲97p| 久九九九九九九热| 蜜臀久久99'精品久久久| 久9综合在线| 国产青青综合伊人| 久久久久久999| 东京热毛片调教| 精品天堂| 园内精品自拍视频在线播放| 超碰在线99| 日韩二级| 一区 欧美 日韩 麻豆| 久久久久921| 欧美激情 亚洲色图| 97久久国产| 91综合色| 可以免费观看的日韩av毛片| 97精品在线视频| 亚洲欧美黄| 熟女乱3伦999| 天天爱天天操| 午夜精品久久999热蜜桃介男人用| 黄呦呦在线| 久久成人东京热人妻| 超碰 欧美| 四虎精品永久在线播放| 国产精品宅男免费| 欧美爆操91| 亚洲清纯唯美| 日韩中文字幕精品一区在线| 精品一区二区三区蜜桃臀赵总 | 欧美人妻精品一区二区| 老熟女91av| 大香蕉宅男伊人| 欧美色97| 天天色综亚洲91污| 91欧洲入口| 久久日韩精品一区二区| 丁香色五月 97干| 国产第11页| 色综合一区二区三区| 国产CHASE男男GAYGA 毛多色婷婷| juliaann精品熟女一区| 日韩欧美中文字幕搭讪巨乳美人妻视频| 操婢日韩| 国产精品久久久九九九| 欧美国产精品| 香蕉精品二区二区| 国产三级资源在线观看| 69久久| av网站在线观看了| 美欧老女人97| 国产呦精品一区二区三区下载| 黑丝日韩av丝袜av| 97国产高清视频在线观看| 国产精品一级二级在线| 秋霞曰韩R级| 91痴汉| 99热婷婷| 欧美激情亚洲情色| 乱伦av.com| 天天影视综合色| 翔田千里av一区二区三区| 骚女天天综合网| 亚洲日韩肥臀视频在线观看| 综合影院永久入口国产| AV中文字幕剧情1区2区3| 3d成人精品一区二区| 丝袜美腿操av| 自拍亚洲综合| 色色激情| 国产曰批免费观看久久久| 后入内射蜜桃臀| 欧美亚洲色图另类国产| 91视频在线观看18| 97超色| 1024日韩| 色色色色日本| 亚洲国内精品成人不卡| 99热色精品| 欧美日韩啪啪电影| 蜜臀99久久| 中文人妻av高清一区| 97精品视频免费| 国产福利精品最新在线| 国产精品一区av在线| 深喉吞精| 二级毛片| 欧美日韩国产色五月综合在线| 国产成人无码久久精品| 一级特黄aaa大片在线观看成人一级片在线观看 | 久久亚洲不卡一区二区三区| 婷婷久久大香蕉| 久久久亚洲欧美综合| 久久超碰网| 色色97爱| 大鸡巴久久| 亚洲男人的天堂一区二区| 九九热视频在线观看| 一区二区三区欧美激情| 国产一级αv免费看片| 中文字幕天堂在线| 国产福利视频精品视频| 亚洲天堂五月天国产| 日本羞羞的视频在线播放| 懂色Av| 成年人黄色小视频网站| 日韩在线性爱免费视频| 精品国产一区二区三区四区在线看 | 国产精品一级二级在线| 国产97综合| 日韩精品午夜操呦呦不卡影院| 国产精品久久久久久亚洲色欲| AV色五月天| 偷拍盗拍亚洲色图图片| 国产精品点击进入在线影院高清 | 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 久久精品99| 97视频网站在线观看| 蜜桃视频一区二区三区在线观看| 亚洲熟女乱综合一区二区三区| 亚洲日韩东京热一区| 97在线欧| 日欧亚洲二三区大片不卡| 国产激情在线| 亚洲另类久操网| 韩国三级三级BD在线| 五月天综合网| 夜夜嗨老熟女AV一区二区三区| 亚洲欧洲无码97久久精品| 久久αⅴ| 99超级碰免费视频| 91国产美女丝袜足交精品视频| 97精品在线| 91精品国产91久久久久久久久久久久| 午夜人妻精品综合在线| 大香交| 亚洲天天综合| 成人综合久久精品色婷婷| 超碰人人乐97| 亚洲欧美在线丝袜| 99热最新| 人妻色情天天操| 91在线超高颜值国产| 婷婷色一区| 亚洲有薄码区久久在线一区| 欧美一二三级精品在线| 人人澡人人爽人人精品| 久久久中文| 老鸭窝亚洲毛片| 97精品视频免费| 另类欧美色| 操逼日韩无码 | 国产又黄又粗的视频| 920日本午夜免费| 久久激情四射婷婷丁香五月天| 黄片com.| 久操| 91老熟女逼| 97国产伦理| 91少妇高潮| 五月丁香婷婷色| 婷婷激情四射| 三级片大波波| 国产隔壁老王影院在线| 五月天加勒比啪| 3D污黄视频在线观看| 老熟妇一区二区三区啪啪| 欧美 亚洲 在线| 蜜臀久久99精品久久综合| 后入式视频国产自| 日韩91网| 青青国产精品在线| 夜夜天天噜狠狠爱2021| 久久曰曰| 丁香激情网| AⅤ片水多多| 91少妇香蕉久久精品| 欧美成人性活片| 91狠婷| 国产亚洲精品A在线观看下载| 大香蕉国产中文自拍| 人妻在线视频| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 九九热国产| 欧美在线55555| 美女一区二区国产精品| 操东北女人| 久久久不能久久久久| 无码操逼网| 久久亚洲中文字幕视频| 国产97色在线| 日本人妻天堂网站在线播放| 亚洲色图大香| 欧美日韩中文亚洲v在线综合| 激情文学小说一区二区| 欧美最婬乱婬爆婬性视频| 丁香九月婷婷| 懂色AV一区二区三区| 3PAV乱伦视频| 哑洲在线| 天天操天天7| 91熟女综合| 亚洲色吧网| 在线A日本| 日韩欧美大片免费高清啪啪| 久久男人的天堂| 伊人97色天使| 欧洲无码一区二区| 中日无幕一二三四区| 中文伊人大香蕉视频| 青娱乐久久艹| 久操网视频| 日韩无码操逼片| 精品久久久久久中文字幕三区| 国产一区二区二区按摩精品啪视频| 亚洲天天影视色综合| 亚州高清色综合| 国产成人资源| 日本最新免费韩国1区2区视频播放| 97视频网站| 72av视频| 午夜福利1区2区3区| 天天激情综合站| 俺去啦俺来也久久综合| 韩国成人精品久久久免费看| 久久久久亚洲Aⅴ无码| 亚洲精品xxx| 乱色视频中文字幕| 欧美有码亚洲中文字幕一区二区三区四区 | av资源在线播放天堂| 手机在线A片| 国产精品乱码久久久久| 国产 日韩 欧美一区| 一级性爱网| 91爆操视频| 日本一级性爱| 久久伊人网视频一区二区三区 | 中文字幕丰满人妻日本| 欧美久久伊人| 中文字幕 国产区| 欧美大香蕉卡久久| 99久久婷婷国产综合精品草原| 婷婷久久大香蕉| 丁香五月婷婷五月| 日韩综合97P| 国产操逼网站亚洲一级黄色| 日本日逼视频网| yazhousetuoumei| 中文久久久| 日本在线激情一区二区三区| 蜜桃久久久久久久| 97精品全部| 91丝袜| 亚洲图片欧美在线视频| 91男人天堂网| 插穴性爱视频在线观看| 色婷婷丁香五月天| 日韩欧美女求操每天更新| 亚洲熟女乱色一区二区三区| 九一综合精品视品av| 97久久国产精品女不卡| 久久黄色视频一区二区三区 | 91亚洲综合| 色99视频| 懂色Av| 亚洲视频一二区| .精品人妻一区二区三| 91狠婷| 日韩在线97| 免费A V在线播放| 一区二区不卡| 首页中文字幕中文字幕免费| 超碰99re| 又大又大又大又粗爽高潮观看 | 久久久久久人| 伊人久久综合影院| 青青草玖玖爱| 少妇超碰在线| 久久久久免费看少妇A片特黄| 青青草亚洲一区| 日韩性爱再线视频| 国产无码精品无码| 久久久久日本视| 欧美亚洲| 91精品人妻偷情| 一区久久久二区| 国产日韩欧美操逼视频| 欧亚日本情色| 亚洲综合草草| 欧美精品999| 日本1区2区不卡视频| 超碰这里有精品| 男人夜色天堂ss| 懂色av色欲av蜜臀av| 亚洲资源站| 性性欧美| 韩国三级三级BD在线| 水多多映视AV| 久久婷婷欧美| 亚洲AV资源| 偷拍自拍在线视频观看| 爱妃国产亚洲视频中文字幕| 久久九九97| 国产热RE99久久6国产精品首| 欧美黑人精品在线播放| 国产操逼网站亚洲一级黄色| 超碰97丝袜| 亚洲区 欧美区| 日韩免费福利在线观看| 97爱亚洲| 欧美精品亚洲精品日韩传电影| 九九九久千久久激情蜜桃在线看 | 欧美99热| 三级三久久线久久99久目本WW| 日本女优在线视频福利| 久久受www免费人成| 啪啪啪综合网| 岛国视频一二三区| 国产激情视频一区区三区| 亚洲综合九九| 日韩中文字幕国产| 在线免费观看日韩一区| 在线观看国产黄色| 狠狠欧美| 日日黄色三级网站| 欧美色图偷拍另类| 久久草草欧美精品| www.一本大99| 大干人妻| 综合久久少妇中文字幕| 欧美另类综合久久| 人妻在线臀日韩| 夜夜骑天天燥| 久久精品无码熟妇一区二区三区视频导航| 澳门成人网站久国产日韩| 双插在线| 九九色色| 日韩精品99久久久久久中文字幕| 插入综合网| ,国产乱人伦精品一区二区三区| 亚洲色图加勒比| 色777999综合| 日本1区2区不卡视频| 亚洲图片激情综合另类| 色婷婷丁香五月| 四虎视频在线观看| 免看60秒涩涩视频| 日韩毛片9| 囯戸精品高潮呻吟旡码| 中文字幕一区二区在线日韩精品| 蜜桃视频精品一区二区| 欧洲亚洲人人爽爽视频| 视频二区美腿制服人妻欧美| 亚洲无线码欧洲精品区别| 大香蕉乱伦视频网| 久久少妇人妻| 一区二区精品日韩欧美在线观看| 免费精品福利在线观看| 好吊色一区| 美日韩在线不卡人妻| V A在线| 九九内射在线| 国产精品农村妇女| 熟女网站最新| 97精品网| 久久99网站| 91国精产品| 老外又粗又长一晚做五次| 人妻加勒比东京热| 亚洲欧美另类图片| 五月丁香综合啪啪| 久草午夜| 五月天激情小说网| 久久久久久人体| 岛国精品视频在线观看| 日韩日韩日韩-国产乱码精品一区二区| 色爱三区| 夜夜欧美| 美女啪欧美一区| 超碰97人妻免费在线| 黄色AV影视| 欧美人体性爱互联网第一页婷婷日本| 日韩一区二区熟女| 吖在线不卡一区二区国产剧情| 国产超碰在线一区| 奇米四色影视777久久久| 久久中文字幕女同性恋一区| 欧美 亚洲 综合 制服 另类| 亚洲猛交| 天天色综合图片| 妇女性内射冈站HDWWWCOM| 99精品高潮| 成人日韩欧美| 欧美精品成人在线播放| 天天拍天| 吉川爱美98堂在线| 超碰99在线观看| 熟女高潮精品一区二区| 国产传媒一区日韩| 大香蕉九九| 亚洲久热| 最近2019中文字幕国语免费版| 校园春色AV天堂| 亚洲综合贴图91| 91 在线亚洲| 婷婷综合五月| 狠狠久久手机视频精品| 激情另类激情| 亚洲少妇免费视频\| 91人妻视频| 91在线美女| 欧美亚性天堂| 国产玖玖| 嗯嗯啊啊视频在线看| 内射夫妻三片| 久久久久久九九九九九| 欧美色图小说综合| 丰满人妻一区二区三区在线| 人人摸人人叼| 久操操AV电影| 国产无码成人无码| 精品人妻中文字幕高清| 综合久久久久久久久91| 午夜国产综合视频在线观看| 欧美精品日韩久久久九| 最新岛国大片| 屌妞视频久久久久久久久久久久| 亚洲色鬼| 美女啊啊啊啊啊啊啊| 日韩97超碰中文字幕| 亚洲欧美大香蕉| 在线综合 亚洲 欧美中文字幕| 狼人综合婷婷激情四射 | 99亚洲精品| 2018天天干在线视频| 人妻色偷色噜| 乱伦熟女区| 一区黄二区黄| 欧美成人精品一区二区男人蜜臀| 2017天天操天天日| 操逼操2| 午夜一区二区三区国产| 巨爆乳肉感一区二区三区竹菊影视| 成人av影院在线观看| ?亚洲伊人伊成久久人综合网| 一类无码操逼视频| 亚洲AV成人在线| 91网站视频在线观看| 91麻豆天美国产欧美高潮| 精品无码一区二区三区色欲| 婷婷丁香五月天亚洲天堂网| 日本道久久综合色色| 亚洲自拍欧美国产首页网曝| 精品无av| 国产女性无套 免费观看| 五月丁香综合啪啪| 亚洲资源网| 日韩三级伦理中文字幕| 天天综合网站| 亚洲日韩狠狠撸视频| 中文字幕一区电影在线观看| 国产一区二区啪啪视频| SUV一区二区在线看| 九九碰九九爱97超碰| 亚洲欧美中文日韩视频中国语| 九九九九九九九九九九精品视频| 国产吹潮女在线观看| 精品欧美А∨无码黑人大荫蒂| 啊啊啊操一区| 四虎在线观看视频| 99精品网| 欧美激情激情xxxx欧美专区| 国语人妻精彩刺激| 麻豆精品一区二区三区四区免费观看| 国产一区二区三区免费视频在性观看| 欧美亚男人的天堂| 日韩无码极品| 亚洲欧美一区二区不卡视频播放 | 五月激情综合网| 四虎884| 欧美综合站| 亚洲欧美人妻| 成人十八禁日韩欧美一二三| 人人操人人插人人摸人人干| 久久亚洲色图中文字幕| 日韩av在线精品观看| 国产综合久久久鬼色| 91在线超高颜值国产| 国产偷人妻精品一区二区在线| 加勒比久久综合网高清| 综合欧美色图| 91精品丝袜久久久久久无码人妻| 国产一级操B视频| 精品久久97观看在线视频| 天天干天天操天天拍| 日韩啪啪啪视频| 综合网欧| 亚洲偷拍自拍在线视频| 91嫩草在线| 日本新免费二区三区| av在线观看不卡网站| 青娱乐休闲视频在线观看| 免看60秒涩涩视频| 综合91网| 啊啊啊97视频| 亚洲五月婷| 一区二区三区四区免费视频| 粉嫩粉嫩一区性色AV片| 欧美自拍偷拍综合图片| 亚洲一级黄色毛片| 无码人妻精品酒店| AV色五月天| 亚洲资源网| 99黄页网站| 欧美视频激情久久久久久| 在线 亚洲 网爆 自拍| 色激情五月天| av天堂天堂av日韩| 欧美在线91| 少妇久久久久久久久| 精品黄色电影| 美国日韩黄片| 色五天伊人| 老熟女乱子伦中文字幕一区二区| 不卡一区二区日本视频| 久久精品国产亚洲妲己影视| 大色综合| 女性喷水高潮在线观看| 深夜福利黄片| 插入逼91| 久久久久人妻二区精品叶可怜| 人妻无一区二区三区| 亚洲影院成人| ji熟女.com| 爽极品影院| 少妇人妻太紧太深av| 污污汅18禁网站在线永久免费观看| 伦激情人妻另类人妻| 国产高清免费不卡av| 超碰色男人操熟女| 欧美亚洲另类在线蜜桃| 精品国产精品一区二区| 精品国产乱码久久久久A| 看黑人AV不卡| 性色av一区二区| 9美女超碰在线免费观看| 72av视频| 啪啪啪精品| 日韩性爱小视频在线观看| 国产原创剧情在线丝袜| 久热9| 欧美另类色| 亚洲日韩久久精品一区| 超碰97男女| 中日韩免费看男女操逼大全| 久久久久亚洲?V片无码V| 中文字幕在线高清男人的天堂 | 亚洲精品天天影视综合网 | 婷婷久久综合久| 欧美日韩免费专区在线| 日产成人久久| 男女啪啪啪18禁网站| 国产v片在线免费观看| 亚洲色图欧美视频| 亚洲男人的天堂一区二区| 顶级少妇BT天堂| 国产99999久久精品| 天天干1区2区在线| 91欧美网| 色狠狠 - 百度| 亚洲宅男天堂| 春色综合免费| 婷婷综合伊人一区| 91精品人妻电影| 久久深夜无码| 综合 亚洲 欧美| 国产中文精品一区二区在线观看| 日本不卡三级网在线播放| 大干人妻| 日本黄色大片一级视频免费麻豆| 日韩乱码Av| 久久精品老司| 日日爱99| 99re视频在线观看这里只有精品| 天堂伊人久久| 国产精品久久久 | 青青草影视蜜久久| A级片日韩欧美国产欧美视频精选观看 | 观看视频图片一区二区三区| 深夜视频| 图片区小说区| 色婷婷一区二区三区久久午夜| 97精品| 丁香激情网| 亚洲图片 欧美电影| 强奸乱伦AV网站| 久久视网78| 久久久久久久强迫| 亚州伊人色综台| 嗯嗯嗯啊啊在线观看| 精品一区二区综合熟妇| 国产肏屁眼视频| 搡老女人老91妇女老熟女| 久久激情五月| 欧美日韩亚洲国产中文永久天天看| 亚洲无码太久| 欧美有码亚洲中文字幕一区二区三区四区| 免费的av网| 大学生美女口爆| 极品白嫩美女白浆成人福利在线看| 一区| 亚洲 自拍偷拍 欧美| 伊人久久久日韩一区| 波多野结衣之双飞调教在线播放| 久热色情精品| 男女一进一出视频久久| 水澄无码AV| 亚洲一二三四区| 国产精品久久9| 夜草网站| 日日干日日操五月天伦理视频| 欧美岛国精品在线观看| 用力操死我| 69视频入口| 欧美第38页| 欧美的性爱网站免费| 欧洲亚洲人妻无码中字久久三区四区| 99人妻碰碰碰久久久久禁片| 中文字幕少妇色 | 97色视频在线| 亚洲小电影免费涩涩成人在线高清| 欧美国产有色电影| 无码高清少妇久久| 欧美中文狠| 亚洲欧美国产其他二区| 99久在线精品99re8蜜桃| 六月婷婷五月丁香| 极品销魂美女一区二区| 91国产大片| 国产精品69人妻无码久久久| 色偷偷男人的天堂麻豆| 26uuu国产| 岛国1区2区3区在线观看| 久久久久78| 东京热免费视频| 岛国爱情动作片在国产AV无码专区亚洲AV漫画| 一二三区在线| 国产97免费视频| 午夜呻吟欧美| 一起草高清无码| 牛牛久久国产精品视频一二三| 99精品成人免费看| 欧美精品庄| 亚洲精品欧美专业| 熟女人妇一区二区三区| 97在线视频免费看| 超碰在线974| 口爆吞精在线观看| 日本综合色图| 热久久99999| 国产99 中文字幕日韩小视频| 青青草好吊色| 国产丰满少妇久久久精品影院| 久久亚洲精品成人av| 亚洲色交| 亚洲熟女乱综合一区二区三区 | 精品人妻视频入口| 亚洲国产中文字幕| 97视频观看| 成年人性爱日韩| 欧美不卡五十路| 亚洲交换| 色 亚洲 91| 发朗少妇买婬全视频中文| 3PAV乱伦视频| 欧美色吧综合| 欧美大香蕉97| 激情五月激情综合网| 自拍偷拍亚洲熟女妇人精品| 91无摭挡| 亚洲色欲天天人妻无码系列专区| 99e久久国产精品| 欧美色图欧美| 色娱乐色呦呦夜夜夜夜av| 首页亚洲国产高跟丝袜诱惑视频| 岛国黄| 东北少妇高潮zzzz| 九七毛片九九毛片 | 国产精品小视频一区二区三区| 国产日韩怡红院| 人妻熟妇久草在线| 久久久久婷婷| 日韩精品在线放| 成人性生活高清视频在线播放| 一二三四视频在线社区中文字幕| 国语人妻精彩刺激| 天美麻花大全视频| 国产中文字幕曰本毛片| 羞涩视频| 插插综合网天天影视网| 自拍亚洲综合| 亚洲色图 综合| 久久av网| 精品色色| 久久久一区二区三区四曲免费听| 九九色影院| 人人操人人叉人人插人人| 久久久国产av美女私房| 九九九精品成人免费视频小说| 日韩一级二级三级| 欧美图片校园春色| 超碰到97情色| www.acm成人黄色毛片| 小骚逼被操的爽不爽| 欧美亚洲性爱一区二区| 裸体美女免费看网站青草| 激情五月综合网| 五月婷婷六月丁香| 99ri精品| 五月天综合在线| 91成人久久| 国内毛片国产专区二| 翔田千里无码中出中文字幕| 亚洲AV秘无码一区..| 日本中文字幕不卡视频| 久久久久久久九九九九九九| 男插女青青影院| 男女猛烈无遮掩视频免费软件| 天天看夜夜看日日干| 熟妇xxxxx性春色| 午夜福利一区二区影院| 欧美一区二区三区四区综合| 都市久久精品激情亚洲| 亚洲天堂人妻熟妇视频| 国产精品视频麻豆入口| 久久久国产亚洲精品系列| 亚洲色图欧美视频| 天天爽天天干| 97精品国产97久久久久久| 亚洲国产精品乱码在线观看| 三上制服丝AV| 亚洲资源网| 老鸭窝日丰县女人| 色噜噜人妻av中文字幕| 人妻丝袜美腿中文字幕| 亚洲中文字幕精品一区| 操www| 逼逼逼逼操操操操操操操操操午夜剧场| 少妇熟女1区2区3区| 免费日韩黄片| 国产精品一区二区三区,亚洲综合 性开放中文AV高清无码免费看 | 日本一本一区二区三区四区五区欧美日韩中文字幕 | 日本色色色网站免费看不卡| 尹人免费观看视频在线| 国产高清无码一区三区二区| 国产精品亚洲免费| 久草精品热视| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 日韩精品亚洲专区在线影视| 人妻少妇精品一区二区三区| 91扒丝袜综合在线| 久久久久久久国产| 男人的天堂三级| 综合五月天| 五月婷婷综合网| 国产黄a三级三级三级av在线看 | 麻豆一区在线| 中文字幕女同在线| 91欧美丝袜| 欧美极品少妇| 日本不卡一二区| 久久免费99精品久久久久久| 国产少妇内射| 欧美一级在线观看成人| 啪啪视频亚洲第一| 伊人99热| 60秒试看最爽10分钟网站| 亚洲清纯综合| 日韩av在线精品观看| 欧美黄片欧美黄片xxx| 夜夜中出国产| 超碰69| 视频不卡中文字幕| 丝袜剧情| 婷婷99| 九九国产| 成 人 A V免费视频在线观看| 国产 亚洲 丝袜 制服| 天天摸夜夜摸| 亚州欧美另类| 日韩国产在线观看av| 天天综合日韩网| 精品免费成人久久| 岛国免费黄色网址| 97超碰碰碰| 久久噜噜噜精品国产亚洲综合| 国产91av在线播放| 免费视频无码| 强奸熟女一区二区三区| 国产在线观看一区二区三区| 激情五月天婷婷| 97精品视频在线播放| 91伊人久| 久妇网| 一区二区三| 思思热在线cao| 97视频观看| 欧美春色| 色综合99| 欧美精品,四区。五区| 国产一区二区三三视频| 国产女人高潮视频| 先锋女优在线观看视频| 日韩av不卡在线观看| 91欧美另类| 综合伊人激情| 欧美 亚洲 大香| 久久久中文| 精品国产嫩穴视频| 欧美综合色,www| 激情av| 色97欧美| 青青草操逼逼视频| 欧美宗合网| 国产91乱伦| 丝袜狠狠草尤物 91| 亚洲av综合色区无码一| 制服中出中文人人精品| 嗯嗯啊啊操我| 久久国产99精品72福利 | 亚洲第一页色| 色悠悠伊人网五月天| a网站免费观看| 久久无码精品| 黄色高清无码无码破解免费暗网| 新精精品久久精品| 8050午夜少妇无码| 人妻丰满熟妇av无码区蜜桃| 中文字幕日韩人妻视频一区二区三区| 蜜桃精品视频一区| 在线观看免费视频国产| 亚洲欧美日韩国产丝袜自拍中文| 日韩啪啪视频| 看看小穴| 国产亚洲精品一区二区三区| 97 视频在线| 日本性爱欧美性爱| 综合九九| 亚洲Av无码成人精品国产| 热热色综合网| 婷婷五月天成人网| 91亚洲色图| 久插不卡| 日韩黄片影院| 日日干日日操五月天伦理视频| 88xx成人精品视频| 精品人妻美妇91job| 91亚洲丝袜熟女| 日本一级一级一级一级| 欧洲性爱无码区| 国产少妇高潮| 国产无套粉嫩白浆在| 久热伊人| 黑人中出21连凳花野真衣| 亚洲AV秘 精品久久老牛影视| 超碰综合97在线| 青青操轻轻| 亚洲高清色综合| 男人的天堂欧美| 再深点灬舒服灬太大了好硬好爽| 93人人操人人| 免费99精品国产自在在线| 色色五月婷| 麻豆综合一区av| 97超碰免费人人性爱| a级理论午夜日本| 久久专区| 97超碰在线资源网站| 五月丁香狠狠爱| 成人午夜高潮av猛片| 亚洲激情欧美色图| 91九色丨国产丨爆乳| 亚洲第一狼人丝袜美女另类| 国产尤物在线三区| 蜜臀在线免费观看在线免费观看| 操逼逼福利视频| av毛片aaaaa免费看| 国产人妻精品一区二区三区秋霞| 91操操| 草草网站影院白丝内射| 国产强奸乱伦第1页| 超碰精品人妻狠狠干| 欧美午夜精品久久久久久超碰| 亚洲天堂一区二区久久| 一本久道久久综合狠狠爱一密臀精 | 无套后入双马尾| 亚洲综合性网址| 久久国产精品91| 日韩激情啪啪| 国产视频第二页| 欧美天天在线| 伊人伊人LD| 激情一区二区三区在线观看| 黄片免费看黄片免费看| 天天草天天日| 欧美熟妇精品黑人巨大91| 亚洲欧美999| 999国产精品999久久久久久| 亚洲 中文 女同| 亚洲综合一区二区| 国产日韩区| 欧洲精品网| 麻豆天美国美国产| 五月综合婷婷久久网站| 91在线视频国产网站| 日韩干B| 97视频观看| 亚洲五月婷婷| 国产女人与拘做受视频免费| 欧美96在线|欧| 久久免费看高潮毛片韩国| 97在线精品观看视频| 精品熟女呻吟久久91| 啊啊在线| 综合激情97| 天天影视综合网欧美精品| 澳门特级毛片免费观看| 白丝被操91| 国产精品网址| 97色操| 亚洲交换| 激情文学 国产一二三aV| 色蜜AV| 婷婷综合久久| 抽插无码高清一区| 天天干夜夜一操| 欧美一级美片在线观看免费| 精品九九九| 亚洲色图欧美一区二区不卡| 91超碰碰在线| 操b网站亚洲无码| 97香蕉人人乳| 欧美天天综| 91成人在线| 亚洲Av噜噜一区二区三区妖精| 欧美超碰96| 在线观看A啊啊啊| 国产精品熟女九九九| 啊啊啊快操我视频| 极品AV网站在线观看| 日本男人插女人的逼黄色| 96国产污污污丝袜| 久久精品高清无码一区| 91网站18+| 亚洲免费日韩在线一区二区| 日本熟妇一区二区三区| 亚洲人妻中文高清| 八人操人人摸人人看| 粉嫩粉嫩一区性色AV片| h无码动漫在线观看| 国产在线视频二区| 韩国免费播放一级毛片| 欧美性爱18观看| 日本性爰一道本| 九九久久一区二区伦理| 操婢日韩| 亚洲中文日韩欧美大香蕉视频| 人人摸人人叼| 色综合天天| 国产日韩精品一区二区三区| 人妻熟女字幕一区二区| 69AV女优男人的天堂| 亚码激情| 亚洲人妻一区二区三区| 日日夜夜国产综合| 亚洲AV色图一区| 熟妇人妻丰满久久久久久久无码| 中文AV制服乱伦| 男女性感激情网站| 激情综合久久| 2025亚洲男人天堂| 男人的天堂欧美| 亚洲日本大香蕉1| 久久久久人| 9丨久久九九九|