色五月色开心色婷婷色丁香,五月婷婷丁香花综合网,婷婷丁香五月激情综合在线,五月婷婷六月丁香动漫,婷婷丁香五月激情综合在线,丁香花中文字幕在线观看,播五月色五月开心五月网,开心激情综合网,狠狠色丁香婷婷综合最新地址,丁香视频在线观看,狠狠做六月爱婷婷综合av,久久激情五月丁香伊人

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

SSD主控SoC中的DDR子系統(tǒng):數(shù)據(jù)通路的調(diào)度中心

SSD主控SoC中的DDR子系統(tǒng):數(shù)據(jù)通路的調(diào)度中心 但凡玩過(guò)幾塊SSD的人都會(huì)遇到類似的問(wèn)題新加了一塊固態(tài)硬盤想把原來(lái)D盤的系統(tǒng)遷過(guò)去或者下載了慧榮SM2258XT主控的量產(chǎn)工具想自己開(kāi)卡。折騰硬件之前很多人沒(méi)意識(shí)到?jīng)Q定這一步順利與否的其實(shí)是主控SoC和它旁邊的DRAM顆粒。SSD主控SoC整體架構(gòu)如果沒(méi)有概念很多人會(huì)把“不穩(wěn)定”怪到固件上把“掉速”怪到顆粒上卻很少懷疑DDR子系統(tǒng)在數(shù)據(jù)通路里扮演的角色。這篇文章想以主控SoC內(nèi)部的數(shù)據(jù)通路為主線講清楚DDR子系統(tǒng)到底承擔(dān)什么任務(wù)作為系統(tǒng)架構(gòu)師或維修/開(kāi)卡愛(ài)好者又該怎么去理解帶DRAM和不帶DRAM方案的差異。別覺(jué)得“DDR”只是顆粒選型表里一個(gè)頻率和容量參數(shù)它在整個(gè)SSD里的角色比你想象的復(fù)雜得多。1. 主控SoC其實(shí)是一臺(tái)以“搬數(shù)據(jù)”為唯一目的的專用計(jì)算機(jī)1.1 先看清主控SoC的硬件全家福很多教程一上來(lái)就講FTL算法、垃圾回收但連主控SoC內(nèi)部有哪些模塊都沒(méi)交代清楚。這里先把家底盤一遍。主控SoC并不是什么神秘的東西去掉“存儲(chǔ)”這個(gè)屬性它跟普通嵌入式SoC沒(méi)有本質(zhì)區(qū)別照樣本有CPU核心、總線矩陣、外設(shè)接口。特殊的是它所有外設(shè)和加速器都圍繞同一個(gè)目標(biāo)把用戶數(shù)據(jù)在主機(jī)和NAND之間搬運(yùn)得又快又穩(wěn)。CPU核心以ARM Cortex-R系列為主流也有用自研RISC-V核的。CPU負(fù)責(zé)FTL邏輯、指令解析、壞塊管理、磨損均衡這些“決策類”工作但不直接參與大量數(shù)據(jù)拷貝。主機(jī)接口SATAAHCI協(xié)議或者PCIeNVMe協(xié)議負(fù)責(zé)跟PC、服務(wù)器通信。目前主流消費(fèi)級(jí)NVMe盤的PCIe Gen3 x4帶寬上限大約3500MB/sGen4 x4翻倍到7000MB/s。NAND閃存接口主控拉出若干條閃存通道常見(jiàn)8通道、12通道、16通道甚至更高每個(gè)通道掛多顆NAND die。通道越多閃存并行度越高這個(gè)并行度直接決定主控能跑多高帶寬。ECC/LDPC引擎硬件編解碼器寫的時(shí)候給數(shù)據(jù)加上校驗(yàn)冗余讀的時(shí)候把錯(cuò)誤糾回來(lái)。TLC/QLC時(shí)代LDPC軟解碼對(duì)主控算力要求極高這一塊做不好盤就會(huì)頻繁掉速。DMA引擎這是數(shù)據(jù)通路的真主力。DMA負(fù)責(zé)把數(shù)據(jù)從一個(gè)接口搬到另一個(gè)接口整個(gè)過(guò)程不需要CPU逐字節(jié)干預(yù)CPU只要事先配好描述符和目的地址就行。SRAM與DDR接口內(nèi)部SRAM快但容量很小通常幾十KB到幾MB外部DDR才是主存儲(chǔ)容量從幾十MB到1GB以上不等承擔(dān)絕大多數(shù)像映射表、數(shù)據(jù)緩沖這類需要大容量暫存的活兒??偩€矩陣內(nèi)部互聯(lián)容易被忽略但它和DDR子系統(tǒng)同樣關(guān)鍵。主控內(nèi)部常用AXI總線或者類似NoC的多平面互聯(lián)位寬從32位到64位頻率從幾百M(fèi)Hz到1GHz不等。如果你的內(nèi)部總線只有一個(gè)單出口主機(jī)數(shù)據(jù)、閃存數(shù)據(jù)、DDR訪問(wèn)、ECC編碼全部搶一條路那么外部DDR即使再快也會(huì)被“卡脖子”。很多FPGA做控制器原型驗(yàn)證的人會(huì)遇到“DDR帶寬明明夠但整機(jī)性能就是上不去”的情況一半的根因出在內(nèi)部總線仲裁而不是DDR本身。1.2 寫請(qǐng)求和讀請(qǐng)求在SoC內(nèi)部的完整旅程了解了模塊構(gòu)成就可以把一條真實(shí)的數(shù)據(jù)請(qǐng)求放進(jìn)通路里跑一遍。先看寫路徑主機(jī)通過(guò)NVMe/SATA協(xié)議發(fā)送寫命令伴隨數(shù)據(jù)包進(jìn)入主控的主機(jī)接口。DMA引擎把數(shù)據(jù)從主機(jī)側(cè)接收FIFO搬到內(nèi)部緩沖SRAM或DDR。此時(shí)數(shù)據(jù)已經(jīng)帶上了邏輯塊地址LBA。固件查詢FTL映射表決定這批數(shù)據(jù)該寫到哪些物理頁(yè)。注意這里FTL映射表通常就住在DDR里所以光“查表”這一步就已經(jīng)產(chǎn)生了一次DDR訪問(wèn)。決定物理地址后數(shù)據(jù)不會(huì)立刻落閃存。固件會(huì)依據(jù)磨損均衡、垃圾回收狀態(tài)和當(dāng)前NAND忙閑情況把數(shù)據(jù)先在DDR的寫緩沖區(qū)分組、合并。等到NAND通道空閑且聚合的數(shù)據(jù)量足夠固件才發(fā)起寫操作數(shù)據(jù)從DDR緩沖區(qū)流向LDPC編碼引擎加完校驗(yàn)后按通道和片選分配到對(duì)應(yīng)NAND顆粒。物理寫入完成后FTL映射表在DDR中更新。這部分更新的映射記錄還要定期固化到NAND的映射備份區(qū)否則斷電就會(huì)丟失。再看讀路徑讀路徑的邏輯稍微“輕”一點(diǎn)但同樣繞不開(kāi)DDR主機(jī)發(fā)出讀命令固件先查DDR里的映射表把LBA翻譯成物理頁(yè)地址。主控向?qū)?yīng)NAND通道發(fā)起讀命令從NAND讀回原始數(shù)據(jù)經(jīng)過(guò)LDPC譯碼獲取正確數(shù)據(jù)。由于NAND頁(yè)大小常見(jiàn)16KB或32KB和主機(jī)讀寫粒度典型4KB不對(duì)等主控經(jīng)常需要把若干段數(shù)據(jù)在DDR或SRAM里重新拼接湊成主機(jī)期望的邏輯塊再用DMA返回主機(jī)。一條數(shù)據(jù)從進(jìn)到出至少兩次經(jīng)過(guò)DDR。這個(gè)“至少”在隨機(jī)小寫、垃圾回收并發(fā)時(shí)會(huì)翻倍增長(zhǎng)。所以結(jié)論已經(jīng)很明顯了DDR子系統(tǒng)不是“可選配件”而是數(shù)據(jù)通路上的十字路口。2. DDR子系統(tǒng)在數(shù)據(jù)通路里的四種身份2.1 它是FTL映射表的常駐內(nèi)存FTLFlash Translation Layer是SSD的靈魂。它維護(hù)一張“邏輯地址到物理地址”的映射表。主機(jī)只認(rèn)邏輯塊地址LBA但閃存物理頁(yè)是不斷在磨損、回收、重寫的所以主控內(nèi)部必須有一張隨時(shí)能查的表。這張表有多大可以做一次很樸素的估算假設(shè)映射粒度為8KB即每8KB邏輯空間對(duì)應(yīng)一個(gè)映射條目單條映射信息打包壓縮后占用4字節(jié)。那么一塊512GB的盤映射表大小就是512GB÷8KB×4B算下來(lái)正好256MB。如果映射粒度更細(xì)4KB或條目更寬8字節(jié)512GB盤就可能需要512MB甚至1GB的DRAM來(lái)裝映射表。這里就能解釋很多產(chǎn)品現(xiàn)象為什么老款120GB/240GB固態(tài)盤只配64MB或128MB DDR而高端2TB盤要配512MB或1GB DDR。因?yàn)槿萘吭酱笥成浔碓酱驞DR不夠就裝不下足夠多的映射表熱數(shù)據(jù)。有了DDR常駐映射表主控處理一次讀命令時(shí)查表只需要一個(gè)短延時(shí)的內(nèi)存訪問(wèn)如果沒(méi)DDR或者DDR容量太小映射表就只能部分駐留查不到的部分要去NAND里讀這個(gè)開(kāi)銷是災(zāi)難級(jí)別的4K隨機(jī)性能會(huì)直接崩塌。2.2 它是讀寫合并時(shí)用的臨時(shí)堆場(chǎng)NAND閃存的工作方式跟機(jī)械硬盤完全不一樣它以頁(yè)為單位讀寫一個(gè)頁(yè)通常是16KB或32KB。但主機(jī)下發(fā)數(shù)據(jù)的粒度很靈活可能是極其瑣碎的4KB、8KB甚至更小。為了讓NAND寫效率更高主控不會(huì)來(lái)一條就寫一條而是把零碎的寫請(qǐng)求先在DDR緩沖里攢一攢湊成完整的NAND頁(yè)再寫入。這個(gè)過(guò)程在固件術(shù)語(yǔ)里叫“寫合并”或“批量組頁(yè)”。讀方向同樣需要合并。主機(jī)可能只讀一個(gè)頁(yè)里的前半部分但NAND讀出來(lái)的是整個(gè)物理頁(yè)。主控要么只保留有效部分要么把整頁(yè)數(shù)據(jù)放進(jìn)DDR緩存以便后續(xù)相鄰LBA的讀取直接命中。垃圾回收時(shí)更夸張GC要把一個(gè)塊里的有效數(shù)據(jù)先讀進(jìn)DDR再把它們跟正在寫的熱數(shù)據(jù)一起重新分配、重寫。這一進(jìn)一出DDR的帶寬壓力瞬間翻倍。所以有很多主控在順序?qū)懭霑r(shí)表現(xiàn)尚可一旦進(jìn)入“半盤以上空間被占滿”狀態(tài)性能會(huì)出現(xiàn)斷崖式下跌。除了NAND本身寫放大很大程度也源于DDR緩沖和固件GC策略在實(shí)際數(shù)據(jù)通路中調(diào)度不過(guò)來(lái)。2.3 它是固件自己的運(yùn)行內(nèi)存很多人只把DDR理解成“緩存”其實(shí)它同時(shí)也是固件的運(yùn)行內(nèi)存。SSD主控里跑的是一套完整的實(shí)時(shí)操作系統(tǒng)固件棧包括FTL模塊、命令調(diào)度、壞塊管理、磨損均衡、溫控策略還有各種后臺(tái)任務(wù)。這些模塊的代碼在運(yùn)行前會(huì)被從NAND或外掛NOR Flash加載到內(nèi)存里執(zhí)行。固件用到的數(shù)據(jù)結(jié)構(gòu)比如命令隊(duì)列、壞塊表、磨損計(jì)數(shù)、日志系統(tǒng)、上下文狀態(tài)全部需要一大塊可讀寫的RAM空間。內(nèi)部SRAM通常只有幾百KB撐不起這么多東西所以DDR才是固件的“主存”。如果DDR子系統(tǒng)不穩(wěn)定比如顆粒虛焊、供電紋波偏大、訓(xùn)練時(shí)序不對(duì)SSD最典型的表現(xiàn)就是“掉盤”——固件運(yùn)行過(guò)程中訪問(wèn)DDR出錯(cuò)觸發(fā)看門狗復(fù)位盤從系統(tǒng)里消失過(guò)一會(huì)又出現(xiàn)。這種案例在維修和開(kāi)卡圈子里非常常見(jiàn)很多人誤以為是固件bug其實(shí)根源在DDR。2.4 它是掉電保護(hù)時(shí)最后搶救的數(shù)據(jù)安全島DDR是易失性存儲(chǔ)一斷電數(shù)據(jù)就沒(méi)了。但恰恰因?yàn)镈DR里住著映射表和寫緩存SSD掉電時(shí)最怕的就是DDR內(nèi)容來(lái)不及保存。帶掉電保護(hù)PLP的企業(yè)級(jí)盤會(huì)在主板上焊一排大電容或鉭電容檢測(cè)到外部電源跌落時(shí)利用電容殘存電量繼續(xù)給主控、DDR和NAND供一小段時(shí)間的電。主控利用這段時(shí)間把DDR里的FTL映射表快照和新寫入但還沒(méi)來(lái)得及落盤的數(shù)據(jù)緊急寫進(jìn)NAND的臨時(shí)區(qū)域。消費(fèi)級(jí)盤大多沒(méi)有完整PLP靠的是固件定期把映射表持久化到NAND同時(shí)保證DDR里只保留可以重新推導(dǎo)或重建的數(shù)據(jù)。但無(wú)論哪一類DDR的角色都一致它是數(shù)據(jù)最集中、最新鮮的地方掉電保護(hù)的本質(zhì)就是在搶救DDR里的資產(chǎn)。這里也能看出DRAM-less方案的一個(gè)優(yōu)勢(shì)——少一個(gè)DDR掉電時(shí)需要搶救的數(shù)據(jù)量會(huì)小很多失效模型更簡(jiǎn)單。3. 從計(jì)算角度看DDR選型帶寬、容量、時(shí)序三個(gè)硬指標(biāo)3.1 DDR帶寬要多少才夠用在方案設(shè)計(jì)階段你要回答的第一個(gè)問(wèn)題不是“用多大容量DDR”而是“DDR帶寬夠不夠”。DDR在數(shù)據(jù)通路里要同時(shí)服務(wù)主機(jī)數(shù)據(jù)、NAND數(shù)據(jù)、FTL查詢、固件CPU讀寫所以它的總線帶寬必須留足余量。做一次粗略預(yù)算。假設(shè)做一塊PCIe Gen3 x4接口的NVMe盤主機(jī)接口理論帶寬約3500MB/s。為了達(dá)到這個(gè)上限NAND接口側(cè)必須同樣具備接近甚至超過(guò)3500MB/s的聚合帶寬而數(shù)據(jù)搬移過(guò)程中DDR常常要當(dāng)中間跳板。經(jīng)驗(yàn)做法是讓DDR可用帶寬達(dá)到主機(jī)接口理論帶寬的1.5到2倍以上才能保證順序大文件讀寫、隨機(jī)小寫和GC并發(fā)時(shí)不會(huì)被內(nèi)存訪問(wèn)卡住。舉個(gè)例子常見(jiàn)的DDR3-1600顆粒數(shù)據(jù)線寬16bit它的峰值帶寬是1600MT/s×2字節(jié)≈3200MB/s。這個(gè)值單看跟Gen3 x4接口差不多但實(shí)際包含了行激活、預(yù)充電、讀寫切換等開(kāi)銷可用帶寬會(huì)打折扣。所以稍微講究一點(diǎn)的控制器會(huì)選用DDR3/DDR4 1866/2133頻率或者把DDR數(shù)據(jù)線擴(kuò)展到32bit把峰值帶寬推到6.4GB/s以上。不做這一步順序?qū)懭牒蟀攵瓮鶗?huì)出現(xiàn)周期性掉速。我實(shí)際在FPGA原型上踩過(guò)這個(gè)坑DDR顆粒型號(hào)沒(méi)變只是把突發(fā)數(shù)據(jù)調(diào)度策略從“每筆請(qǐng)求獨(dú)立訪問(wèn)”改成“同Bank連續(xù)地址聚合訪問(wèn)”整機(jī)隨機(jī)寫性能就提升了約20%。這充分說(shuō)明DDR帶寬不止看顆粒規(guī)格更看控制器怎么組織和利用總線事務(wù)。這里順帶回答一個(gè)很多初學(xué)者會(huì)查的問(wèn)題DDR的burst length是什么意思DDR3/4顆粒默認(rèn)突發(fā)長(zhǎng)度BL8意味著一次突發(fā)連續(xù)傳輸8個(gè)數(shù)據(jù)字。以16bit位寬的顆粒為例一次BL8突發(fā)會(huì)傳輸16×8128bit數(shù)據(jù)對(duì)應(yīng)內(nèi)部預(yù)取8n位??刂破髦挥邪凑者B續(xù)地址、盡量集中在同一行Row Buffer Hit的方式組織訪問(wèn)才能把突發(fā)效率跑滿。如果你去讀DDR協(xié)議規(guī)范會(huì)發(fā)現(xiàn)ACT、READ、WRITE命令之間的時(shí)序約束tRCD、tRAS、tWR等非常嚴(yán)格這都是在為突發(fā)傳輸?shù)母咝史?wù)。3.2 DDR容量與NAND容量的換算關(guān)系容量問(wèn)題前面提到過(guò)這里給出可復(fù)用的公式映射表所需空間 ≈ (SSD用戶容量 ÷ 映射粒度) × 單條映射大小以512GB容量、8KB粒度、每條映射4字節(jié)為例512GB 536870912KB除以8KB得到67108864條映射再乘4字節(jié)等于256MB。所以不帶DDR的主控如果想保證映射表完整駐留至少配256MB內(nèi)存。實(shí)際工程中還要預(yù)留寫緩存和固件運(yùn)行空間512GB盤配256MB DDR其實(shí)已經(jīng)非常緊張很多設(shè)計(jì)會(huì)配到512MB。1TB往上要看映射粒度是否增大、映射條目壓縮是否激進(jìn)不然DDR成本會(huì)壓不住。從選型角度大家可以直接拿這個(gè)公式反推看到一塊盤的DRAM顆粒容量就能估算它主控的映射管理策略大概是什么等級(jí)從而判斷它在高負(fù)載下會(huì)不會(huì)出現(xiàn)映射抖動(dòng)。3.3 burst length、位寬與頻率如何組合很多主控規(guī)格表只寫“支持DDR3/DDR4”但不寫位寬。主控SoC的DDR控制器接口位寬通常有16bit和32bit兩種少見(jiàn)64bit。位寬直接決定同樣頻率下帶寬翻倍代價(jià)是SoC封裝引腳數(shù)和PCB布線面積顯著上升。DDR頻率選擇還要考慮跟主控內(nèi)部總線頻率的匹配。內(nèi)部AXI總線主頻假設(shè)是400MHz、64bit位寬理論帶寬也是3.2GB/s那么DDR3-1600 16bit的3.2GB/s正好匹配但余量不足。好的架構(gòu)設(shè)計(jì)會(huì)讓DDR接口帶寬略高于內(nèi)部總線帶寬而不是剛好卡在同一個(gè)數(shù)否則總線滿負(fù)載時(shí)會(huì)產(chǎn)生反壓導(dǎo)致主機(jī)接口出現(xiàn)額外延遲。時(shí)序?qū)用鍰DR3/DDR4顆粒的CL、tRCD、tRP這些參數(shù)同樣影響實(shí)際性能。顆粒頻率往上提CL值往往同步放大延遲反而沒(méi)降多少。SSD主控對(duì)延遲尤其敏感尤其是隨機(jī)4K讀每次查映射表的延遲都能直接影響IOPS。所以做SSD主控選DDR顆粒時(shí)別看峰值帶寬花眼還要關(guān)注在目標(biāo)頻率下的實(shí)際讀寫延遲。4. 帶外部DDR與DRAM-less的分叉口同為SSD內(nèi)部差著一個(gè)架構(gòu)時(shí)代4.1 帶DDR方案旗艦產(chǎn)品的穩(wěn)定器我們先說(shuō)經(jīng)典方案主控帶著一顆外置DDR顆粒。典型代表包括大家熟悉的慧榮SM2258注意不是XT版、SM2262/SM2263群聯(lián)E12/E16聯(lián)蕓MAP1202等。這些主控方案幾乎都外掛一顆DDR3L或DDR4顆粒容量從64MB到1GB不等。帶DDR方案的優(yōu)勢(shì)非常明顯FTL映射表完整駐留任意LBA查表都是固定低延遲。寫緩存空間充裕即使隨機(jī)小寫也能大量聚合大大減少NAND寫入次數(shù)降低寫放大。固件運(yùn)行空間富余可以做復(fù)雜的后臺(tái)GC、磨損均衡和熱冷數(shù)據(jù)分離。掉電保護(hù)只需要聚焦DDR和NAND之間的數(shù)據(jù)搬移邏輯相對(duì)清晰。缺點(diǎn)也直白成本高BOM里多一顆DDR顆粒多一個(gè)失效點(diǎn)DDR本體虛焊、老化、供電異常都會(huì)導(dǎo)致不開(kāi)卡或掉盤。不過(guò)對(duì)性能和穩(wěn)定性要求高的人來(lái)說(shuō)這些代價(jià)值得。4.2 DRAM-less HMB方案用主機(jī)內(nèi)存“蹭”出性能近幾年低價(jià)位NVMe盤大量采用DRAM-less主控比如慧榮SM2258XT、SM2263XT。這類方案在主控SoC上直接省掉DDR控制器外訪通路不焊外置DRAM顆粒成本大幅下降。但前面說(shuō)得很清楚沒(méi)有DDR映射表住哪兒寫緩存用什么解決辦法叫HMBHost Memory Buffer主機(jī)內(nèi)存緩沖。NVMe協(xié)議允許主控通過(guò)PCIe BAR空間去訪問(wèn)主機(jī)系統(tǒng)DDR的一段固定區(qū)域。也就是說(shuō)主控可以“借”一部分主機(jī)內(nèi)存來(lái)緩存FTL映射表和少量寫數(shù)據(jù)。HMB的妙處在于借用的是PC上性能極強(qiáng)的大容量?jī)?nèi)存而且延遲只比主控自帶DDR高一點(diǎn)點(diǎn)多了一次PCIe往返。對(duì)日常使用來(lái)說(shuō)HMB方案在讀寫大文件、跑分軟件里甚至能跟帶DDR方案打平。但實(shí)際體驗(yàn)中存在幾個(gè)不那么漂亮的地方老舊主板BIOS不支持HMB分配或PCIe ASPM省電策略太激進(jìn)導(dǎo)致主機(jī)內(nèi)存響應(yīng)不穩(wěn)定盤有時(shí)會(huì)卡成幻燈片。映射緩存放主機(jī)內(nèi)存每次查詢都要走PCIe鏈路雖然延遲不高但高隊(duì)列深度下并發(fā)沖突明顯隨機(jī)性能波動(dòng)比帶DDR方案大。寫緩存受限小文件寫入合并能力弱垃圾回收壓力會(huì)更早暴露。所以DRAM-less方案適合預(yù)算敏感、以順序讀寫為主的用戶如果重負(fù)載隨機(jī)寫、長(zhǎng)時(shí)間渲染或虛擬機(jī)多開(kāi)還是優(yōu)先考慮帶DDR方案。拆分這一點(diǎn)很多“為什么同容量盤價(jià)格差一半”的疑問(wèn)就解開(kāi)了。4.3 開(kāi)卡和量產(chǎn)時(shí)怎么判斷主控是否帶緩存如果你玩開(kāi)卡工具會(huì)在量產(chǎn)工具界面看到“Cache”“DDR”之類的選項(xiàng)。比如慧榮SM2258XT對(duì)應(yīng)的量產(chǎn)工具跟SM2258固件包往往不通用因?yàn)橐粋€(gè)是DRAM-less架構(gòu)一個(gè)是帶DDR外置架構(gòu)。開(kāi)卡前先看板子上有沒(méi)有獨(dú)立的DDR顆粒不要憑主控型號(hào)硬刷。很多開(kāi)卡失敗案例都源于糊涂地拿帶DDR固件往無(wú)緩存板子上刷。判斷方法很簡(jiǎn)單外觀上看主控旁邊有沒(méi)有一顆稍大的、引腳密集的顆粒更準(zhǔn)確的做法是查主控datasheet的封裝引腳表看有沒(méi)有完整DDR接口信號(hào)。像SM2258XT這種型號(hào)后綴帶XT的本身就是無(wú)緩存版本選錯(cuò)固件很容易報(bào)錯(cuò)。5. 固件與硬件配合中的DDR細(xì)節(jié)啟動(dòng)訓(xùn)練、掉電保護(hù)與排查經(jīng)驗(yàn)5.1 上電之后DDR是怎么被“喚醒”的這個(gè)環(huán)節(jié)做固件的人深有體會(huì)但普通玩家往往不知道。SSD上電后主控SoC并不是立刻就能用DDR的。此時(shí)DDR還沒(méi)有初始化內(nèi)部時(shí)序參數(shù)未知物理層信號(hào)對(duì)齊也沒(méi)建立。所以BootROM先靠?jī)?nèi)部SRAM運(yùn)行這段極早期的代碼只能用少量SRAM做基本硬件初始化鎖相環(huán)、時(shí)鐘、主機(jī)接口PHY、關(guān)鍵IO。完成基礎(chǔ)初始化后固件才進(jìn)入DDR初始化流程也就是常說(shuō)的DRAM Training。DDR控制器要在目標(biāo)頻率下對(duì)DQS/DQ信號(hào)做延遲掃描找到每個(gè)字節(jié)通道最可靠的采樣窗口然后寫入時(shí)序寄存器。這一步如果失敗盤的表現(xiàn)就是“主控不識(shí)別”“顆粒焊接沒(méi)問(wèn)題但依舊抓不到盤”實(shí)際顆粒本身往往是好的純粹是訓(xùn)練參數(shù)沒(méi)通過(guò)。我見(jiàn)過(guò)很多維修案例盤掉盤后重新開(kāi)卡又好了本質(zhì)就是重新上電后DRAM Training過(guò)了。但殘留問(wèn)題還在因?yàn)轭w?;蚬╇娨呀?jīng)老化訓(xùn)練余量極小跑幾天又會(huì)復(fù)現(xiàn)。這種情況建議直接更換DDR或降壓處理而不是反復(fù)刷機(jī)。5.2 掉電保護(hù)在固件層面的實(shí)現(xiàn)層次前面講過(guò)PLP的硬件基礎(chǔ)這里看固件怎么利用DDR做數(shù)據(jù)安全。第一級(jí)固件定期比如幾百毫秒或幾秒內(nèi)一次把DDR里的FTL映射表快照寫入NAND的映射備份區(qū)。每次完整寫映射表比較耗時(shí)所以通常只做“臟映射項(xiàng)”增量備份。第二級(jí)發(fā)生掉電時(shí)主控轉(zhuǎn)入緊急處理流程關(guān)閉主機(jī)接口禁止NAND新任務(wù)然后集中把DDR里的寫緩存數(shù)據(jù)和最新映射變更寫進(jìn)NAND臨時(shí)塊。等下次上電固件啟動(dòng)時(shí)先從臨時(shí)塊恢復(fù)現(xiàn)場(chǎng)。這里要注意DDR的容量越大掉電時(shí)需要搬移的數(shù)據(jù)也越多。如果DDR位寬窄、頻率低搬移時(shí)間就會(huì)拉長(zhǎng)對(duì)PLP電容的電量?jī)?chǔ)備要求就更高。這就是為什么有些大容量DDR方案的盤反而更容易在掉電中出問(wèn)題因?yàn)樗凹耶?dāng)”太多來(lái)不及搬完。在做產(chǎn)品定義時(shí)DDR容量不是越大越好還要評(píng)估在目標(biāo)掉電窗口內(nèi)能否完成數(shù)據(jù)固化。5.3 調(diào)試DDR常見(jiàn)問(wèn)題從“讀有效信號(hào)一直為低”說(shuō)起很多做FPGA原型驗(yàn)證或芯片驗(yàn)證的朋友會(huì)遇到一個(gè)問(wèn)題控制DDR時(shí)DDR的讀有效信號(hào)一直拉不高。這個(gè)現(xiàn)象可以拆出好幾個(gè)可能方向。第一檢查DDR控制器初始化狀態(tài)。控制器完成training并進(jìn)入正常態(tài)之前根本不會(huì)產(chǎn)生有效的讀數(shù)據(jù)返回讀有效信號(hào)保持低電平是正常的。不要一上來(lái)就懷疑讀時(shí)序先看控制器狀態(tài)寄存器是否從IDLE進(jìn)入ACTIVE。第二檢查命令是否真正發(fā)出。FPGA或膠邏輯里經(jīng)常犯的錯(cuò)是只配了地址沒(méi)有按DDR協(xié)議先發(fā)ACT命令打開(kāi)行就直接發(fā)READ命令或者REF自動(dòng)刷新沒(méi)有及時(shí)觸發(fā)。DDR要求先激活行再讀列命令次序錯(cuò)一個(gè)周期控制器就永遠(yuǎn)等不到有效數(shù)據(jù)。第三核對(duì)DFI接口的返回時(shí)序。控制器和PHY之間通常用DFI接口通信PHY讀回來(lái)的數(shù)據(jù)要經(jīng)過(guò)若干周期的內(nèi)部延遲才拉到DFI總線上。很多“讀有效一直為低”的case其實(shí)是PHY側(cè)返回路徑的采樣延遲沒(méi)配對(duì)控制器在錯(cuò)誤的時(shí)鐘沿采樣誤以為沒(méi)有有效數(shù)據(jù)。調(diào)試時(shí)可以沿著DFI總線把rddata_valid和rddata相對(duì)于dqs的相位打一拍、兩拍、三拍逐一觀察常常能找到正確窗口。第四用邏輯分析儀或示波器看物理DQS/DQ邊沿。如果命令、地址、時(shí)序寄存器都正常但DQS上根本沒(méi)出現(xiàn)讀前導(dǎo)信號(hào)read preamble優(yōu)先查時(shí)鐘穩(wěn)定性和PHY的訓(xùn)練結(jié)果。顆粒供電紋波大、參考電壓Vref偏了也會(huì)導(dǎo)致物理層眼圖閉合訓(xùn)練過(guò)程直接卡住。處理這類問(wèn)題經(jīng)驗(yàn)法則是“先狀態(tài)機(jī)后物理層再協(xié)議層”。把控制器狀態(tài)和DFI時(shí)序理清楚絕大多數(shù)“讀有效信號(hào)異?!倍寄芏ㄎ弧_@一套排查鏈路在SSD固件和芯片驗(yàn)證崗位面試?yán)镆步?jīng)常被拿出來(lái)問(wèn)可見(jiàn)它多么基礎(chǔ)又關(guān)鍵。DDR子系統(tǒng)在整個(gè)SSD主控SoC里的角色往小說(shuō)是內(nèi)存顆粒選型往大了說(shuō)其實(shí)是數(shù)據(jù)通路的調(diào)度中心。理解它之后再去看那些“帶緩存好還是無(wú)緩存好”“為什么掉盤”“為什么開(kāi)卡報(bào)錯(cuò)”的問(wèn)題思路會(huì)清晰很多。我自己做固件調(diào)優(yōu)時(shí)也養(yǎng)成一個(gè)習(xí)慣遇到性能或穩(wěn)定性問(wèn)題先看DDR控制器統(tǒng)計(jì)數(shù)據(jù)讀命中率、行命中率、寫合并命中率三個(gè)數(shù)一番組合下來(lái)往往比盲目調(diào)GC參數(shù)有效得多。希望這篇梳理能給你在選型、開(kāi)卡或調(diào)試的路上省下一點(diǎn)試錯(cuò)時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷8月天青娱乐| 午夜精品久久久99| 亚洲欧美综合区自拍另类| 91国产伊人大香蕉| 成人老鸭窝人人在线视频| 亚洲成人无码影院| 可能人人看人人摸| 三级精品三级在线观看| 大香蕉伊人75| 久9爱经典视频| 久插综合| av优播| 欧美亚洲尤物久久| 一级性爱视频免费在线| 国产乱码久久久| 国产精品天干天干综合网麻豆 | 国产一区二区三区不卡手机在线| 九九伊人网| 天天操夜夜嗨| 操逼视频免费日韩无码| 一级特黄aaa大片在线观看成人一级片在线观看| 粉嫩久久久极品| 精品人妻一区二区三区视频| 日本九九久久99播| 夜夜操91744565| 人人操av| 人妻AV在线| 国产精品免费美女视频| 日本无码1| 国产一级高清免费观看| 天天综合欧美| 26uuu性| 国产一区二区三区视频在线看| 色九久| 91综合站| 九九无码| 久久久 国产精品| 久久久国产亚洲精品系列| 最新日本中文字幕| 日韩性爱1级片视频| 99这里只有精品国产| 午夜操一操| 91这里只有精品| 青青草好吊色| 另类图片综合| 色欲Av人妻精品一区二| 日日噜噜夜夜狠狠视频无| 大香蕉乱级| 人妻精品视频一区二区三区| 亚洲性爱乱操x| 无码久久国产| 淫荡熟女乱伦网| 国产精品无码av在线| 日本国产欧美高清在线| 色五月首页| 人人色97| 久久精品高清无码一区| 亚洲综合色图欧美| 日韩av在线精品观看| 国产真乱mangent| 免费黄色片。| 超碰在线人妻| 欧洲中文字幕| 亚洲成人帖图| 天天躁日日躁xxxxx| www网站黄| 国产精品交换一区二区| 亚洲欧美91√| 天天日天天干天天操| 91精品国产91久久青草| 岛国大片在线观看网站入口| 激情综合五月婷婷| 久久人爽| 亚洲美女av无码| 激情抓乳插进去啪啪啪日韩 | 色婷婷淫色网| 国产精品扒开腿做爽爽爽视频| 国产亚洲色婷婷久久99精品91 - 百度| 久久免费99精品久久久久久| 婷婷五月天影院| 天天添天天干电影| 2019亚洲男人天堂| 啪啪视频免费在线观看| 久草网站免费在线观看| 插老姨肥穴| 国产欧美日产一区二区三区 - 国产欧美日 | 欧美熟妇精品黑人巨大91| A 天堂| 日韩久久三区| 久久9999 | 国产成人欧美一区二区三区的国产| 五月丁香社区婷婷日韩欧美精品影院| 久久国模av| 综合网少妇| 亚欧高清v| 欧美熟妇精品黑人巨大一二三区| 天天爱天天操| 激情五月天网| 五月天AV资源| 福利在线观看一区二区| 日本五十路在线| 91久久青青草原精品| 污啪啪啪视频| 在线播放欧洲免费av| 99久国产精品午夜性色福利| 久久超碰久| 91无摭挡| 久草网站免费在线观看| 久久国语| 精品亚洲国产成人精品| 国产精品一级二级在线| 无遮挡h肉动漫在线观看| 操我啊啊啊啊啊| 日韩精品-原创伙伴| 色情综合| 国产97色在线 | 亚洲| 日本在线视频导航| 91麻豆天美国产欧美高潮| 免费无码国产精品v片在线观看| 香蕉在线一区二区三区| 日韩少妇无码| 超碰97COm中文| 91九九| 色97欧美| 78综合网| 交换娇妻呻吟声不停中文字幕| 亚洲欧美九九| 中文字幕精品一区二| 中文字幕视频在线观看一区二区| 偷拍 欧美 日韩| 日日干日日操五月天伦理视频| 日本精品五区| 日韩少妇丰满亚洲| 欧洲亚洲国产综合在线| 免费国产| 亚洲日本成人动漫| 成人激情无码在线视频| ...日韩成人一区二区三区字幕| 八戒无码国产午夜福利| 亚洲综合另类色图| 99久久99久久综合| 看大黄色大片原件| 欧美性暴力猛交| 久99久视频精选| 日本在线观看网址| 玖玖超碰熟| 婷婷五月天社区| 91高潮| 九九毛片这里只有精品| A级毛片在线看免费| 97少妇人妻中文字幕久久| 亚洲AV永久无码一区仙野| 99热这里只有精品18| 免費人妻夜夜爽天天爽爽一区| 91久久九九精品国产综合| 欧美亚洲国产日本在线,久久精品国产| 91在线色| 亚洲黄网在哪免费看| 欧美色图综合网| 日韩欧美丝袜诱惑| 中文字幕精品区先锋资源| 麻豆尤物视频网| 欧美少妇第一页| 国产小黄片在线免费观看| 97色欧洲| 国产精品亚洲四五区在线观看| 99性爱在线观看| 999熟女精品| 日本免费一区二| 无码日韩人妻av一| 久久久新亚洲AV| www.高清无码诱惑一区.com | 嗯……啊…嗯嗯…啊…好舒服| 欧美αv.com| 亚洲图片91| 蜜桃丰满熟妇av无码区不卡| av操操不卡| 伊人久久大香大香线蕉中文| 97精品一区二区视频| www.av不卡中文字幕| 久操综合在线| 日韩高潮一区| 91久久精品国产| 91在线精品| 丁香九月 婷婷| 亚洲天在线| 免费人人搞97| 殴美综合色88| 毛片17S| 骚货人妻偷情自拍在线视频| 婷婷久久综合久| 日韩无码a片| 亚洲婷婷丁香在线| 综合激情二| 四虎影视欧美| 国产肏逼网站| 欧美高清第一页| 欧美啪啪啪91| 欧美日韩不卡传媒| 熟妇高潮二区三区| 九一国产精品| 99热欧美| 伊人操| 亚洲天堂一二| 国产精品禁久久久精品| 日本久久久久久久久久| 久草线上视频免费看| 亚洲限制级| 暖暖精品二区三区观看| 97天天爽| 中文乱码99| 日少妇亚洲版| 天天天天天天天天综合| 狠狠躁天天躁日日躁| AV高清一区| 青青11操操操操操操操操| 九九这里只有精品| 少妇超碰在线| 日韩精品人妻中文字幕有码午| 色色99| 日韩有码免费视频| 1024亚洲中文字幕久在线看片你懂的 | 男人的天堂啪啪| 长长久久88视频| 色色99| 素人美腿视频网站| 欧美手机在线综合| 91中文字幕制服丝袜免费视频| 青草伊人网| 国产一区二区在线播放| 日韩一性一交一A片俄罗斯| 日韩在线性爱免费视频| 国岛片视频| 日韩午夜啪啪视频| 99999精品视频| 欧美日韩国第一区| 国产精品网站www| 热热热热日日漂亮永久永久国产日| 国产精品久久久久久久免牛肉蒲团| 欧美 牲| 啊啊啊轻点在线观看| 青青草原香蕉日本Ap| 男人天堂资源| 高清无码 国产精品| 五月激情在线| 日本一卡二区在线| 手机在线中文字幕国产| 夜夜操2028| 美女毛片999| 国产免费小视频| 亚洲成a人v欧美综合天堂下载| 精品九九国产无码| 五月天偷拍| 北条麻妃性愛视频| 啪啪自拍九九综合| 亚洲精品xxx| 天天日夜夜爽| 欧美丝袜美女电影一二三四区| 东京热,男人的天堂| 人人么人人操| 丁香五月综合| 春色综合免费| 欧美精品日韩久久久九| 在线天堂999| 午夜精品久久久久久久99| 在线视频97| 天天做日日爱夜夜爽| 九九英色视频| 亚洲高清视频在线免费观看| 久久婷综合| 色大师网站www永久网站视频| 婷婷国产精品一区二区| 无码乱人伦中文视频| 久久25| 蜜臀99久久国产| 日韩国产在线观看av| 天美国产精品| 久久久四区| 久久精品国产亚洲AV成人直播| 精品99999久久久久久| 人妻少妇久久| 亚洲一欧洲中文字幕在线 | 岛国1区2区3区在线观看| 五月激情小说| 欧美三四五区| av在线一区二区三区| a片亚洲一本通视频| 九九久久玖玖| 97人人操人人干| 91视频综合在线| 日韩在线欧美精品一区二区| 色噜噜国产在线| 亚洲男人天堂2| 色婷婷激一区二区三区| 欧美国产一区二区三区麻豆传媒| 黄片免费视频2019| 欧美日韩黄色片一区二区三区四区人与兽做爱 | 极品尤物在线观看| 日韩色图 一区二区| 秋霞网—男女啪啪亚洲免费体验区 | 日本99久久| 极品出轨视频网站| 97人人操人人干| 天天久久久久久| 午夜欧美女人操逼| 九色 蝌蚪 熟女自| 99热亚洲| 九九无码| 青青操在线亚洲视频观看欧美在线 | 好爽免费视频| 欧美亚洲性爱一区二区| 91色拍| 男人的天堂网免费| 亚欧免费观看视频| 九九九久久久久| 国产最新小视频在线播放下载 | 69天堂| 在线啊啊啊啊| www国产天美久久久| 狠狠97| www.91色综合| 爱妃国产亚洲视频中文字幕| 传媒免费一区二区三区| 99操| 蜜乳AV免费观看| 日日骚精品视频| 国产一区二区欧美日本| 综合色区偷拍| 欧美97视频| 亚洲天堂7777| 日韩欧美亚欧在线视频| 香蕉免费一区二区三区不读| 99日精品欧美国产| 免费精品无码一级毛片牛牛影视 | 97操b| 精品人妻1237| 在免费jIzzjIzz在线视频| 99蜜月精品久久| 五月天婷婷欧美三区| 久热影视| 97视频播放| 中文字幕 一区二区 亚洲无码| 中文字幕一二区二三区人妻专区| 欧亚 另类 久| 超碰夫妻97| 九九伊人网| 人人看黄色视频| 啊啊啊啊啊啊啊啊啊在线观看| 日韩午夜啪啪视频| 很黄很色的视频在线观看| 久久九九97| 美女久久久久久久| 亚洲综合小说另类图欧美视频激情小说色五月天| 神马久久久久久久| 97天天| 国产av色网| 亚洲另类色图片| 综合熟女| 国产一区二区欧美日本| 18禁免费视频| 蜜乳AV.COM| 欧美亚洲中文| 青青草好吊色| 一级AAA片一区二区三区| 中文字幕88av在线| 人妻久热在线| 丁香激情五月| 成人丁香五月| 91干熟女| 婷婷影院入口| 国产精品制服丝袜清纯唯美| 日韩精品一区二区高清| 黑人娇小av在线播放| 久久风骚城市人| 日韩精品影视| 久久人爽| 偷拍色图| 中文字幕人乱码中文字的预防方法| 91久久精品国产| 人妻AV在线| 国产AV久久久蜜爱影集| 精品性爱一二三区| 成人免费在线网站| 97任你吞精| 熟女字幕| 色五月首页| 爽 好舒服 无码刺激久久| 国产综合网站在线播放| 睡产熟女乱伦| 亚洲中文字幕av| 亚洲精品久久久久久久蜜桃臀| 8050无码八戒| 91狠狠综合久久久久久| 亚洲天堂,男人| 成人午夜无码视频| 天天拍天天操| 歐美一級亂黃99在綫精品| 夜夜高潮夜夜爽| 久久久久久久九九九九九九| 大香蕉欧美伊| 午夜无码熟妇丰满人妻| 日韩无码第3页| 亚洲熟女综合网| 97亚洲综合影院| 91性高朝久久久久久久久| 自拍偷拍亚洲熟女妇人精品| 亚洲日韩美女中文字幕乱| 人人爱人人操人人性| 日本精品一区二区中文字幕| 久操婷婷| 99精品伊人| AV色五月| 日日夜夜免费| 久久无码电影| 极品色社| 91欧美丨精品丨入口| 日日干夜夜欢| 国产精品扒开腿做爽爽爽视频| 偷拍 欧美 日韩| 99久久久er直播网址| 中文字幕在线观看二区三区| 欧美日韩黄色片一区二区三区四区人与兽做爱| 国桃视频产巨乳精品一区二区在线| 啊啊啊轻点在线观看| 欧美 亚洲 第一页| 久久一区二区高清免费| 91狠婷| 人人爽人人精品乱人伦AV| 人妻熟女一区二区三区视频| 日韩精品在线放| 无码人妻丰满热妇又大又粗| 亚洲图片欧美制度| 人妻夜爽夜夜爽| 亚欧无码线免费观看视频| 日韩视频啪啪| 你草精品在线视频| 欧美成人精品一区| 两性色网| 国产日韩人人| 中文久久| 五月丁香激情综合网| 国产成人主播| 五月婷亚洲精品天堂| 特级毛片特黄久久免费看| 北条麻妃99精品青青久久| 涩亚洲欧洲| 免费日韩黄片| 亚洲精品蜜桃久久久一区二区三区| 麻豆传媒一区二区在线观看| 国产中文字幕在线点播| 久久久久久久一级黄色打同平台| 久久久久深夜无码| 久久91精品国产9丨久久分亭| 亚洲日本成人动漫| 97se亚洲| 欧美性爱一级操| 亚洲精品国产av天美传媒| 中文字幕欧美丝袜07资源| 亚洲午夜福利视频| 超碰这里有精品| 飘花国产午夜精品不卡| 自拍欧美| 国产精品麻豆免费视频| 日日干夜夜操视频h| 国语精品对白| 五月天婷婷久久| 九七超碰人人乐| 熟女人妻一区二区三区| 激情婷婷丁香网| 天天精品| 久久久精精精| 久碰视频| 亚洲精品久久久久毛片A片拉屎| 日本天天色| 天天干18禁| 操少妇很爽av| 国产91亚洲精品一区二区三区| 欧插网站| 天天视频黄| 69人妻精品丰满熟女区| 夜夜操青青草| 超碰在线第一页| 国产成人在线观看综合| 暴力av在线| 丁香五月AV| 九九草| 粘花网06av视频| 久久久久亚洲熟妇熟女| 一区二区三区蜜桃成人撸久久东京热| 国产精品一区av在线| 人人澡人人弄| 免费看欧美美女黄色大片| 97精品视频在线| 99精品网| se吧提供国产乱老熟视频胖女人| 人妻免费观看| 九九性视频| av亚欧| 超碰碰激情97+久| 最新中文字幕精品在线| 亚洲图片91| 人妻精品综合中文字幕在线| 成人a级高清视频在线观看| 熟妇国产免费一区| 亚洲天堂区| 99亚洲国产精品色一区二区三区| 青青操视频在线| 激情五月天婷婷| 岛国在线免费视频| 亚洲欧美洲综合| 裸模AV女优| 国产超碰人人爽人人做| 日韩97P| 亚码人妻| 狠狠狠一区二区三区| 成人小说视频在线精品欧美| 91bbbbbb| 久久精品视频一区三区小泽玛利亚| 91麻豆va国产精品| 黄色人人| 午夜αv| AV色五月天| 熟妇人妻一区二区三区| 色久桃花影院在线观看| 欧美色涩| 伊人国产AV| 日韩精品9999| 久久久久骚| 久久精品三级影视| 永久免费av无码网站国产app| 亚洲校园激情| 嗯,啊。舔我逼| 欧美 亚洲 制服 精品| 51一区二区三区| 在线播放成人高清免费视频| 超碰在线91| 色五月激情AV在线| juliaann丝袜大战黑鬼| 91狠婷| 亚洲综合一区二区| 一区二区三区黄片免费观看| 欧洲黄色网| juliaann丝袜| 成人性交免费视屏| 欧美色图99| Aa东京男人的天堂| 日日骚 av| 啊啊啊啊啊啊在线看| 久热这里| 啊啊啊啊嗯嗯嗯用力好爽 | 91neishe| 少妇二级| 曰韩精品九九无码| 久久大香蕉| aaa一级黄片| 自拍偷拍 日韩无码| 在线观看成人性爱免费小视频| 欧美性爱综合,免费| 婷婷超| 日韩视频中文字幕| 啪啪啪综合网| 精品人成视频在线观看| 中文字幕国产在线天堂| 免费试看60秒| 在线毛片片免费观看| 日本中文熟女视频| 国产亚洲日韩欧| 天天激情综合站| 欧美天天干| 久久riav中文精品| 亚洲精品aa久久伊人| 日本www操操操| aⅴ日韩成人电影av在线免费看av大全| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 久久久中文| 99热精品在线观看| 极品色社| 男人 天堂 日 亚洲| 97色涩| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 亚洲一区中文字幕一区| 亚洲天堂区| 少妇无码太爽| 婷婷美人网| 精品人妻一区二区三区蜜桃视频| 高颜值美女口爆高潮浪叫| 蜜臀99久久国产| 欧美色999| 日韩免费大片一级播放| 日本在线激情一区二区三区| 殴美性色a级欧美| 亚洲熟妇无码一区二区三区| 日韩二区三四区五区六区在线看| 97在线免费视频观看| 免费操逼91| 亚洲国产尤物yw在线观看| 黄片www.| 1956日韩精品| 欧美性Fer办公室秘书| 91高潮| 国产精品无码久久久久2025| 国产亚洲精品自在线亚洲情侣| 午夜精品久久久久久久男人的天堂 | 亚洲一二三四区| 日韩综合成人免费视频| 久久婷婷色| 中出789在线视频| 好湿好紧视频| 国产毛片久久久久久久| 午夜人妻精品综合在线| 欧美色图 人妻| 天天综合色图| 日韩亚洲中文字幕在线| 97人肏| 97在线播放 | 午夜福利在线合集| 久草在线| 九九香蕉网| 目产99999久久999| 大香蕉综合网| 亚洲操人| 东京热熟女亚洲视频网站| 又粗又长又大国产不卡| 国产免费永久精品无码| 亚洲日韩欧美一区二区| 人人么人人操| 992这里有精品| 夜夜嗨一区二区三区三州加勒比| 亚洲一卡二卡在线免费| 92福利社视频| 蜜区区视频79 | 97超级久久| 国产色精品午夜大片| 亚洲综合影视| 欧美一级黄色免费专区| 天美传媒国产原创中文字幕亚洲欧美另类 | 久久国产对白激情浪潮| 97精品久久| 中文字幕 码 自拍 视频 区| 91操熟妇| 久热9| 日产精品久久久一区二区| 亚洲AV噜噜狠狠网址蜜桃动漫| 国产a级精品| 在线a亚洲视频播放在线| 久久女婷| 久久精品无码专区| 婷婷五月天AV| 91色花堂| 日韩AV片| 欧美后入| 大香伊人在线一区| 夜夜草我| 久久仑合| 亚洲性爱电影| 亚洲综合射| 97人人操人人摸人人爱| 欧洲亚洲综合| 91三级理论片播放器| 国产欧洲精品亚洲午夜拍精品| 成人性爱视频在线看| 亚洲AV不卡在线观看尤物| 亚洲图片激情综合另类| 啊啊啊啊二区好大| 久久社区一区二区三区| 国产噜噜噜噜噜久久久久久久久| 东京热男人的天堂精品| 黄色一区三区| 超碰免费人人| 欧美天天综合网| 丰满少妇一区二区三区四区观看| 丁香五六月啪啪| 嗯嗯嗯啊啊啊干死我吧| av天堂手机版追回| 亚洲熟女av中文字幕| 四虎永久在线精品免费网址 | 国产AV天美| 国产精品久久久久中文字幕| 亚州精品人妻一二三区| 理论久久婷婷网 8| 欧美一区二区三区互相| 亚洲AV在线资源| 五月天激情婷婷| 日本乱人伦片中文三区| 欧美色综合图片| 五月婷婷丁香六月| 国内精品久久人妻性色av| 日日噜噜夜夜久久亚洲一区二区| 国模少妇一区二区三区| 欧美色图亚洲激情| 91日产欧美| 丁香五月偷拍| 国产女人和拘做爰视频| 综合亚洲欧美| 美日韩一二三区| 另类天堂| 男女性感激情网站| 麻豆91熟妇人妻中文字幕茄子| 男女激情中文字幕| 五月香婷婷| 岛国激情视频在线观看| 情色图区| 亚洲欧美日产国产91毛片| 五月天婷婷久久| 做爱A级亚欧| 人妻少妇精品久久久久久久| www被窝色com| 伊人青青一区成人视频在线观看区| 金莲网址| 操b在线观看| 国产精选视频| 国产精品久久久久999| 国产av高清版| 日本三级日本三级99| 91影库| 91亚洲欧美| 午夜美女诱惑电源网| 中文字幕日韩人妻视频一区二区三区交换夫妻| 激情五月天婷婷| 日本www操操操| 中文字幕一区二区三区字幕| 亚洲综合影院| 91天堂| av橘色网站| 精品无码久久久久| 狠狠操一区二区| 啊啊啊啊啊啊啊国| 亚洲精品男人的天堂| 最新啪啪视频| 色成人Www精品永久观看| 天天日天天干天天色| 九九九久久久| 97欧美精品| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 超碰97资源中文字幕| 好吊色在线观看| 熟女精品一区二区三区| 大香蕉九九| 狠狠色婷婷777| 色婷网| 99在线精品观看99| 国产伦精品一区二区三区在线观| 亚洲精品亚洲人成在线麻豆| 激情综合二| 久久精品国产亚洲AV片多多| 久久国内| 中文字幕性感少妇av| 被体育老师抱着c到高潮| 天天视频黄网站| 蜜乳AV一区二区三区四| HEYZO高无码国产精品227| 久久久免费的精品| 日韩性爱播放| 99热久| 青青草九九九九九| 欧美激情视频一区二区三区不卡| 色91综合网| 最近2018中文字幕在线高清第一页| 欧美日韩亚洲天堂网| 亚 欧 美 综合| 欧美一级三级| 婷婷色一区| 亚洲另类综合欧美| 国产精品情侣啪啪| 人妻一区久久二区三区色播| 97色爱| 亚洲精品丝袜| 亚洲色图欧美色图制服诱惑| 一区二区高清视频| 少妇人妻太紧太深av| 日韩精品在线观看观看| 亚洲天堂人妻熟妇视频| 蜜桃无码AV一区二区| 人妻AV在线| 丰满人妻一区二区三区在线| 精品人妻一区二区乱码一区二区| 加勒比伊人影院| 成人精品久久| 亚洲国产一级黄色视频| 亚洲精品影视老司机| av一区二区三区 中文| 无码免费一区二区三区啪啪| 老熟女熟妇| 国产精品对白自产拍| 免费成人自拍视频在线| 人人潮人人摸| 日韩人妻少妇 一区二区三区| 精品久久久久瑟瑟| 狠狠爱夜夜干| 亚洲97综| 亚洲午夜福利在线影院| 深夜操逼网| 9999久久久久| 国产午夜精品理论片a大结局| 精品久久久高清无码| 婷婷丁香久久| 99啪啪| 综合五月天| 天天色天天干天天爱| 日日夜夜天天| 啊啊啊啊啊啊啊在线| 天美传媒婬乱在| 盗摄女人妻在线| 欧美美女自慰一区二区三区| 啊啊啊啊啊啊啊啊要喷了| 好吊色综合| 国产午夜激片Av毛片不卡| 7月婷婷综合| 久久久久久人| 91人妻精华帖| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 91国产大片| 色香av| 欧美麻豆成人同性GⅤ在线| 亚洲熟妇无码一区二区三区| 欧色网址| 天天干天天狼在线视频| 天天天乱色综合全| 热99这里有精品综合久久 | 午夜噜噜噜| japan日本高清乱xxxx| 亚洲另类色图片| 国产路线专区| 婷婷啪啪| 亚洲图片小说欧洲| 婬女免费一二三区A片| 91爱看| 人妻干天天| 亚洲天堂另类小说男人| 黄页av| 久久精彩免费视频| 超碰97伊人| 日本韩欧美在线播放a| 中文字幕超碰CAO| www.亚洲黄色| 红桃视频高潮| 日日操免费视频| 欧美综合加勒比在线| 婷婷色色五月天福利| 国产四虎在线| 久久性爱视频免费看| 久久99国产综合精品女同| 久久免费少妇| 天美av在线观看| 69一区二区| 亚洲国产剧情少妇激情| 中文字幕人妻资源在线| 超碰 另类 欧美 | 免费又黄又裸乳的视频| 蜜桃久久久久久久久久久久| 亚洲一区二区三区不卡国产欧美| 中文在线久久字幕| 一类无码操逼视频| 99re在线视频国产| av资源在线观看少妇| 中文字幕1区2区| AV九九| 欧美亚洲| 中国黑人三级片网站上区| 无码免费在线观看黄色片| 东北老女人的激情视频| 国产探花精品在线| 亚洲日韩欧美一区二区| av凤凰久久久| 69精品| 久久国产精品,久久国产| 翔田千里无码中出中文字幕| 欧美熟妇亚洲版| 日韩在线观看中文字幕视频| 欧美97免费| 99国产精品人妻人伦| 亚洲日韩在线a不卡99精品| 欧美色图私拍91| 久久国产乱子伦精品免费女人| 97在线欧| 欧美亚洲性爱一区二区| 国产日韩欧美中文在线播放| 无码九九九九| 四虎影视在线| 亚洲毛片一级带毛片基地| 东京热,男人的天堂| 熟女自慰久久久| 国产高清成人传媒影视| 亚洲综合91| 五月天欧美色图| 熟女人妻av在线资源,黄色的资源 粉嫩国产精品久久粉嫩 | 操国产逼| 亚洲中文字幕久久无码精品| 国产日韩精品一区二区三区| 色伊人91| 欧美一级在线观看成人| 蜜臀av中文字幕| 亚洲国产一区二区三区在线| 久久免费精品视频免一| 黄色无码高清黄色无码网站| 国产av色网| 日韩少妇丰满亚洲| 啪啪一区| 中文字幕日韩人妻视频一区二区三区| 人妻丝袜一区二区三区在线| 日本精品性生活久久久| 大香蕉亚洲中文| 日韩国产乱子伦App| 男女无套 免费网站| 久久久天堂| 新视频sss国产| 久久久久密| 久久老子无码午夜伦不卡| 日韩亚洲精品一区二区| 操逼操逼操| 久草这里只有精品 | 无码一区二区精品视频久久久春药| 日韩精品亚洲一二三| 性交一区二区在线播放| 亚洲伊人久久精品狠狠在线| 丁香五月天激情| 99在线无码精品秘 入口黑人 | 久久九七| 久久免费中文字幕在线观看| 99久久综合网| 精品一区二区人妖| 台湾成人无码AV| 99在线免费公开视频| 国产精品内射婷婷一级二| 久热伊人| 欧美在线亚洲| 日日摸日日弄日日拍| 色爽——AV| 天天影视网色欲色香| 91总综合网| 久久111| 干b在线性社区| 九一综合精品视品av| 久久9亚洲| 97国产精品国| 青娱乐亚洲热| 亚洲人在线| 黑人天8A∨高清网站| 亚洲不卡av在线| 久久超碰免费的| 欧美精品 - 91爱爱| 台湾大香蕉99热| 东北老女人的激情视频| 国产青视频| 97伪v| 国产情色在线| 偷拍欧美亚洲| 亚洲 日本 不卡| 人妻欧美| 男女啪啪啪18禁网站| 97超碰磁| 国产女同视频在线播放| 欧美久久人人网| 熟女人妻一区二区三区| 91色色色| 国产最新AV| 美女的肌被草喷水视频| 美欧老女人97| 久久人妻无码毛片A片麻豆| 无码操逼天堂| 欧美性爱一区二区三区| 欧美爱爱97| 国产美女口爆吞精视频| 变态乱伦伪娘灌肠一区二区| 亚洲高清无码在线桃色| 99热自拍| 麻豆区99999| 啊啊啊要高潮了| 91天堂丝袜美腿| 校园春色亚洲| 小视频玖玖| 婷婷综合网站| 久久国产视频专区一二三| 欧美久久人妻少妇一区二区| 日本熟妇自慰性高潮一区二区三区| 国产在线激情| 波多野结衣之双飞调教在线播放 | 亚洲综合校园春色| 蜜臀久久99精品久久久久久成人小说 | 国产精品久久久久久夜夜夜| 超碰这里只有精品| 天天综合~91| 美国日韩黄片| 深夜激情无码| 三级片大波波| 亚洲清纯综合| 天堂69亚洲精品中文字| 免费的黄片wwwwww| AV天天综合| 国产热av| 国产精品不卡一区二区三区av| 欧美成人一级免费电影| 日韩人妻大香蕉| 久久熟女久| 精品视频在线观看精品| 日韩性爱视频免费在线 | 无码精品久久久久久亚洲| 男人高清无码一区二区| 男人的天堂2018东京热啪啪啪| 亚洲AV高潮| a天堂视频| 青青草原狼av| 色偷偷综合91久久噜噜| 无码动漫av中文字幕| 女人爽到高潮潮喷18禁网站| 四虎免费看黄| 超碰97 线线 在现| 伊人久操| 97超碰在线资源网站| 亚洲色图综合| 婷婷97| 麻豆区久久久久亚| 男女激烈网站最新| 九一屌逼| 久久国产乱子伦精品免费女,网站| 亚洲无码一二三区| 欧美页片| 欧美不卡在线一区二区| 偷拍伦理视频| 久9爱精品| 亚洲无码AV九九九| 怡红院成人av| 偷拍三区| 久草精品国产蜜臀 | 婷婷激情五月天小说网| 国产又大又粗又长视频在线| 黑人综合网| 99热亚洲| 唯美清纯 妖精视频| 黄片免费看黄片免费看| 欧美色图 人妻| 性暴力欧美猛交在线直播| 久久久久久久久久久久久9999| 中文字幕在线免费观看 | 久久女女| 久久精品三级影视| 欧美九一精品久久久熟妇| 欧美日韩操逼动图| 九九九九免费高| 亚洲色欲天天天堂色欲网女| 天堂日本亚洲欧美| 翔田千里A片一区二区| 亚州精人品大香蕉| 亚欧色图在线激情| 97精品一二区| 思思视频免费看网站| 亚洲aw毛茸茸在线| 久热精品在线国产| 色色99| 免费精品人妻一区二区三| 97视频900| 日本www操操操| 91超碰在线观看| 色色婷婷五月天| 亚洲色91| 熟女色图在线| 免费精品中文字幕| 五十路人妻在线| 天天插天天操| 狠日欧美| 久久久久一本一区二区青青蜜月| 51国产午夜精品视频| 欧日韩在线观看| 亚洲欧美国产其他二区| AV色女综合| 国产欧美一区二区| 天天色天天干天天爱| 蜜桃视频啊啊啊啊| 激情综合色| 热思思免费视频| 91操人| 亚洲综合小说另类图欧美视频激情小说色五月天 | 免费的黄片有限公司| 综合网97| 亚洲天堂男人在线| 久久久国产av美女私房| 亚洲精品黑丝| 亚洲精品男人的天堂| 欧美综合国产精品久久丁香| 老女人91| 麻豆精品久久久久久久| 精品九九国产无码| 999国产精品999久久久久久| 91n美女视频| 国产欧美岛国精品一区| 久久粉色| 亚欧美综合网。| 色色色综合| 久久男人精品| 91精品人妻一区二区三区蜜桃| 亚洲高清内射| 亚洲成av人片色午夜乱码| 天天看夜夜看日日干| 果冻传媒一区二区三区| 日韩97视频!在线| 久久亚洲精品成人av| 国产一国产一级毛片古装| 欧美精品久久| 91精品电影18| 日本护士高潮| 久久精品国产亚洲AV高清演员表| 91欧美www| 1000午夜黄色| 99.色网| 色综合色综合网| 欧亚成人| 国产一区二区成人av在线播放| com 首页 18岁 禁区 女优 免费 精选 同城 | 俺去久久| 久热91| 久久久久国产精品喷潮免费观看臀| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 999久久久久久久精| 大香蕉欧美伊| 可以免费观看的av| 国产69精品久久久久99尤物| 九九热AV| 亚洲se91| 超碰在线日韩一区| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 超碰人妻中文在线| 欧美色偷拍 | 成人天天看站长推荐| 精品久久久无码| www.久久久久| 免费看久久久性性| av操操不卡| 99无码视频| 每日更新AV| 久久久久免费看少妇A片特黄| 97在线视频免费| 狠狠入| 亚洲干B| 蜜桃久久一区| 国产精品动态一区二区三区四四| 亚洲区限制级| 诱惑人妻欧美一区在线播放| 欧美亚洲第1页| 中文字幕丝袜美腿| 日本天天人人狠狠在线日美女 | 人人扣人人操| 被体育老师抱着c到高潮| 久久久精品无码亚免费| 久操网视频| 综合五月婷婷亚洲一区| 人人艹亚洲| 少妇高潮特黄A片| 免费亚洲黄色视频在线观看| 亚洲精品国产熟女| 6080YYY午夜理论片在线观看| 伦激情人妻另类人妻| 久久久久久69国产一区二区| 激情五月综合开心五月| 成人精品久久久午夜福利| 欧美一级美片在线观看免费| 国产日韩欧美中文在线播放| 日本狂喷奶水在线播放212| 园内精品自拍视频在线播放| 亚洲人妻在线一区| 欧美性爱伊人|