日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

SSD主控SoC中的DDR子系統(tǒng):數(shù)據(jù)通路的調(diào)度中心

SSD主控SoC中的DDR子系統(tǒng):數(shù)據(jù)通路的調(diào)度中心 但凡玩過(guò)幾塊SSD的人都會(huì)遇到類似的問(wèn)題新加了一塊固態(tài)硬盤想把原來(lái)D盤的系統(tǒng)遷過(guò)去或者下載了慧榮SM2258XT主控的量產(chǎn)工具想自己開(kāi)卡。折騰硬件之前很多人沒(méi)意識(shí)到?jīng)Q定這一步順利與否的其實(shí)是主控SoC和它旁邊的DRAM顆粒。SSD主控SoC整體架構(gòu)如果沒(méi)有概念很多人會(huì)把“不穩(wěn)定”怪到固件上把“掉速”怪到顆粒上卻很少懷疑DDR子系統(tǒng)在數(shù)據(jù)通路里扮演的角色。這篇文章想以主控SoC內(nèi)部的數(shù)據(jù)通路為主線講清楚DDR子系統(tǒng)到底承擔(dān)什么任務(wù)作為系統(tǒng)架構(gòu)師或維修/開(kāi)卡愛(ài)好者又該怎么去理解帶DRAM和不帶DRAM方案的差異。別覺(jué)得“DDR”只是顆粒選型表里一個(gè)頻率和容量參數(shù)它在整個(gè)SSD里的角色比你想象的復(fù)雜得多。1. 主控SoC其實(shí)是一臺(tái)以“搬數(shù)據(jù)”為唯一目的的專用計(jì)算機(jī)1.1 先看清主控SoC的硬件全家福很多教程一上來(lái)就講FTL算法、垃圾回收但連主控SoC內(nèi)部有哪些模塊都沒(méi)交代清楚。這里先把家底盤一遍。主控SoC并不是什么神秘的東西去掉“存儲(chǔ)”這個(gè)屬性它跟普通嵌入式SoC沒(méi)有本質(zhì)區(qū)別照樣本有CPU核心、總線矩陣、外設(shè)接口。特殊的是它所有外設(shè)和加速器都圍繞同一個(gè)目標(biāo)把用戶數(shù)據(jù)在主機(jī)和NAND之間搬運(yùn)得又快又穩(wěn)。CPU核心以ARM Cortex-R系列為主流也有用自研RISC-V核的。CPU負(fù)責(zé)FTL邏輯、指令解析、壞塊管理、磨損均衡這些“決策類”工作但不直接參與大量數(shù)據(jù)拷貝。主機(jī)接口SATAAHCI協(xié)議或者PCIeNVMe協(xié)議負(fù)責(zé)跟PC、服務(wù)器通信。目前主流消費(fèi)級(jí)NVMe盤的PCIe Gen3 x4帶寬上限大約3500MB/sGen4 x4翻倍到7000MB/s。NAND閃存接口主控拉出若干條閃存通道常見(jiàn)8通道、12通道、16通道甚至更高每個(gè)通道掛多顆NAND die。通道越多閃存并行度越高這個(gè)并行度直接決定主控能跑多高帶寬。ECC/LDPC引擎硬件編解碼器寫的時(shí)候給數(shù)據(jù)加上校驗(yàn)冗余讀的時(shí)候把錯(cuò)誤糾回來(lái)。TLC/QLC時(shí)代LDPC軟解碼對(duì)主控算力要求極高這一塊做不好盤就會(huì)頻繁掉速。DMA引擎這是數(shù)據(jù)通路的真主力。DMA負(fù)責(zé)把數(shù)據(jù)從一個(gè)接口搬到另一個(gè)接口整個(gè)過(guò)程不需要CPU逐字節(jié)干預(yù)CPU只要事先配好描述符和目的地址就行。SRAM與DDR接口內(nèi)部SRAM快但容量很小通常幾十KB到幾MB外部DDR才是主存儲(chǔ)容量從幾十MB到1GB以上不等承擔(dān)絕大多數(shù)像映射表、數(shù)據(jù)緩沖這類需要大容量暫存的活兒??偩€矩陣內(nèi)部互聯(lián)容易被忽略但它和DDR子系統(tǒng)同樣關(guān)鍵。主控內(nèi)部常用AXI總線或者類似NoC的多平面互聯(lián)位寬從32位到64位頻率從幾百M(fèi)Hz到1GHz不等。如果你的內(nèi)部總線只有一個(gè)單出口主機(jī)數(shù)據(jù)、閃存數(shù)據(jù)、DDR訪問(wèn)、ECC編碼全部搶一條路那么外部DDR即使再快也會(huì)被“卡脖子”。很多FPGA做控制器原型驗(yàn)證的人會(huì)遇到“DDR帶寬明明夠但整機(jī)性能就是上不去”的情況一半的根因出在內(nèi)部總線仲裁而不是DDR本身。1.2 寫請(qǐng)求和讀請(qǐng)求在SoC內(nèi)部的完整旅程了解了模塊構(gòu)成就可以把一條真實(shí)的數(shù)據(jù)請(qǐng)求放進(jìn)通路里跑一遍。先看寫路徑主機(jī)通過(guò)NVMe/SATA協(xié)議發(fā)送寫命令伴隨數(shù)據(jù)包進(jìn)入主控的主機(jī)接口。DMA引擎把數(shù)據(jù)從主機(jī)側(cè)接收FIFO搬到內(nèi)部緩沖SRAM或DDR。此時(shí)數(shù)據(jù)已經(jīng)帶上了邏輯塊地址LBA。固件查詢FTL映射表決定這批數(shù)據(jù)該寫到哪些物理頁(yè)。注意這里FTL映射表通常就住在DDR里所以光“查表”這一步就已經(jīng)產(chǎn)生了一次DDR訪問(wèn)。決定物理地址后數(shù)據(jù)不會(huì)立刻落閃存。固件會(huì)依據(jù)磨損均衡、垃圾回收狀態(tài)和當(dāng)前NAND忙閑情況把數(shù)據(jù)先在DDR的寫緩沖區(qū)分組、合并。等到NAND通道空閑且聚合的數(shù)據(jù)量足夠固件才發(fā)起寫操作數(shù)據(jù)從DDR緩沖區(qū)流向LDPC編碼引擎加完校驗(yàn)后按通道和片選分配到對(duì)應(yīng)NAND顆粒。物理寫入完成后FTL映射表在DDR中更新。這部分更新的映射記錄還要定期固化到NAND的映射備份區(qū)否則斷電就會(huì)丟失。再看讀路徑讀路徑的邏輯稍微“輕”一點(diǎn)但同樣繞不開(kāi)DDR主機(jī)發(fā)出讀命令固件先查DDR里的映射表把LBA翻譯成物理頁(yè)地址。主控向?qū)?yīng)NAND通道發(fā)起讀命令從NAND讀回原始數(shù)據(jù)經(jīng)過(guò)LDPC譯碼獲取正確數(shù)據(jù)。由于NAND頁(yè)大小常見(jiàn)16KB或32KB和主機(jī)讀寫粒度典型4KB不對(duì)等主控經(jīng)常需要把若干段數(shù)據(jù)在DDR或SRAM里重新拼接湊成主機(jī)期望的邏輯塊再用DMA返回主機(jī)。一條數(shù)據(jù)從進(jìn)到出至少兩次經(jīng)過(guò)DDR。這個(gè)“至少”在隨機(jī)小寫、垃圾回收并發(fā)時(shí)會(huì)翻倍增長(zhǎng)。所以結(jié)論已經(jīng)很明顯了DDR子系統(tǒng)不是“可選配件”而是數(shù)據(jù)通路上的十字路口。2. DDR子系統(tǒng)在數(shù)據(jù)通路里的四種身份2.1 它是FTL映射表的常駐內(nèi)存FTLFlash Translation Layer是SSD的靈魂。它維護(hù)一張“邏輯地址到物理地址”的映射表。主機(jī)只認(rèn)邏輯塊地址LBA但閃存物理頁(yè)是不斷在磨損、回收、重寫的所以主控內(nèi)部必須有一張隨時(shí)能查的表。這張表有多大可以做一次很樸素的估算假設(shè)映射粒度為8KB即每8KB邏輯空間對(duì)應(yīng)一個(gè)映射條目單條映射信息打包壓縮后占用4字節(jié)。那么一塊512GB的盤映射表大小就是512GB÷8KB×4B算下來(lái)正好256MB。如果映射粒度更細(xì)4KB或條目更寬8字節(jié)512GB盤就可能需要512MB甚至1GB的DRAM來(lái)裝映射表。這里就能解釋很多產(chǎn)品現(xiàn)象為什么老款120GB/240GB固態(tài)盤只配64MB或128MB DDR而高端2TB盤要配512MB或1GB DDR。因?yàn)槿萘吭酱笥成浔碓酱驞DR不夠就裝不下足夠多的映射表熱數(shù)據(jù)。有了DDR常駐映射表主控處理一次讀命令時(shí)查表只需要一個(gè)短延時(shí)的內(nèi)存訪問(wèn)如果沒(méi)DDR或者DDR容量太小映射表就只能部分駐留查不到的部分要去NAND里讀這個(gè)開(kāi)銷是災(zāi)難級(jí)別的4K隨機(jī)性能會(huì)直接崩塌。2.2 它是讀寫合并時(shí)用的臨時(shí)堆場(chǎng)NAND閃存的工作方式跟機(jī)械硬盤完全不一樣它以頁(yè)為單位讀寫一個(gè)頁(yè)通常是16KB或32KB。但主機(jī)下發(fā)數(shù)據(jù)的粒度很靈活可能是極其瑣碎的4KB、8KB甚至更小。為了讓NAND寫效率更高主控不會(huì)來(lái)一條就寫一條而是把零碎的寫請(qǐng)求先在DDR緩沖里攢一攢湊成完整的NAND頁(yè)再寫入。這個(gè)過(guò)程在固件術(shù)語(yǔ)里叫“寫合并”或“批量組頁(yè)”。讀方向同樣需要合并。主機(jī)可能只讀一個(gè)頁(yè)里的前半部分但NAND讀出來(lái)的是整個(gè)物理頁(yè)。主控要么只保留有效部分要么把整頁(yè)數(shù)據(jù)放進(jìn)DDR緩存以便后續(xù)相鄰LBA的讀取直接命中。垃圾回收時(shí)更夸張GC要把一個(gè)塊里的有效數(shù)據(jù)先讀進(jìn)DDR再把它們跟正在寫的熱數(shù)據(jù)一起重新分配、重寫。這一進(jìn)一出DDR的帶寬壓力瞬間翻倍。所以有很多主控在順序?qū)懭霑r(shí)表現(xiàn)尚可一旦進(jìn)入“半盤以上空間被占滿”狀態(tài)性能會(huì)出現(xiàn)斷崖式下跌。除了NAND本身寫放大很大程度也源于DDR緩沖和固件GC策略在實(shí)際數(shù)據(jù)通路中調(diào)度不過(guò)來(lái)。2.3 它是固件自己的運(yùn)行內(nèi)存很多人只把DDR理解成“緩存”其實(shí)它同時(shí)也是固件的運(yùn)行內(nèi)存。SSD主控里跑的是一套完整的實(shí)時(shí)操作系統(tǒng)固件棧包括FTL模塊、命令調(diào)度、壞塊管理、磨損均衡、溫控策略還有各種后臺(tái)任務(wù)。這些模塊的代碼在運(yùn)行前會(huì)被從NAND或外掛NOR Flash加載到內(nèi)存里執(zhí)行。固件用到的數(shù)據(jù)結(jié)構(gòu)比如命令隊(duì)列、壞塊表、磨損計(jì)數(shù)、日志系統(tǒng)、上下文狀態(tài)全部需要一大塊可讀寫的RAM空間。內(nèi)部SRAM通常只有幾百KB撐不起這么多東西所以DDR才是固件的“主存”。如果DDR子系統(tǒng)不穩(wěn)定比如顆粒虛焊、供電紋波偏大、訓(xùn)練時(shí)序不對(duì)SSD最典型的表現(xiàn)就是“掉盤”——固件運(yùn)行過(guò)程中訪問(wèn)DDR出錯(cuò)觸發(fā)看門狗復(fù)位盤從系統(tǒng)里消失過(guò)一會(huì)又出現(xiàn)。這種案例在維修和開(kāi)卡圈子里非常常見(jiàn)很多人誤以為是固件bug其實(shí)根源在DDR。2.4 它是掉電保護(hù)時(shí)最后搶救的數(shù)據(jù)安全島DDR是易失性存儲(chǔ)一斷電數(shù)據(jù)就沒(méi)了。但恰恰因?yàn)镈DR里住著映射表和寫緩存SSD掉電時(shí)最怕的就是DDR內(nèi)容來(lái)不及保存。帶掉電保護(hù)PLP的企業(yè)級(jí)盤會(huì)在主板上焊一排大電容或鉭電容檢測(cè)到外部電源跌落時(shí)利用電容殘存電量繼續(xù)給主控、DDR和NAND供一小段時(shí)間的電。主控利用這段時(shí)間把DDR里的FTL映射表快照和新寫入但還沒(méi)來(lái)得及落盤的數(shù)據(jù)緊急寫進(jìn)NAND的臨時(shí)區(qū)域。消費(fèi)級(jí)盤大多沒(méi)有完整PLP靠的是固件定期把映射表持久化到NAND同時(shí)保證DDR里只保留可以重新推導(dǎo)或重建的數(shù)據(jù)。但無(wú)論哪一類DDR的角色都一致它是數(shù)據(jù)最集中、最新鮮的地方掉電保護(hù)的本質(zhì)就是在搶救DDR里的資產(chǎn)。這里也能看出DRAM-less方案的一個(gè)優(yōu)勢(shì)——少一個(gè)DDR掉電時(shí)需要搶救的數(shù)據(jù)量會(huì)小很多失效模型更簡(jiǎn)單。3. 從計(jì)算角度看DDR選型帶寬、容量、時(shí)序三個(gè)硬指標(biāo)3.1 DDR帶寬要多少才夠用在方案設(shè)計(jì)階段你要回答的第一個(gè)問(wèn)題不是“用多大容量DDR”而是“DDR帶寬夠不夠”。DDR在數(shù)據(jù)通路里要同時(shí)服務(wù)主機(jī)數(shù)據(jù)、NAND數(shù)據(jù)、FTL查詢、固件CPU讀寫所以它的總線帶寬必須留足余量。做一次粗略預(yù)算。假設(shè)做一塊PCIe Gen3 x4接口的NVMe盤主機(jī)接口理論帶寬約3500MB/s。為了達(dá)到這個(gè)上限NAND接口側(cè)必須同樣具備接近甚至超過(guò)3500MB/s的聚合帶寬而數(shù)據(jù)搬移過(guò)程中DDR常常要當(dāng)中間跳板。經(jīng)驗(yàn)做法是讓DDR可用帶寬達(dá)到主機(jī)接口理論帶寬的1.5到2倍以上才能保證順序大文件讀寫、隨機(jī)小寫和GC并發(fā)時(shí)不會(huì)被內(nèi)存訪問(wèn)卡住。舉個(gè)例子常見(jiàn)的DDR3-1600顆粒數(shù)據(jù)線寬16bit它的峰值帶寬是1600MT/s×2字節(jié)≈3200MB/s。這個(gè)值單看跟Gen3 x4接口差不多但實(shí)際包含了行激活、預(yù)充電、讀寫切換等開(kāi)銷可用帶寬會(huì)打折扣。所以稍微講究一點(diǎn)的控制器會(huì)選用DDR3/DDR4 1866/2133頻率或者把DDR數(shù)據(jù)線擴(kuò)展到32bit把峰值帶寬推到6.4GB/s以上。不做這一步順序?qū)懭牒蟀攵瓮鶗?huì)出現(xiàn)周期性掉速。我實(shí)際在FPGA原型上踩過(guò)這個(gè)坑DDR顆粒型號(hào)沒(méi)變只是把突發(fā)數(shù)據(jù)調(diào)度策略從“每筆請(qǐng)求獨(dú)立訪問(wèn)”改成“同Bank連續(xù)地址聚合訪問(wèn)”整機(jī)隨機(jī)寫性能就提升了約20%。這充分說(shuō)明DDR帶寬不止看顆粒規(guī)格更看控制器怎么組織和利用總線事務(wù)。這里順帶回答一個(gè)很多初學(xué)者會(huì)查的問(wèn)題DDR的burst length是什么意思DDR3/4顆粒默認(rèn)突發(fā)長(zhǎng)度BL8意味著一次突發(fā)連續(xù)傳輸8個(gè)數(shù)據(jù)字。以16bit位寬的顆粒為例一次BL8突發(fā)會(huì)傳輸16×8128bit數(shù)據(jù)對(duì)應(yīng)內(nèi)部預(yù)取8n位??刂破髦挥邪凑者B續(xù)地址、盡量集中在同一行Row Buffer Hit的方式組織訪問(wèn)才能把突發(fā)效率跑滿。如果你去讀DDR協(xié)議規(guī)范會(huì)發(fā)現(xiàn)ACT、READ、WRITE命令之間的時(shí)序約束tRCD、tRAS、tWR等非常嚴(yán)格這都是在為突發(fā)傳輸?shù)母咝史?wù)。3.2 DDR容量與NAND容量的換算關(guān)系容量問(wèn)題前面提到過(guò)這里給出可復(fù)用的公式映射表所需空間 ≈ (SSD用戶容量 ÷ 映射粒度) × 單條映射大小以512GB容量、8KB粒度、每條映射4字節(jié)為例512GB 536870912KB除以8KB得到67108864條映射再乘4字節(jié)等于256MB。所以不帶DDR的主控如果想保證映射表完整駐留至少配256MB內(nèi)存。實(shí)際工程中還要預(yù)留寫緩存和固件運(yùn)行空間512GB盤配256MB DDR其實(shí)已經(jīng)非常緊張很多設(shè)計(jì)會(huì)配到512MB。1TB往上要看映射粒度是否增大、映射條目壓縮是否激進(jìn)不然DDR成本會(huì)壓不住。從選型角度大家可以直接拿這個(gè)公式反推看到一塊盤的DRAM顆粒容量就能估算它主控的映射管理策略大概是什么等級(jí)從而判斷它在高負(fù)載下會(huì)不會(huì)出現(xiàn)映射抖動(dòng)。3.3 burst length、位寬與頻率如何組合很多主控規(guī)格表只寫“支持DDR3/DDR4”但不寫位寬。主控SoC的DDR控制器接口位寬通常有16bit和32bit兩種少見(jiàn)64bit。位寬直接決定同樣頻率下帶寬翻倍代價(jià)是SoC封裝引腳數(shù)和PCB布線面積顯著上升。DDR頻率選擇還要考慮跟主控內(nèi)部總線頻率的匹配。內(nèi)部AXI總線主頻假設(shè)是400MHz、64bit位寬理論帶寬也是3.2GB/s那么DDR3-1600 16bit的3.2GB/s正好匹配但余量不足。好的架構(gòu)設(shè)計(jì)會(huì)讓DDR接口帶寬略高于內(nèi)部總線帶寬而不是剛好卡在同一個(gè)數(shù)否則總線滿負(fù)載時(shí)會(huì)產(chǎn)生反壓導(dǎo)致主機(jī)接口出現(xiàn)額外延遲。時(shí)序?qū)用鍰DR3/DDR4顆粒的CL、tRCD、tRP這些參數(shù)同樣影響實(shí)際性能。顆粒頻率往上提CL值往往同步放大延遲反而沒(méi)降多少。SSD主控對(duì)延遲尤其敏感尤其是隨機(jī)4K讀每次查映射表的延遲都能直接影響IOPS。所以做SSD主控選DDR顆粒時(shí)別看峰值帶寬花眼還要關(guān)注在目標(biāo)頻率下的實(shí)際讀寫延遲。4. 帶外部DDR與DRAM-less的分叉口同為SSD內(nèi)部差著一個(gè)架構(gòu)時(shí)代4.1 帶DDR方案旗艦產(chǎn)品的穩(wěn)定器我們先說(shuō)經(jīng)典方案主控帶著一顆外置DDR顆粒。典型代表包括大家熟悉的慧榮SM2258注意不是XT版、SM2262/SM2263群聯(lián)E12/E16聯(lián)蕓MAP1202等。這些主控方案幾乎都外掛一顆DDR3L或DDR4顆粒容量從64MB到1GB不等。帶DDR方案的優(yōu)勢(shì)非常明顯FTL映射表完整駐留任意LBA查表都是固定低延遲。寫緩存空間充裕即使隨機(jī)小寫也能大量聚合大大減少NAND寫入次數(shù)降低寫放大。固件運(yùn)行空間富余可以做復(fù)雜的后臺(tái)GC、磨損均衡和熱冷數(shù)據(jù)分離。掉電保護(hù)只需要聚焦DDR和NAND之間的數(shù)據(jù)搬移邏輯相對(duì)清晰。缺點(diǎn)也直白成本高BOM里多一顆DDR顆粒多一個(gè)失效點(diǎn)DDR本體虛焊、老化、供電異常都會(huì)導(dǎo)致不開(kāi)卡或掉盤。不過(guò)對(duì)性能和穩(wěn)定性要求高的人來(lái)說(shuō)這些代價(jià)值得。4.2 DRAM-less HMB方案用主機(jī)內(nèi)存“蹭”出性能近幾年低價(jià)位NVMe盤大量采用DRAM-less主控比如慧榮SM2258XT、SM2263XT。這類方案在主控SoC上直接省掉DDR控制器外訪通路不焊外置DRAM顆粒成本大幅下降。但前面說(shuō)得很清楚沒(méi)有DDR映射表住哪兒寫緩存用什么解決辦法叫HMBHost Memory Buffer主機(jī)內(nèi)存緩沖。NVMe協(xié)議允許主控通過(guò)PCIe BAR空間去訪問(wèn)主機(jī)系統(tǒng)DDR的一段固定區(qū)域。也就是說(shuō)主控可以“借”一部分主機(jī)內(nèi)存來(lái)緩存FTL映射表和少量寫數(shù)據(jù)。HMB的妙處在于借用的是PC上性能極強(qiáng)的大容量?jī)?nèi)存而且延遲只比主控自帶DDR高一點(diǎn)點(diǎn)多了一次PCIe往返。對(duì)日常使用來(lái)說(shuō)HMB方案在讀寫大文件、跑分軟件里甚至能跟帶DDR方案打平。但實(shí)際體驗(yàn)中存在幾個(gè)不那么漂亮的地方老舊主板BIOS不支持HMB分配或PCIe ASPM省電策略太激進(jìn)導(dǎo)致主機(jī)內(nèi)存響應(yīng)不穩(wěn)定盤有時(shí)會(huì)卡成幻燈片。映射緩存放主機(jī)內(nèi)存每次查詢都要走PCIe鏈路雖然延遲不高但高隊(duì)列深度下并發(fā)沖突明顯隨機(jī)性能波動(dòng)比帶DDR方案大。寫緩存受限小文件寫入合并能力弱垃圾回收壓力會(huì)更早暴露。所以DRAM-less方案適合預(yù)算敏感、以順序讀寫為主的用戶如果重負(fù)載隨機(jī)寫、長(zhǎng)時(shí)間渲染或虛擬機(jī)多開(kāi)還是優(yōu)先考慮帶DDR方案。拆分這一點(diǎn)很多“為什么同容量盤價(jià)格差一半”的疑問(wèn)就解開(kāi)了。4.3 開(kāi)卡和量產(chǎn)時(shí)怎么判斷主控是否帶緩存如果你玩開(kāi)卡工具會(huì)在量產(chǎn)工具界面看到“Cache”“DDR”之類的選項(xiàng)。比如慧榮SM2258XT對(duì)應(yīng)的量產(chǎn)工具跟SM2258固件包往往不通用因?yàn)橐粋€(gè)是DRAM-less架構(gòu)一個(gè)是帶DDR外置架構(gòu)。開(kāi)卡前先看板子上有沒(méi)有獨(dú)立的DDR顆粒不要憑主控型號(hào)硬刷。很多開(kāi)卡失敗案例都源于糊涂地拿帶DDR固件往無(wú)緩存板子上刷。判斷方法很簡(jiǎn)單外觀上看主控旁邊有沒(méi)有一顆稍大的、引腳密集的顆粒更準(zhǔn)確的做法是查主控datasheet的封裝引腳表看有沒(méi)有完整DDR接口信號(hào)。像SM2258XT這種型號(hào)后綴帶XT的本身就是無(wú)緩存版本選錯(cuò)固件很容易報(bào)錯(cuò)。5. 固件與硬件配合中的DDR細(xì)節(jié)啟動(dòng)訓(xùn)練、掉電保護(hù)與排查經(jīng)驗(yàn)5.1 上電之后DDR是怎么被“喚醒”的這個(gè)環(huán)節(jié)做固件的人深有體會(huì)但普通玩家往往不知道。SSD上電后主控SoC并不是立刻就能用DDR的。此時(shí)DDR還沒(méi)有初始化內(nèi)部時(shí)序參數(shù)未知物理層信號(hào)對(duì)齊也沒(méi)建立。所以BootROM先靠?jī)?nèi)部SRAM運(yùn)行這段極早期的代碼只能用少量SRAM做基本硬件初始化鎖相環(huán)、時(shí)鐘、主機(jī)接口PHY、關(guān)鍵IO。完成基礎(chǔ)初始化后固件才進(jìn)入DDR初始化流程也就是常說(shuō)的DRAM Training。DDR控制器要在目標(biāo)頻率下對(duì)DQS/DQ信號(hào)做延遲掃描找到每個(gè)字節(jié)通道最可靠的采樣窗口然后寫入時(shí)序寄存器。這一步如果失敗盤的表現(xiàn)就是“主控不識(shí)別”“顆粒焊接沒(méi)問(wèn)題但依舊抓不到盤”實(shí)際顆粒本身往往是好的純粹是訓(xùn)練參數(shù)沒(méi)通過(guò)。我見(jiàn)過(guò)很多維修案例盤掉盤后重新開(kāi)卡又好了本質(zhì)就是重新上電后DRAM Training過(guò)了。但殘留問(wèn)題還在因?yàn)轭w?;蚬╇娨呀?jīng)老化訓(xùn)練余量極小跑幾天又會(huì)復(fù)現(xiàn)。這種情況建議直接更換DDR或降壓處理而不是反復(fù)刷機(jī)。5.2 掉電保護(hù)在固件層面的實(shí)現(xiàn)層次前面講過(guò)PLP的硬件基礎(chǔ)這里看固件怎么利用DDR做數(shù)據(jù)安全。第一級(jí)固件定期比如幾百毫秒或幾秒內(nèi)一次把DDR里的FTL映射表快照寫入NAND的映射備份區(qū)。每次完整寫映射表比較耗時(shí)所以通常只做“臟映射項(xiàng)”增量備份。第二級(jí)發(fā)生掉電時(shí)主控轉(zhuǎn)入緊急處理流程關(guān)閉主機(jī)接口禁止NAND新任務(wù)然后集中把DDR里的寫緩存數(shù)據(jù)和最新映射變更寫進(jìn)NAND臨時(shí)塊。等下次上電固件啟動(dòng)時(shí)先從臨時(shí)塊恢復(fù)現(xiàn)場(chǎng)。這里要注意DDR的容量越大掉電時(shí)需要搬移的數(shù)據(jù)也越多。如果DDR位寬窄、頻率低搬移時(shí)間就會(huì)拉長(zhǎng)對(duì)PLP電容的電量?jī)?chǔ)備要求就更高。這就是為什么有些大容量DDR方案的盤反而更容易在掉電中出問(wèn)題因?yàn)樗凹耶?dāng)”太多來(lái)不及搬完。在做產(chǎn)品定義時(shí)DDR容量不是越大越好還要評(píng)估在目標(biāo)掉電窗口內(nèi)能否完成數(shù)據(jù)固化。5.3 調(diào)試DDR常見(jiàn)問(wèn)題從“讀有效信號(hào)一直為低”說(shuō)起很多做FPGA原型驗(yàn)證或芯片驗(yàn)證的朋友會(huì)遇到一個(gè)問(wèn)題控制DDR時(shí)DDR的讀有效信號(hào)一直拉不高。這個(gè)現(xiàn)象可以拆出好幾個(gè)可能方向。第一檢查DDR控制器初始化狀態(tài)。控制器完成training并進(jìn)入正常態(tài)之前根本不會(huì)產(chǎn)生有效的讀數(shù)據(jù)返回讀有效信號(hào)保持低電平是正常的。不要一上來(lái)就懷疑讀時(shí)序先看控制器狀態(tài)寄存器是否從IDLE進(jìn)入ACTIVE。第二檢查命令是否真正發(fā)出。FPGA或膠邏輯里經(jīng)常犯的錯(cuò)是只配了地址沒(méi)有按DDR協(xié)議先發(fā)ACT命令打開(kāi)行就直接發(fā)READ命令或者REF自動(dòng)刷新沒(méi)有及時(shí)觸發(fā)。DDR要求先激活行再讀列命令次序錯(cuò)一個(gè)周期控制器就永遠(yuǎn)等不到有效數(shù)據(jù)。第三核對(duì)DFI接口的返回時(shí)序。控制器和PHY之間通常用DFI接口通信PHY讀回來(lái)的數(shù)據(jù)要經(jīng)過(guò)若干周期的內(nèi)部延遲才拉到DFI總線上。很多“讀有效一直為低”的case其實(shí)是PHY側(cè)返回路徑的采樣延遲沒(méi)配對(duì)控制器在錯(cuò)誤的時(shí)鐘沿采樣誤以為沒(méi)有有效數(shù)據(jù)。調(diào)試時(shí)可以沿著DFI總線把rddata_valid和rddata相對(duì)于dqs的相位打一拍、兩拍、三拍逐一觀察常常能找到正確窗口。第四用邏輯分析儀或示波器看物理DQS/DQ邊沿。如果命令、地址、時(shí)序寄存器都正常但DQS上根本沒(méi)出現(xiàn)讀前導(dǎo)信號(hào)read preamble優(yōu)先查時(shí)鐘穩(wěn)定性和PHY的訓(xùn)練結(jié)果。顆粒供電紋波大、參考電壓Vref偏了也會(huì)導(dǎo)致物理層眼圖閉合訓(xùn)練過(guò)程直接卡住。處理這類問(wèn)題經(jīng)驗(yàn)法則是“先狀態(tài)機(jī)后物理層再協(xié)議層”。把控制器狀態(tài)和DFI時(shí)序理清楚絕大多數(shù)“讀有效信號(hào)異?!倍寄芏ㄎ弧_@一套排查鏈路在SSD固件和芯片驗(yàn)證崗位面試?yán)镆步?jīng)常被拿出來(lái)問(wèn)可見(jiàn)它多么基礎(chǔ)又關(guān)鍵。DDR子系統(tǒng)在整個(gè)SSD主控SoC里的角色往小說(shuō)是內(nèi)存顆粒選型往大了說(shuō)其實(shí)是數(shù)據(jù)通路的調(diào)度中心。理解它之后再去看那些“帶緩存好還是無(wú)緩存好”“為什么掉盤”“為什么開(kāi)卡報(bào)錯(cuò)”的問(wèn)題思路會(huì)清晰很多。我自己做固件調(diào)優(yōu)時(shí)也養(yǎng)成一個(gè)習(xí)慣遇到性能或穩(wěn)定性問(wèn)題先看DDR控制器統(tǒng)計(jì)數(shù)據(jù)讀命中率、行命中率、寫合并命中率三個(gè)數(shù)一番組合下來(lái)往往比盲目調(diào)GC參數(shù)有效得多。希望這篇梳理能給你在選型、開(kāi)卡或調(diào)試的路上省下一點(diǎn)試錯(cuò)時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
老女人综合网| 中文字幕精品资源在线| 夜夜骑操视频| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 国产女人与拘做受视频免费| 97精品一区二区视频| 老司机免费视频在线91| 后入 亚洲 美女 射| 午夜丁香婷婷| 熟妇熟女视频一区二区三区| 柠檬AV导航| 免费一级精品啪啪视频| 日本成人在线不卡一区二区三区| 色原狠狠天天天| 男人的天堂2000| 九九热男人天堂| 日韩欧美字幕亚洲一区二区| 国产91啪| 亚洲91在线播放影院| 欧美激情激情xxxx欧美专区| 久久精品一区二区三区四区五区| 超碰色97| 亚洲情色 自拍| 美国三级日本三级久久99| 亚洲综合影片| 久久人人爽爽爽人久久久| 立川理惠无码一区二区| 日本性爱少妇| 18精品一区| 人妻中文在线| 91夜夜蜜桃臀1区2区3区| 99精品网| 99久久久无码国产精品性男| 亚洲一本色道中文无码aV天美| 午夜男女爽爽爽影院视频| 啊啊啊免费| 超碰 欧美| 青青草一本道福利视频| 亚洲午夜蜜臀| 中文字幕免费在线观看 | 国产美女自拍视频| 婷婷爽人人婷婷爽视频| 男人在线天堂| 强奸乱伦免费网站| 岛国片国产成人亚洲播放| 91精品国产日韩欧美综合| 中文字幕五月婷婷免费| 岛国激情视频在线观看| 精品亚洲黄色片 国产精品导航一区二区| 大香蕉免费3| 富女玩鸭子一级毛片| 国产一级高清免费观看| 黄色片A级一区二区三区| 欧美日韩黄片精品在线| 久久综合婷婷| 亚洲欧美另类少妇精品| 死我十八禁| 蜜汁欧美| 一级片在线观看高清无码| av网页一区二区三区| www.av在线视频| 久久精品日韩| 亚洲图片欧美91N| 性性久久| 日本大香蕉综合网| 美女国产一区二区久久| 蜜色网色哟哟| 日韩精品啪啪啪| 日韩一区二区精彩视频| 啊啊啊好爽快点啊啊啊嗯嗯| 人妻熟妇久草在线| 亚洲色欧美| 黄人人操人人操| 国内毛片婷婷六月色| 丰满的三级少妇欧美久久久| 久久一二三四五六七八九区区| 超碰综合色| 麻豆天美在线| 国产一级内射无挡观看| 天天做天天爱| 超碰在线1234区| 美女t无毒不卡不卡| 午夜AV人气不卡| 色情五月综合婷婷| 91路www| 日日骚中文字幕| 无码WWW免费视频网站| 激情四射婷婷四五月天| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 9/A片| 久艹视频在线| 成人亚欧免费视频| 二区熟妇韩日| 欧美在线91| 欧美性爱一级操| 日韩AV一区二区三区三州三州| 人妻熟妇久草在线| 韩三级a视频在线观看| 丁香六月啪| 亚洲中文电影| 亚洲欧洲日本精品中文a∨| 久99| 人妻天天爽夜夜爽2| 国产精品人妻无码久久久互動交流| 午夜无码精品免费看性色| 操B久久| 国产精品第一页国产大屁股视频免费区| 午夜电影在线观看无码专区| 欧美久久毛片基地| 国产中文字幕在线点播| 狠狠夜色午夜久久综合在线| 天美传媒婬乱| 91 丝袜在线| 中文字幕日韩专区精品系列| 玖玖综合色| 国产精品视频在线观看| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 极品久久久久久久久久久久久久| 色欲三区| 欧美中文狠| 操逼无码操逼| 免费亚洲国产精品久久一区| 久草免费在线一区二区| 欧日韩一二三f区| 国产男人又猛又粗又爽| 一二三四区电影| 国产精品久久久鸭无码的功能| 激情小说亚洲图片| 久久久久国产精品喷潮免费观看臀| 久久久久七视频| 亚洲伊人久久综合97| 97超碰色五月| 久久久久久久强迫| 欧美视频第二页| 黄视频免费| 国产乱码精品久久久久久| 欧美成人A√在线一区二区| 69AV女优男人的天堂| 自拍内地三级在线观看| 男人的天堂在线| 色色福利| 激情欧美97| 韩国一区二区精品亚洲| 国产强奸AV在线| 精品一久久久| 成人午夜无码视频| 亚洲h片在线免费观看| 亚洲AV不卡在线观看| 欧美性爱一级操| 97在线免费公开视频| 精品 码产区一区二-1080P高清在线www-B029AV | 97K超碰在线| 2020中文字幕| 欧美爆乳精品一区二区| 久久99干一本高清| 久久国产精品91| 在线观看亚洲成人精品| 97在线欧| 天天干一区二区| 日本熟女免费視颖| 青草精品视频一日本久久久久网站| 久久久久13| 成年女人黄网站| 69精品| 熟妇国产免费一区| 五月丁香综合激情| 333kkkk·亚洲com久久| 操东北女人| 日韩ab网 | 欧美在线 亚洲| 综合久久99| 中国AAAAAA黄色片| 69精品| 九九国产| 中文字幕片| 色久桃花影院在线观看| 传媒在线观看一区二区三区| 是还免费视频1727我| 婷婷五月天AV| h无码动漫在线观看| 试看60秒 爽| 亚洲麻豆18发?| 97超碰色五月| 日韩人妻精品久久久久| 夜嗨影院| 极品尤物女神在线观看| 一区二区三区 日韩欧美| 欧美夜夜草视频| 春色91| 久久久久大香青草精品综合| 青青草黑寡妇男人天堂| 亚洲精品丝袜-不卡成人免费……| 强奸乱伦中文字幕AV| 亚洲国产一区二区日韩专区| WWW.操逼.COM| 欧美资源| 三四中文字幕| 日本幼女18+| 综合欧美日韩在线| 福利一级版子| 超碰中文字幕人妻草一区| 亚州操操穴网| 欧美极品女人的天堂| 婷婷丁香五月激情啪啪| 亚洲无线码一区国产欧美国| 国产家庭乱伦网址| 日韩欧美一级特黄大片| 天天做日日做天天欢。| 天天干人人干天天日97| 欧美日韩 强奸乱伦| 18禁免费视频| 免费伦费视频在线观看| 成人八戒网站| 免费一级毛片在线视频观看| 国产免费一区在线观看| 亚洲综合在线视频| 天综合网| 日本免费不卡二区| 91欧美丨精品丨入口| 色天堂综合| 啊操爽品善一区二区三区| 国产农村妇女精品一| 熟妇亚洲一区二区三区| 91美乳| 亚洲限制级| 久久精品夜色国产亚洲AV| 97超碰在线资源网站| 欲香欲色天天天综合和网| 三级网站超变态精品| 99re69综合| 日韩欧美偷拍美女视频| 九九九色| 免费观看国产不卡av| 717影院理论午夜伦八戒| 亚洲熟女av日韩熟女| 97人人干人人操| 丁香五月成人| 亚洲综合99999| 亚洲国产青青| 色妺妺AⅤ| 日韩一区二区精彩视频| 日本免费亚洲欧美| 日本999精品视频| 欧美91在线+|+欧美| av2014 日韩在线中文字幕| 熟女人妻一区二区三区免费看 | 99热啪啪| 涩涩久久精品| 综合欧美亚洲| 天天日B夜夜干B时时操B| 美女自卫慰黄网站免费| 国产精品制服丝袜中文字幕日韩一区二区三区 | 精品少妇一区二区三区免费观看| a人欧美综合天堂麻豆| 好爽免费视频,| 狠狠入| 亚洲小电影免费涩涩成人在线高清| 黑人操一区二区| 99re6国产精品99re在线| 999九九九九国产动| 日本操逼视频在线| 欧美 亚洲 制服 精品| 色娱乐色呦呦夜夜夜夜av| 天天操天天舔| 国产女性无套 免费观看| 在线女人91| 五月天AV资源| 黄在线| 蜜桃久久久久久久| 五月天婷婷社区| 欧美大香蕉同搞| 久久人人爽爽爽人久久久| 五月天婷婷社区| 国产精品久久久久亚洲av| 麻豆视频test| 99人妻| 中文字幕永久在线| 久久激情视频| 欧美中出1| 亚洲精品蜜桃久久久久久久| 亚洲天天做日日做天天谢日日| 大香樵伊人网| 日本二三四区| 久久99视频| 99热日| 久久精品日韩| 国产精品色哟哟| 2024年最新色情网站在线观看 | 人妻精品一区二区三区| 久久精品小视频| 夜夜嗨一区二区三区三州加勒比| 久久久精品视频免费观看| 99热免费精品| 中国一级操逼视频| 清纯唯美综合亚洲| 能看的av| 国产 日韩 欧美一区| 国产精品一区二区三区在线密挑| 国产乱子伦久久精品综合一区二区三| 亚洲性爱高潮影院| 性欧美| 国产亚洲色婷婷久久99精品91葵花宝典| 亚洲AV资源| 日日摸天天爽夜夜欢| 高清国产无码av| 欧美色图私拍91| 翔田千里爆乳巨臀无码| 国产精品网站www| 国产免费黄色一级大片| 日韩素人无码一区二区三区三州| 91熟女网| 国内91熟女人妻丝袜天天精品视频在线| 992视频一区| 大香蕉综合| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 鸥美插入视频| 91人妻做a观看视频| 1024手机看片欧美日韩| 啪一啪免费视频| 四虎av在线| 五月天社区| 校园春色五月天| 天天日B狠狠操| 欧美成人一级麻豆| 无码视频一区二区| 日本性爱少妇| 78久久| 91丝袜美女| 天天色,天天干,天天干| 色九九九九九九| 中文激情网| 欧美综合天天| laoshunv91| 日本99久久| 91色花堂| 中文字幕女同在线| 色99在线| ji熟女.com| 伊香蕉综合久久久久久久噜噜噜| 91日日| 久久性爱大全| 国产品精品自在在线午夜免费| 亚洲国产丝袜在线观看| 国产女人高潮视频| 国产AV激情无码久久无码 | 五月婷婷丁香| 欧美五十路熟| 91日韩| 国产女人9999| 久久久久久久久久久久久9999| 亚洲国产精品99久久久| 熟妇人妻精品一区二区| 色拍偷亚洲| 精品一区二区啪啪啪| 91被操| 97在线视频观看免费| 97天天搞在线| 五月天婷婷综合网| 两性色网| 欧美日韩另类在线播放| 懂色aV一区二区天美传媒| 精久久久| 日韩无码AB| 人妻啊啊人妻啊| 亚洲成人久久一区二区| 两女互慰AV高潮喷水在线观看| 亚洲自拍小说| 久久久国产护士丝袜美腿一| 亚洲蜜臀懂色| 嗯嗯啊啊视频一区二区三区| 久9久精品视频| 色五月婷婷麻豆在| 免费看日本操逼视频| 伊人一区二区在线播放| 9国产超碰| 久久精品店| 热久久无毒不卡| 99青青草国产视频| av午夜玫瑰| 射丝袜高跟鞋99| 亚洲av乱伦色图网站| 久思思热视频在线观看| 亚洲无线码欧洲精品区别| 色吧5亚洲| 亚洲人妻精品一区二区| 深夜激情 | 亚洲精品a人片在线观看视| 成人一道本免费视频| 亚洲欧美综合| 波多野结衣AV无码一区| 在线观看不卡一区二区三区| 欧美日韩*字幕一区| 国产乱伦搜索结果91P| 美国日韩黄片| 98人妻精品一区二区色欲| 手机看av网站在线看| 殴美大黄片| 五月天色图| 欧美日韩传媒| 超碰国产在线| 亚洲美女精品九九视频| 国产97视频免费观看| 蜜臀在线免费观看在线免费观看| 啊啊啊水好多| 色五月婷婷麻豆在| 亚洲动态色图| 五月天婷婷成人网| 秋霞成人一级在线观看| 欧美九九九| 欧美国产伊人久久久久| 日本二三四区| 美女操逼A A| 97人人草| 国产精品爱欲| 操逼1区| 成人怡红院| 草B在线| 久久久久久加勒比| 久久亚洲AV成人精品无码| 强奸乱伦动态污图免费 | 超碰综合97在线| 夜夜爽夜夜操| 激情接吻视频久久久久久| 婷婷久草一区二区三区| 日韩精品人妻中文字有码在线 | 婷婷五月天激情网| 天堂伊人久久| 九月丁香婷婷色| 欧美图片色综合| 国内毛片四区| 操逼片中文| 亚洲日韩青青草色月| 欧美性爱一区二区三区| 婷婷激情五月综合| 国产美女自拍视频| 熟女啪啪视频| 日本人妻最新在线中| 日韩性爱高清免费视频| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 激情欧美97| 亚洲美女自拍偷拍视频| 亚洲色天堂九9| 91丨九色丨东北熟女| 蜜桃天美传媒AV一区二区三区| 波多野结衣被操50分钟免费视频| 日日夜夜噜| 嫩呦国产一区二区三区AV| 影音先锋一区二区在线资源| 3d成人精品一区二区| 97在线青| 夜夜操二区| 国产精品懂色tv影视免费观看| 久久久噜噜噜久久久| 国产探花精品在线| 999精品女人| 小草精彩毛片| 久久久无码av精| 男人的天堂 在线一区| 久久精品国产精品| 女人一区| 人妻少妇久久久| 国产精品久久久啊| 美女诱惑一区| 精品人妻一区二区三区不卡断| 任我爽视频在线观看| 中文字幕一区二区日韩网| 无卡一区=区| 美日韩一卡二卡三卡免费人妻精品| 一类av片在线看| 中文乱码字字幕在线第5页| 国产精品久久久久久久久久二区三区| 中文字幕少妇色| 91久久国产综合久久| 色色激情五月天| 操一区| 中国国国产一级特黄毛片| 97色网| 久久久久久九九九九| 久久久女人| 蜜臀AV一区二区三区激情综合| 国产麻豆一级精品视频| 涩综合导航| 久久国产在线一区二区| 99久久亚洲精品无码毛片潘甜甜| 青娱乐91| 呦呦影院| 亚洲精品xxx| 香蕉久久AⅤ...| 中文字幕亚韩| 丁香五月激情网| 日日夜夜狠狠| 青娱乐亚洲热| 97精品视频网站| 熟妇一区,二区,三区。| 91精品丝袜久久久久久| 欧美少妇人妻| 欧美一级AAAAAAA| 日韩无码三级影院| 综合色图区| 麻豆精品A片免费观看| 久久久久久性爱片| 加勒比五月天| 日韩熟女无码| 色情五月婷婷| 亚洲诱惑天堂| 98久久| 日韩欧美国产一区二区三区四区 | 国产毛片久久久久久久| 久久 国产精品 一区| 骚乳在线| 无码精品久久久久久亚洲| 国产隔壁老王影院在线| 亚洲欧美成人在线| 96国产污污污丝袜| 操逼免费视频无码国产| 91久操| 熟女天天干| 蜜臀久久99精品久久久| 99热精品在线在线| 欧美性少妇| 色欲三区| 日本 成 人 小说 电影 一区二区| 9久9久| 国产一区二区在线电影| 激情综合av| 97亚洲自在精品在线观看| 九九精品无码专区免费| 亚州综合AⅤ| 一类av片在线看| 国产农村妇女精品一| 亚洲国产精品成人久久蜜臀| 日本大片日本一区二区免费高清| 综合自拍| 偷拍亚洲高清图片| 亚洲精品97久久| 五月婷视频| 9999久久久久| 97五月天| 美女视频尤物网在线看| 超碰97最新人妻| 综合免费无码中文| 亚洲精品国产拍免费91在线| 玖玖视频在线资源一区二区三区| 少妇久久久久久| 97免费免费视频网| 91碰碰碰| 91香蕉视频在线观看免费| 日本一区99| 大香蕉伊人75| 亚洲自拍欧美国产首页网曝 | 亚射在线| 日本护士高潮| 亚洲性爱乱操x| 亚州高清AV| 欧美日韩99精品麻豆传媒| 午夜一级免费毛片| 国产强奸乱伦无码视频| 天天草AV| 亚洲国产一区二区三区在线| 欧美顶级黄色大片免费| 26uuu最新| 精品国产a∨一区天美传媒| 1956日韩精品| 国产成人精品日本亚洲语言| 日本性感人妻91| 精品在线78| 九一性生活免费视频| 亚洲熟妇自偷自拍另欧美| 久久久久久久国产视频| av天堂天堂av日韩| 家庭乱伦性爱av| 欧美九九九| 超碰97在线中文| 色老牛| 亚洲www91| 六九九九| 91国产大片| 欧美78| 蜜乳av一区二区三区四区不卡| 国产成人亚洲精品自产在线| 六月激情婷婷| 人人操肉肉| 亚洲av淫乱| 欧美日日操| 久久综合国产精品国产| 亚洲色宗合| 综合网天天| 91精片| 国产9熟妇视频网站| 欧亚日韩中文在线| 97综合| 久久久久人妻二区精品叶可怜| 免费岛国一级片| 国产丝袜美女在线一区| 97久久超碰| 精品亚洲俞拍视频一区| 97欧美日韩中文| 91精品操美女| 成人五级久久| 国产精品一二三免费网站| 国产精品麻豆成人AV艾秋| 麻豆乱码久久精| 久久精品电影| 亚洲AV无码乱码| 天天视频综合在线观看视频| 日本三级韩国三级99| 亚州中文字幕超碰97| 久久大| 日韩Va亚洲va欧美Ⅴa久久| 五月天婷婷基地| 欧美视频第二页| 色汉综合| 九九色图| 亚洲国产中文字幕| 中国少妇XXXX做受| 亚洲美欧999| 国产精品视频播放| 夜夜操美女| 操我啊啊啊啊啊| 亚州欧美在线| 操99| 午夜精品久久久久久久久久久久久| 人妻中文字幕精品无码| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 色狠狠综合噜一二三区| 欧美天天干| 亚洲国产一级精品毛一级精品看免费视频 | 亚洲国产麻豆一区二区三区| 91少妇香蕉久久精品| 亚洲本色精品一区二区久久| 五月婷丁香| 大乔未久88一区| 五月天婷婷在线看| 操逼精品视频| 欧 美 自 拍 偷 拍| 亚洲男人天堂2016| 日韩欧美中文日韩欧美色| 黄色不卡视频| 免费av大片| 蜜臀久久久99久久久久 | 人人潮人人摸| 少妇久久久免费| 嗯嗯啊中文字幕| 中文字幕AV乱伦| 国产人人干| 99久热| 操国产逼| 久久久免费视频18| 亚洲少妇色| 亚洲精品尤物yw在线影院| 久欲AV| 最新加勒比丝袜在线| 九九精品无码专区免费| 国产精品午夜精品| 亚洲av总站| 手机在线人成免费视频| 亚洲综人| 91在线视频免费中出| 欧美v日韩欧亚洲电影天堂色诱,国产传媒| 一级做a爰片性色毛片久久| 97色色色综合网站| 亚洲色欲天天人妻无码系列专区| 国产精品第一区第一页| 精品少妇一区二区三区| 色香欲影| 久久久久成人蜜桃精品| 国产欧美第五页| 欧美色涩| 超碰公开久久网| 中文字幕国产在线天堂| 欧美不卡在线美女| 中文字幕日韩专区精品系列| 亚洲男人的天堂一区二区| 97亚洲精品| 精产国品一区二三产品| 日本潮催一卡操| 干B| 亚洲伊人a线观看视频| 五月天加勒比啪| 久久精品国产96精品亚洲拳交| 亚洲天堂资源| 五月天激情网图片| 99久久久无码国产精品性啊聊| 肥臀熟女福利视频一区二区| 色欲三区| 中文字幕熟女人妻丝袜丝| 久久久久婷婷| 中文字幕日韩专区精品系列| 97超色| 五月天婷婷欧美三区| 中文字幕日韩专区精品系列 | 亚州性9| 91人妻丝袜无码| 最近2019中文字幕国语免费版| 蜜臀在线看片| 高潮内射在线| 亚洲高清无码在线桃色| 人妻激情视频| 天天综合网AV91| 99色视频| 人人妻人人爽 97人人看碰人免费公开视频| 国产日韩欧美| 久久久久久夜夜夜夜夜| 91成人久久| 亚州综合色| 久久夜夜夜| 亚洲综合春色| 日韩国产乱子伦App| 日夜伊人网| 国模不卡一本二本三电影| 99精品久久| 国产丝袜欧美在线视频| AV中文字幕三四五| 97天天综合网| 天天爱天天韩国日本牛牛牛牛 | 啊啊啊不要好疼视频| 91天堂丝袜美腿| 国产亚洲精品美女| 国产乱码久久| 十八禁成人网站在线观看| 亚洲色图片区| 熟妇高潮二区三区| 欧美三级免费伊人| 久久精品国产精品亚洲艾通辽熟妇| 亚洲综合伊人无码久久| 青草园大香蕉| 精品国产一区二区三区久久久蜜臀| 99热只有这里有精品| 91欧洲国产成人久久精品网站| 国产97av| 超碰视97中文| 精品小视频在线| 欧美嗯啊……在线观看视频免费| 成人婷婷丁香| 99色在线视频| 亚洲欧美国产其他二区| 欧美成人免费在线观看| 淫荡网址| 肥佬影院91| 夜夜黄| 人妻熟女一区二区在线视频| 日本不卡一区二区三区| 都市激情人妻一区二区青青操视频| 美国美女AV在线| 久久大香蕉手机高清| 国产精品交换一区二区| 动漫爆乳3D奶水一区在线观看 | 天天爽夜夜操| 在线99热| 日韩亚洲美州欧洲综三区一品在线| 日本 欧美 国产一区| 日本操大逼| 一线黄色免费性爱片| 乱伦1色页| 久久这里是精品| www.yeyecao| 韩三级a视频在线观看 | av凤凰久久久| 插欧洲美女欧美精品| 亚洲av无线观看| 国产九九九九九九九九| 亚洲日韩精品在线播放| 国产精品一区二区黄片| 五月综合久久| 九月丁香婷婷| 97色色色综合网站| 91久久堂| 日日日色色色色色| 亚洲有薄码区久久在线一区| 97网色| 操国产逼| 少妇3P性爱自拍| 国产剧情AV不卡在线观看| 日韩成人性爱AV| 巨爆乳肉感一区二区三区竹菊影视| 激情久久久| 久都青青视频| 99re9这里只有精品| www.男人天堂| 91超碰在线观看| 国产老太乱伦一区| 久久东京伊人一本到鬼色| a天堂视频| 黄色av片三级三级三级免费看| 激情开心五月天| 116美女午夜| 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊| 在线播放欧洲免费av| 超碰欧美97| 性在久久久久久| 丁香五月久久| 人人澡综合涩| 欧美综合色图网| 欧洲性爱无码区| 国产做?爰片久久毛片?片美国| 日韩乱码Av| 日本天天干天天搞一区| 果冻传媒A片麻豆熟妇人妻| 人妻干天天| 国内毛片免费h片在线| 亚洲一二三精品久久网| 色悠悠伊人网五月天| 高清国产无码av| 五月天玖玖资源站| 欧美亚男人的天堂| 亚洲情色 自拍| 欧美性爱无码一区二区三区| 成人网址在线观看| 亚洲图片 激情小说| 蜜桃久久一区二区| 乱欲一区二区| 色色色综合网| 精品久久久久成人码免| 翔田千里A片一区二区| 抽插无码高清一区| 91 综合 色| 亚洲国产一级黄色视频| av中文在线| 热的中文 热的有码 热的国产| 久久区| 婷婷五月天福利| 搡老女人老91妇女熟女| 日韩视频精品在线观看| www.伪伪| 免费久久9999| 中英熟女操女| 人妻丝袜无 码视频专区| 色欧美色交综合| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 天天激色| 自拍偷拍草一草| 欧美美女啪啪视频| 欧美性爱一区二区三区| wwwcaobibi| 综合情欲网| 韩国一级AAA| 日韩精品人妻系列无码天堂| 玖色av| 大香蕉乱伦视频网| 热久久无毒不卡| 乱论91| 麻豆区久久久久亚| 亚洲导航深夜福利| 亚洲欧洲色情高清| 手机在线中文字幕国产| 91成人在线| 精品国产三级av韩国在线| 五月丁香激情综合网| 青青青草原| 欧美极度丰满熟妇hd| 欧美超碰人妻97| A片 AV一级在线播放观看免费| 日韩欧美偷拍美女视频| 欧 美 自 拍 偷 拍| 国产第11页| 欧美日韩国产高清在线一二三区 | 国产精品一区二区三区,亚洲综合| 动漫区日韩区欧美区| 欧美性生活男人的天堂| 久久国99999| 日韩一级成人毛片免费观看| 96久久久精品| 欧美东京热精品A∨| 久久亚洲人妻| 免费人成?大片在线播放| 一本色道久久综合狠狠操| 人人干人人搞人人摸| 老熟女综合网 | 凹凸视频特色日本特黄| 狠日欧美| 成人AV素股で擦久久| 国产精品午夜福利亚洲综合网| 骚逼一区二区| 一本一道波多野毛片中文在线| 亚洲色香| 日韩成人电影AV| 国产精品96| 亚洲有薄码区日本系列中文字幕| 亚洲黄色AV电影| 欧美日韩国产中文精品字幕自在自线,| 日韩欧洲操屄视频| 九九av| 亚洲人妻av| 久久久久亚洲熟妇熟女| 91国产丝袜美女| 国产无马av| 高清国产无码av| 欧美日韩美女精品久草一区二区三区 | 大象AV在线| 久久久久久性爱片| 伊人影院综合是一个与深夜成人在线| 青草伊人久久| 艹我哪美一区无码| 色哟哟511老熟女| 99re视频在线播放青草| 人妻一区久久二区三区色播| 97人人模人人爽人人| 久久精品熟女亚洲AV麻豆软件| 美女主播色欲91抠b在线播放| 九九热九九| 大二网站亚洲| 色网亚洲人| 嗯嗯啊啊好疼| 91 刺激在线| 国产免费操逼| 99精品国产户外露出| 麻豆区久久久久亚| 91人妻超碰| 久久久18| 色噜噜精品一区二区三| 97九色| 欧美综合色图网| 加勒比五月天| 欧美亚洲丝袜美女电影| 人人操av| 日本熟妇人妻中出视频| 9国产超碰| 搡老女人老熟女91| 婷婷20月天青娱乐| 中文字幕一区二区三四五区日日骚| 爆乳免费黄网站| 色综合久| 天天色播亚洲综合网站| 国产精品欧美日韩久久| 84YTCOM性无码| 中文字幕一区二区无码成人| 国产97综合| 日韩少妇无吗| 乱理日韩中文| 男人天堂站| 91 刺激在线| 日韩国产乱子伦App| 99国产在线 精品 视频| 免费看黄片现成| 国产91亚洲精品一区二区三区| 天天肏夜夜肏| 91大香蕉伊人| 久久黄黄黄| 天堂av最新电影网| 久久天堂网| 99精品在线| 99久在线精品99re8热视频在线| 国产精品网站www| 色狠人在线99| 欧美AB在线观看| 九九热免费国产视频婷婷伊人五月 | 少妇人妻在线| 9ⅰ久久久天天| 久久9999| 午夜久久久| 国产精品国产| 另类图片五月天| 5252色欧美在线男人的天堂| 亚洲女人毛茸茸91| 久久久久久人体| 九九九999久久久网站| 欧洲一区二区| 91成人精品| 日本不卡在线二区三区| 亚洲激情片| 精品一区二区三区国产| 2017av无码免费无线播| ,成人免费啪啪视频| 亚洲视频1区| 国产女人与拘做受视频免费| 91人妻尻屄视频| 婷婷在线精品| 手机看片1025| 亚洲国产精品乱码在线观看| 殴美,日韩国产伦精品| 大香蕉伊在线久草麻豆天堂故事| 男人久久精品| 成人久久久精品| 在线天堂资源亚洲| 亚州一区二区| 日韩黄片影院| 自拍偷拍2025在线观看| 嗯啊不要在线观看嗯啊| 九色PORNY9l原创自拍| 91黑丝少妇| 97精品国产精品免费观看| 91熟女网| 日日干天天干夜夜爽| 一级@啪啪视频| 五月丁香婷婷色| 蜜臀精品1区2区| 淫色网综合| 丝袜视频网国产90| 女性91网站| 欧美大香蕉专区网| 中文字幕在线观看丝袜| 5252色欧美在线| 96精品久久久| 精品78| 日韩成年人性爱视频| 天天做日日做天天欢。| 欧美性天天影视| 骚人妻少妇视频| 97天天| 国产亚洲中文不卡二区| 天堂蜜桃无码视频一区二区| 国产一区二区久久| 国产日韩美女小穴视频网站不卡| 亚洲精品97| 色情乱伦AV| 久久欧洲| 麻豆精品.欧美精品.日韩精品.| 亚洲欧美97| 免费作爱一级视频| 香蕉99秘 精品一区丁香| 日韩精品人妻中文字幕不卡乱码| 草草电影院| 久久久久久AV无码免费网站| 美女AV一区二区| 97精品视频| 亚洲无码99| 岛国不卡超碰护士AV在线播放| 嗯嗯不要视频| 亚洲乱码尤物193YW| 人妻天天爽夜夜爽精品2| 亚洲凸凹超碰成人| 亚洲精品一二牛牛| 中文字幕成人| 欧美,亚洲,日韩,v,天堂,手机在线观看 | 超碰九7| 日韩人成网站在线播放| 中文字幕国产精品1区| 性欧美第一页| 国产91精品福利在线| 啊啊啊97视频| 日本熟妇浓毛hdsex| 成人资源中文字幕在线观看天天| 欧美青青草视频| 五十路六十路七十路熟婆| 狼人综合婷婷激情四射 | 成人精品久久久午夜福利| 日产狠狠干| 青青草好吊色| 六月丁香久久| 欧美丝袜中文字幕07在线| 竹菊影视国产一区二区| 9ⅰ久久久天天| 日韩美女操b| 中文字幕人妻色偷偷久久皮| 精品久久久av无码免费| 欧美男人一区| 嗯嗯啊啊操我| 天天综合网~69| 国产精选视频| 涩五月婷婷| 超碰97极品9| 五月天婷婷综合网| 精品久久久久综合无码| 欧亚洲精品有视频| 超碰97 线线 在现| 色婷婷丁香五月| 蜜臀久久99精品久久久久久无删减 | 碰碰97| 嗯啊啊啊轻点视频| 伊人网青青| 东北女人| 国产懂色精品国产av| 伊人网一本| 国产精品老师| 日本一区不卡| 男人的天堂成人的社区| 欧美1区二区三区公司| 性爱AV天堂| 岛国福利在线精品播放| 中文字幕超碰CAO| 亚洲精品官网在线观看| 欧中美三级一区二区三区| 婷婷五月天成人网| 国产精品一区二区a| 天天夜夜久久| 欧美日韩岛国大片在线观看| 精品无人区麻豆乱码1区2区图片| 免费黄色视频网址| 秋霞免费无码视频日韩A片| 96免费视频在线| 九九综合久久| 亚洲精品99999| 亚洲涩涩| 99啪啪| 男啪女色黄无遮挡免费观看| 中文字幕十五区| 多乙久久久久久| 九九九九热| 亚洲97p| 激情第四色| 国产精品国产亚洲区艳妇糸列| 97热视频在线观看| AV九九| 18禁无码永久免费无限制| 欧美色图在线视频少妇| 丁香五月天社区| 亚洲第一黄色av网站| 99re这里只有| 色偷综合| 久操综合在线| 亚欧性爱ab| 日韩欧无码一区二区三区免费不卡| 人妻黑丝袜电影| 99热这里都是精品| av天堂天堂av日韩| 欧美亚洲今日在线| 欧美色图亚洲色图成人在在线| 综合久久六月久久婷婷| 久久久久久久97| julia ann久久| 歐美一級亂黃99在綫精品| www.99在线| 国产一区二区三区视频在线看| 蜜臀久久99精品久久久久久酒店| 神马久久网| 美女超碰978| 成人免费在线网站| 国产人妖的免费的视频| 欧美 亚洲| 人人操人人精品影片| 少妇蹲下露出大唇5| 天美传媒AV国产在线| 精品一区二区三区最新| 国产欧美亚洲精品a第2页| 久久久久亚洲av综合波多野制衣| 另类欧美色| 久久一二三四不卡 | 蜜桃传媒一区二区亚洲| 这里只有精品视频在线观看麻豆| 男人的天堂 在线一区| 日本一卡二区在线| 黄色片G G G| 麻豆AV短剧| 欧美97日韩| 国产黄a三级三级三级av在线看| 91操操| hd成人一区二区在线| 青娱乐国产盛宴视频| 久久精品 六十路 熟女 欧美| 91色拍| 欧美色网络| 欧美偷拍| 天天天干977| 97资源亚洲| 99热精品在线观看| 黄久在线| 我中文字幕6区| 操逼999| 人人噜夜夜操| 亚洲的天堂网| 亚洲涩涩| 女上位精品在线| 中文字幕78| 4虎在线视频| 中文字幕人乱码中文字的预防方法 | AV乱伦专区| 秋霞一集毛片观看| 狠狠操官网| 欧亚性爱在线视频| 91爆操视频|