不說(shuō)廢話先直接給結(jié)論DualDiff3D 這篇文章核心解決的是3D Gaussian Splatting3DGS在稀疏視角、不完整采集條件下重建可靠性不足的問(wèn)題。它把擴(kuò)散模型拆成兩個(gè)先驗(yàn)——一個(gè)管結(jié)構(gòu)一個(gè)管外觀分別補(bǔ)幾何一致性和紋理細(xì)節(jié)最終提升新視角合成的穩(wěn)定度。適合正在做三維重建、新視角合成、輻射場(chǎng)與擴(kuò)散模型結(jié)合方向的讀者尤其適合被“視角一少就漂移、紋理一復(fù)雜就模糊”折磨過(guò)的人。這類(lèi)工作的價(jià)值不在于又套了一個(gè) diffusion 模塊而在于它把“擴(kuò)散模型到底該在哪里介入”這件事拆開(kāi)了不是在渲染層面強(qiáng)行修圖而是在優(yōu)化層面提供約束。下面按實(shí)際理解順序拆一遍。1. 先搞清楚它到底在解決 3D 重建里的什么痛點(diǎn)1.1 普通 3DGS 和 NeRF 在稀疏視角下最穩(wěn)不住的是什么做過(guò) 3D 重建的人都有這種經(jīng)驗(yàn)輸入視角密集、覆蓋均勻NeRF 和 3DGS 都能出不錯(cuò)的結(jié)果一旦視角變稀疏或者采集時(shí)物體本身有遮擋、有反光區(qū)域問(wèn)題就集中爆發(fā)。最典型的三個(gè)現(xiàn)象幾何漂移看不見(jiàn)的區(qū)域模型開(kāi)始自由發(fā)揮點(diǎn)云或高斯分布出現(xiàn)漂浮物、凸起、空洞。紋理模糊渲染出來(lái)的新視角看起來(lái)像蒙了一層霧高頻細(xì)節(jié)丟失。多視角不一致同一個(gè)點(diǎn)在不同視角下顏色不一致切換視角時(shí)能看到明顯的“閃爍”或“跳變”。3DGS 雖然渲染速度快、訓(xùn)練收斂也快但它本質(zhì)上仍然依賴輸入視角覆蓋質(zhì)量。視角不足時(shí)高斯分布缺少可靠監(jiān)督它只能用附近像素去猜。這個(gè)“猜”的過(guò)程如果沒(méi)有任何先驗(yàn)約束結(jié)果就不可控。DualDiff3D 的切入點(diǎn)就在這里與其讓模型從頭猜不如把擴(kuò)散模型學(xué)過(guò)的自然圖像分布作為先驗(yàn)約束。而且它不是拿一個(gè)籠統(tǒng)的擴(kuò)散模型做整體正則化而是把結(jié)構(gòu)和外觀拆成兩個(gè)獨(dú)立先驗(yàn)各自負(fù)責(zé)一個(gè)維度的穩(wěn)定。1.2 為什么單獨(dú)一個(gè)擴(kuò)散先驗(yàn)不夠只看標(biāo)題里的“Dual”會(huì)覺(jué)得奇怪?jǐn)U散模型不是已經(jīng)有很強(qiáng)的生成先驗(yàn)了嗎為什么還要兩個(gè)實(shí)際原因很現(xiàn)實(shí)。三維重建失敗的來(lái)源是分維度的結(jié)構(gòu)出了問(wèn)題通常是視角覆蓋不夠或深度估計(jì)失敗模型在幾何層面亂膨脹。外觀出了問(wèn)題通常是材質(zhì)反射、遮擋、光照變化模型在顏色層面與真實(shí)分布偏離。一個(gè)統(tǒng)一的擴(kuò)散先驗(yàn)往往只能約束“渲染出來(lái)的圖像像不像真實(shí)照片”但對(duì)幾何錯(cuò)亂的約束能力比較弱。因?yàn)閳D像層面的分布其實(shí)已經(jīng)被渲染管線“洗過(guò)一遍”很多幾何錯(cuò)誤在投影成圖像之后看起來(lái)并不明顯只有轉(zhuǎn)視角才暴露。DualDiff3D 的做法是結(jié)構(gòu)擴(kuò)散先驗(yàn)作用在深度或幾何相關(guān)表達(dá)上直接約束高斯分布的空間位置和形狀。外觀擴(kuò)散先驗(yàn)仍然作用在渲染圖像上約束顏色和紋理的真實(shí)性。兩條線并行一個(gè)管位置對(duì)不對(duì)一個(gè)管顏色真不真。這樣分類(lèi)處理比單一先驗(yàn)更容易定位問(wèn)題歸屬。1.3 這篇文章適合誰(shuí)如果你是搞三維重建算法研究的看點(diǎn)是它怎么設(shè)計(jì)兩個(gè)先驗(yàn)的融合方式怎么避免擴(kuò)散噪聲破壞幾何優(yōu)化。如果你是做工程落地的尤其在無(wú)人機(jī)傾斜攝影、物體級(jí)掃描、電商商品建模這類(lèi)場(chǎng)景看點(diǎn)是判斷標(biāo)準(zhǔn)到底需要多少視角、輸入圖像要達(dá)到什么質(zhì)量、輸出可靠性怎么衡量。如果你是剛接觸 3DGS 的學(xué)生這篇文章可以先不摳公式先把它當(dāng)作“如何在生成式先驗(yàn)約束下增強(qiáng) 3DGS 魯棒性”的典型樣例來(lái)理解。2. 結(jié)構(gòu)先驗(yàn)和外觀先驗(yàn)是怎么配合的2.1 結(jié)構(gòu)先驗(yàn)到底約束什么先說(shuō)一個(gè)容易被混淆的點(diǎn)結(jié)構(gòu)先驗(yàn)不是重建整個(gè)三維模型而是約束三維表達(dá)的局部和全局結(jié)構(gòu)一致性。在 3DGS 框架里場(chǎng)景由一堆三維高斯分布表示。每個(gè)高斯有自己的位置、旋轉(zhuǎn)、尺度、顏色和不透明度。結(jié)構(gòu)可靠性問(wèn)題本質(zhì)上就是這些高斯的空間分布是否合理。DualDiff3D 的結(jié)構(gòu)擴(kuò)散先驗(yàn)核心思想是將高斯分布的空間屬性轉(zhuǎn)化為某種可被擴(kuò)散模型約束的結(jié)構(gòu)表征比如深度圖、法向圖或者密度圖。擴(kuò)散模型對(duì)這類(lèi)結(jié)構(gòu)表征進(jìn)行去噪打分把“不符合真實(shí)三維結(jié)構(gòu)分布”的方向標(biāo)記為高噪聲方向從而在優(yōu)化時(shí)壓低這種錯(cuò)誤分布的出現(xiàn)概率。用大白話說(shuō)模型每更新一次高斯參數(shù)就會(huì)生成一版結(jié)構(gòu)推測(cè)這版結(jié)構(gòu)先要被擴(kuò)散模型按“真實(shí)結(jié)構(gòu)分布”打分如果分?jǐn)?shù)低說(shuō)明這次更新把結(jié)構(gòu)推歪了需要在下一個(gè)迭代里拉回來(lái)。這里的關(guān)鍵點(diǎn)是時(shí)序。結(jié)構(gòu)先驗(yàn)不能只在第一步生效也不能只在最后一步生效而是要伴隨整個(gè)優(yōu)化過(guò)程持續(xù)介入。擴(kuò)散模型的噪聲水平要隨著訓(xùn)練推進(jìn)逐步衰減一開(kāi)始允許較大偏差后期收緊約束。2.2 外觀先驗(yàn)在補(bǔ)什么信息外觀先驗(yàn)相對(duì)好理解它約束的是渲染圖像與真實(shí)圖像分布的一致性。稀疏視角下經(jīng)常出現(xiàn)的情況是某個(gè)視角渲染出來(lái)的紋理是“合理但不真實(shí)”的。比如墻面紋理想當(dāng)然地平均化玻璃反光糊成一團(tuán)草地的細(xì)節(jié)全部消失。外觀擴(kuò)散先驗(yàn)的作用相當(dāng)于一個(gè)質(zhì)量審查員它判斷當(dāng)前渲染結(jié)果是否落在真實(shí)圖像流形上如果不是就給出一個(gè)修正方向。文章思路里比較有價(jià)值的一點(diǎn)是外觀先驗(yàn)不需要依賴絕對(duì)精確的像素級(jí)標(biāo)簽它依賴的是分布層面的約束。這意味著模型可以從整體數(shù)據(jù)分布中受益即便單個(gè)視角覆蓋不完整。實(shí)際訓(xùn)練時(shí)外觀先驗(yàn)可以直接對(duì)渲染的圖像做去噪打分也可以和感知損失、LPIPS 這類(lèi)指標(biāo)組合使用。前者提供分布約束后者提供結(jié)構(gòu)一致性約束兩者組合后紋理輸出會(huì)更穩(wěn)。2.3 兩個(gè)先驗(yàn)如何融合門(mén)控、加權(quán)與噪聲水平目前公開(kāi)信息里沒(méi)有非常詳細(xì)的融合公式很多細(xì)節(jié)要等開(kāi)源代碼和補(bǔ)充材料確認(rèn)。但從此類(lèi)工作的通用做法看有三個(gè)點(diǎn)值得關(guān)注融合方式。常見(jiàn)做法包括直接把兩個(gè)先驗(yàn)的梯度相加、加權(quán)相加或者用一個(gè)可學(xué)習(xí)的門(mén)控機(jī)制動(dòng)態(tài)決定每一步更信任哪個(gè)先驗(yàn)。結(jié)構(gòu)先驗(yàn)權(quán)重大模型會(huì)偏向幾何穩(wěn)定但可能過(guò)度平滑紋理。外觀先驗(yàn)權(quán)重大紋理細(xì)節(jié)保留好但結(jié)構(gòu)漂移可能管不住。最佳配比通常和輸入視角稀疏程度強(qiáng)相關(guān)。噪聲水平調(diào)度。擴(kuò)散先驗(yàn)里的噪聲水平是分階段變化的。初始階段噪聲水平高約束比較粗放后期噪聲水平低約束更精細(xì)。這個(gè)調(diào)度策略如果不匹配可能出現(xiàn)“前期把合理結(jié)構(gòu)當(dāng)噪聲削掉后期又來(lái)不及修正”的情況。投影一致性。結(jié)構(gòu)先驗(yàn)和外觀先驗(yàn)作用在不同空間一個(gè)在結(jié)構(gòu)圖空間一個(gè)在渲染圖像空間兩者之間需要有一個(gè)投影/反投影的銜接。這個(gè)銜接如果在梯度傳播上掉了鏈子兩個(gè)先驗(yàn)就會(huì)各管各的無(wú)法聯(lián)合收斂。注意自己復(fù)現(xiàn)這類(lèi)方法時(shí)第一優(yōu)先級(jí)不是調(diào)先驗(yàn)權(quán)重而是先把兩個(gè)先驗(yàn)的 projection 和 gradient checkpoint 確認(rèn)清楚。報(bào)錯(cuò)和效果差很多是因?yàn)樘荻葲](méi)有正確回傳到高斯參數(shù)上。3. 稀疏視角場(chǎng)景下的可靠性和關(guān)鍵參數(shù)3.1 輸入要求視角數(shù)量、重疊度、圖像質(zhì)量雖然 DualDiff3D 是針對(duì)稀疏視角增強(qiáng)設(shè)計(jì)的但這不意味著可以隨意降低采集標(biāo)準(zhǔn)。越稀疏對(duì)單張圖像質(zhì)量的要求反而越高。結(jié)合做三維重建的通用經(jīng)驗(yàn)給出一個(gè)相對(duì)穩(wěn)妥的判斷范圍條件相對(duì)穩(wěn)妥的配置容易出現(xiàn)問(wèn)題的配置輸入視角數(shù)量物體類(lèi)場(chǎng)景 10 到 30 張低于 6 張相鄰視角重疊大于 70%低于 50%圖像分辨率長(zhǎng)邊不低于 1000 像素長(zhǎng)邊低于 600 像素光照一致性均勻光照或分區(qū)域采集強(qiáng)高光、大面積陰影背景復(fù)雜度干凈背景優(yōu)先復(fù)雜動(dòng)態(tài)背景這些參數(shù)不是論文給的是我做重建項(xiàng)目時(shí)沉淀的判斷標(biāo)準(zhǔn)。擴(kuò)散先驗(yàn)可以彌補(bǔ)一部分信息缺失但彌補(bǔ)不了方向性的數(shù)據(jù)錯(cuò)誤。比如相鄰視角完全沒(méi)有重疊擴(kuò)散先驗(yàn)再怎么約束也無(wú)法決定兩個(gè)區(qū)域之間的相對(duì)位姿關(guān)系。3.2 判斷重建可靠性的驗(yàn)證方式可靠性不能只看單張新視角渲染漂不漂亮要拆成幾個(gè)維度來(lái)驗(yàn)證。第一多視角一致性。選幾個(gè)間隔較大的新視角連續(xù)播放切換觀察高斯點(diǎn)云是否有明顯跳變或閃爍。3DGS 方法在 dense view 下不容易露餡稀疏視角下才看得出來(lái)。第二幾何平整性。把重建后的深度圖或點(diǎn)云導(dǎo)出觀察物體表面是否有異常凸起、凹陷、漂浮點(diǎn)。擴(kuò)散先驗(yàn)正常情況下能壓住大片異常但不排除局部仍有抖動(dòng)。第三紋理保真度。用 LPIPS 或 FD 指標(biāo)評(píng)估渲染圖像與真實(shí)圖像分布差異。如果只有 PSNR 數(shù)字好看LPIPS 偏高說(shuō)明紋理比較“平均化”外觀先驗(yàn)可能沒(méi)有真正生效。驗(yàn)證維度推薦指標(biāo)或方法正常信號(hào)圖像質(zhì)量PSNR、SSIM、LPIPSPSNR 穩(wěn)中有升LPIPS 下降多視角一致性連續(xù)視角較長(zhǎng)時(shí)間觀察無(wú)明顯閃爍、跳變幾何可靠性深度圖導(dǎo)出檢查表面連續(xù)無(wú)漂浮物訓(xùn)練穩(wěn)定性Loss 曲線和先驗(yàn)打分變化噪聲分?jǐn)?shù)逐步下降不劇烈振蕩3.3 不同配置下的預(yù)期差別這里給的是經(jīng)驗(yàn)判斷不是精確實(shí)驗(yàn)數(shù)據(jù)落地時(shí)以你自己的環(huán)境為準(zhǔn)。輸入視角在 20 張以上時(shí)DualDiff3D 和普通 3DGS 的差距不會(huì)非常大。畢竟信息足夠多普通 3DGS 也能收斂到不錯(cuò)結(jié)果。這種場(chǎng)景下雙先驗(yàn)更像加了一層保險(xiǎn)。輸入視角在 8 到 15 張時(shí)效果差距最明顯。尤其是物體側(cè)視、背面視角缺失的情況下普通 3DGS 容易出現(xiàn)背景漂浮或區(qū)域塌陷DualDiff3D 依靠結(jié)構(gòu)先驗(yàn)?zāi)馨堰@些位置按“合理三維結(jié)構(gòu)”拉回來(lái)。輸入少于 6 張時(shí)不要期待完全重建。擴(kuò)散先驗(yàn)?zāi)鼙ＷC單個(gè)視角渲染看起來(lái)像一張真實(shí)照片但不同視角之間的空間關(guān)系可能仍存在不確定性。這種極端稀疏場(chǎng)景需要結(jié)合顯式幾何約束或額外深度信息不能只靠擴(kuò)散先驗(yàn)。3.4 顯存、內(nèi)存和訓(xùn)練時(shí)長(zhǎng)參考這類(lèi)方法比普通 3DGS 重的核心原因是多了一個(gè)擴(kuò)散模型的推理和梯度計(jì)算。如果你只是想跑通 Demo 驗(yàn)證效果常見(jiàn)配置下至少要有 12GB 顯存的顯卡。如果要處理較大場(chǎng)景或高分辨率圖像24GB 比較穩(wěn)妥。顯存不夠時(shí)優(yōu)先壓縮圖像分辨率再考慮減少擴(kuò)散先驗(yàn)的采樣步數(shù)。訓(xùn)練時(shí)長(zhǎng)的判斷標(biāo)準(zhǔn)也很直觀如果跑一個(gè) 20 張圖的室內(nèi)小場(chǎng)景普通 3DGS 可能只需要 20 到 30 分鐘DualDiff3D 這類(lèi)方法因?yàn)槎嗔艘宦窋U(kuò)散先驗(yàn)約束通常要慢不少。如果你在同一個(gè)場(chǎng)景里改成每步都跑完整擴(kuò)散采樣時(shí)間會(huì)進(jìn)一步拉長(zhǎng)。建議是前 500 次迭代用固定低采樣步數(shù)把場(chǎng)景大致輪廓拉出來(lái)。中段再引入高采樣步數(shù)讓先驗(yàn)約束精細(xì)化。后段再降低噪聲水平收緊結(jié)構(gòu)。注意第一步線性收斂比準(zhǔn)確率更重要。先不要開(kāi)高步數(shù)否則整體訓(xùn)練時(shí)間會(huì)膨脹到不可接受。4. 從原理到落地復(fù)現(xiàn)時(shí)的關(guān)鍵環(huán)節(jié)和常見(jiàn)問(wèn)題4.1 復(fù)現(xiàn)路徑要先拆成兩步先跑通再調(diào)優(yōu)這類(lèi)工作涉及模塊比較多建議不要一上來(lái)就處理完整功能的端到端復(fù)現(xiàn)。我的習(xí)慣是分兩層走第一層跑通基礎(chǔ) 3DGS。確認(rèn)環(huán)境、依賴、數(shù)據(jù)集格式、COLMAP 或 NeRF-Synthetic 數(shù)據(jù)加載方式、損失函數(shù)以及渲染管線都正常。第二層把擴(kuò)散先驗(yàn)?zāi)K剝離出來(lái)單獨(dú)驗(yàn)證。先用單張渲染圖測(cè)試得分是否正確、噪聲預(yù)測(cè)是否合理再逐步接入完整訓(xùn)練流程。這樣如果最終效果不對(duì)你不需要在幾十個(gè)模塊里定位直接排查先驗(yàn)?zāi)K即可。如果輸入是 NeRF-Synthetic 這類(lèi)合成數(shù)據(jù)集問(wèn)題通常出在相機(jī)參數(shù)讀取上。如果輸入是真實(shí)拍攝數(shù)據(jù)COLMAP 的稀疏重建結(jié)果會(huì)直接影響后續(xù) 3DGS 的初始化這一步不建議直接跳過(guò)。4.2 偽影依然存在的幾種情況不要以為加了雙先驗(yàn)就萬(wàn)事大吉。即使復(fù)現(xiàn)成功仍然有一些邊界情況會(huì)出現(xiàn)偽影。強(qiáng)鏡面反射區(qū)域。這類(lèi)區(qū)域在稀疏視角下天然缺少真實(shí)數(shù)據(jù)擴(kuò)散先驗(yàn)只能按“看起來(lái)合理的材質(zhì)”補(bǔ)但合理性不等于真實(shí)性。比如鏡面上反射的物體可能與場(chǎng)景其他部分不一致。透明物體和細(xì)薄結(jié)構(gòu)。3DGS 底層表達(dá)對(duì)這類(lèi)幾何本來(lái)就不友好。結(jié)構(gòu)先驗(yàn)?zāi)芴峁┮欢ǖ膸缀渭s束但無(wú)法完全解決透明度的非剛性變化。輸入圖像本身質(zhì)量差。如果采集時(shí)存在運(yùn)動(dòng)模糊、過(guò)曝、欠曝?cái)U(kuò)散先驗(yàn)會(huì)傾向于生成“銳利但錯(cuò)誤”的細(xì)節(jié)。它不會(huì)幫你修復(fù)輸入噪聲反而可能放大錯(cuò)誤結(jié)構(gòu)。碰到這些情況優(yōu)先做的不是調(diào)先驗(yàn)權(quán)重而是檢查輸入數(shù)據(jù)的分布一致性。真實(shí)拍攝時(shí)要確保同一物體各視角亮度、白平衡不要差別太大。4.3 參數(shù)和調(diào)度策略的經(jīng)驗(yàn)建議目前還不確定作者是否會(huì)開(kāi)源完整實(shí)現(xiàn)下面給的是通用調(diào)參思路不適合作為精確參數(shù)使用。先驗(yàn)介入強(qiáng)度設(shè)計(jì)上優(yōu)先考慮漸進(jìn)式退火。訓(xùn)練初期重建輸出非常粗糙這時(shí)候先驗(yàn)給強(qiáng)約束可以穩(wěn)住整體結(jié)構(gòu)中后期重建能力增強(qiáng)先驗(yàn)退到弱約束避免抑制原本可以學(xué)到的細(xì)節(jié)。這種退火策略比固定權(quán)重更容易獲得穩(wěn)定結(jié)果。擴(kuò)散采樣步數(shù)方面不要在訓(xùn)練全程都使用高步數(shù)。如果每個(gè)迭代都跑 50 步 DDIM訓(xùn)練時(shí)間會(huì)急劇膨脹。比較合理的方式是把步數(shù)控制在 5 到 20 步之間并在邊界處做插值退火。結(jié)構(gòu)先驗(yàn)的輸入不能直接用渲染 RGB 圖。需要先做一步深度或視差估計(jì)即使不準(zhǔn)也比直接用 RGB 效果好。如果用 RGB 圖作為結(jié)構(gòu)先驗(yàn)的輸入它與外觀先驗(yàn)的區(qū)分度會(huì)大幅減小。4.4 常見(jiàn)報(bào)錯(cuò)和排查鏈路這一類(lèi)方法報(bào)錯(cuò)絕大多數(shù)不是模型代碼問(wèn)題而是數(shù)據(jù)、環(huán)境、內(nèi)存和維度問(wèn)題?？偨Y(jié)一條排查鏈路現(xiàn)象第一步排查第二步排查第三步排查訓(xùn)練啟動(dòng)崩CUDA 版本和 PyTorch 是否匹配3DGS 底層庫(kù)是否編譯成功數(shù)據(jù)集的相機(jī)參數(shù)是否正常加載跑幾步顯存溢出降低圖像分辨率降低擴(kuò)散采樣步數(shù)關(guān)閉無(wú)關(guān)日志和驗(yàn)證渲染輸出全黑/全白檢查渲染管線是否收到有效高斯參數(shù)檢查深度投影范圍是否合理檢查擴(kuò)散先驗(yàn)打分是否正則化過(guò)強(qiáng)單視角正常切視角就炸檢查相機(jī)位姿是否準(zhǔn)確檢查結(jié)構(gòu)先驗(yàn)是否產(chǎn)生了重復(fù)約束檢查高斯分布的初始化范圍訓(xùn)練不收斂Loss 來(lái)回跳降低先驗(yàn)權(quán)重的初始值減少擴(kuò)散采樣步數(shù)先關(guān)閉外觀先驗(yàn)只看結(jié)構(gòu)先驗(yàn)是否工作從實(shí)際經(jīng)驗(yàn)看最多的問(wèn)題集中在兩點(diǎn)一個(gè)是相機(jī)參數(shù)與數(shù)據(jù)集格式不匹配另一個(gè)是梯度沒(méi)有正確回傳到高斯參數(shù)。前者表現(xiàn)為打開(kāi)程序就報(bào)錯(cuò)或訓(xùn)練中 Loss 始終下不來(lái)后者表現(xiàn)為 Loss 一直下降但渲染效果很差類(lèi)似管住了損失函數(shù)沒(méi)管住三維表達(dá)。4.5 什么時(shí)候不該用 DualDiff3D這個(gè)方法是有適用邊界的。它面向的是重建可靠性不足的場(chǎng)景而不是所有 3DGS 任務(wù)都用得上。如果你手里已經(jīng)有稠密的多視角數(shù)據(jù)覆蓋均勻而且采集質(zhì)量好直接用普通 3DGS 或帶一點(diǎn)正則化的版本就夠了。雙擴(kuò)散先驗(yàn)不僅增加訓(xùn)練時(shí)間還可能因?yàn)橄闰?yàn)強(qiáng)度控制不好把原本能學(xué)習(xí)的細(xì)節(jié)平滑掉。如果任務(wù)是實(shí)時(shí)渲染端側(cè)部署那么模型推理成本更重要這類(lèi)訓(xùn)練階段的重型先驗(yàn)不適合直接做成線上方案。但可以用它離線生成高質(zhì)量偽標(biāo)注用來(lái)蒸餾一個(gè)輕量模型。如果你的輸入只有兩三張圖連相機(jī)位姿都不確定那先別急著上 DualDiff3D先解決位姿估計(jì)和幾何初始化的問(wèn)題。擴(kuò)散先驗(yàn)不能憑空生成三維結(jié)構(gòu)。4.6 后續(xù)方向穩(wěn)定視頻擴(kuò)散、CFG 類(lèi)控制也是同一條鏈路擴(kuò)散先驗(yàn)增強(qiáng)重建這個(gè)方向當(dāng)前還在快速演進(jìn)。從相關(guān)熱詞來(lái)看stable video diffusion、CFG-ctrl 這類(lèi)受控生成技術(shù)都被視為同一條鏈路里的工具。一個(gè)合理的擴(kuò)展方向是不只是用擴(kuò)散模型做單張圖像約束而是生成多視角一致的視頻幀作為動(dòng)態(tài)外觀先驗(yàn)。這樣可以在時(shí)間維度上進(jìn)一步約束 3DGS 的動(dòng)態(tài)場(chǎng)景重建。另一個(gè)方向是控制型引導(dǎo)。CFG 類(lèi)方法可以通過(guò)可調(diào)控制信號(hào)讓擴(kuò)散模型在“遵循輸入結(jié)構(gòu)”和“保持生成真實(shí)性”之間切換。如果能把這些控制信號(hào)接入 DualDiff3D 的門(mén)控機(jī)制理論上可以做到針對(duì)不同輸入質(zhì)量自動(dòng)適配先驗(yàn)強(qiáng)度。不過(guò)這些都是后續(xù)研究了?，F(xiàn)階段最值得關(guān)注的仍然是先把兩個(gè)先驗(yàn)各自的職責(zé)、輸入輸出、梯度路徑和調(diào)度機(jī)制理解清楚再用小數(shù)據(jù)集驗(yàn)證可靠性提升。能把這一步做好這篇工作的核心價(jià)值就已經(jīng)吃透了。最后留幾個(gè)自己實(shí)操時(shí)會(huì)優(yōu)先盯住的點(diǎn)先驗(yàn)約束是否隨訓(xùn)練動(dòng)態(tài)退火。結(jié)構(gòu)先驗(yàn)是否作用在幾何表達(dá)上而不是簡(jiǎn)單代理到 RGB。兩個(gè)先驗(yàn)是否共享同一套噪聲調(diào)度。稀疏視角下的可靠性是否用多視角一致性和幾何平整度驗(yàn)證過(guò)。輸入數(shù)據(jù)本身是否方向性地錯(cuò)誤。這套思路不止適用于 3DGS。凡是生成式先驗(yàn)和顯式三維表達(dá)結(jié)合的任務(wù)都可以用同樣的方式去判斷優(yōu)劣先驗(yàn)到底約束了哪個(gè)維度約束強(qiáng)度是否可控梯度是否能回傳可靠性是否經(jīng)得起換視角驗(yàn)證。搞懂這四條比記住任何一條現(xiàn)成結(jié)論都管用。