參考Hydra、ChatGPTHydra 教程一為什么機(jī)器人需要三維場(chǎng)景圖SLAMSimultaneous Localization and Mapping同時(shí)定位與建圖可以估計(jì)機(jī)器人走過(guò)的軌跡也可以重建周圍幾何但機(jī)器人若要執(zhí)行“去會(huì)議室找打印機(jī)”這樣的任務(wù)還必須知道哪些表面屬于同一個(gè)物體、哪些自由空間彼此連通、物體屬于哪個(gè)房間以及地圖在回環(huán)校正后怎樣保持這些關(guān)系一致。Hydra 的目標(biāo)就是在度量地圖之上實(shí)時(shí)建立并維護(hù)這種多層空間表示。本篇只回答三個(gè)基礎(chǔ)問(wèn)題為什么 SLAM 地圖不能直接承擔(dān)全部空間推理動(dòng)態(tài)三維場(chǎng)景圖究竟保存什么Hydra 怎樣把局部傳感器觀測(cè)逐步變成可查詢、可校正的全局結(jié)構(gòu)讀完本篇后讀者應(yīng)能說(shuō)清 Hydra 在機(jī)器人系統(tǒng)中的職責(zé)邊界并知道后續(xù)每篇文章解決哪一個(gè)尚未解決的問(wèn)題。1. SLAM 解決了定位和幾何但沒(méi)有自動(dòng)得到任務(wù)語(yǔ)義典型 SLAM 系統(tǒng)主要估計(jì)兩類結(jié)果機(jī)器人軌跡 {TWB(t)}和環(huán)境地圖 M \text{機(jī)器人軌跡 } \{\mathbf{T}_{WB}(t)\} \quad\text{和}\quad \text{環(huán)境地圖 } \mathcal{M}機(jī)器人軌跡{TWB?(t)}和環(huán)境地圖M其中TWB(t)\mathbf{T}_{WB}(t)TWB?(t)表示時(shí)刻ttt機(jī)器人機(jī)體坐標(biāo)系BBB到世界坐標(biāo)系WWW的位姿M\mathcal{M}M可以是特征點(diǎn)、點(diǎn)云、體素、網(wǎng)格或占據(jù)柵格。這些結(jié)果對(duì)定位和避障很重要卻不會(huì)自動(dòng)回答下面的問(wèn)題。下表中的 Object 指可獨(dú)立引用的物體實(shí)例Place 指自由空間骨架上的稀疏代表位置Room 指由一組 Places 組織出的房間實(shí)例這些表示將在后文正式定義。任務(wù)問(wèn)題僅有軌跡和幾何時(shí)還缺少什么“打印機(jī)在哪里”哪些表面屬于同一個(gè)打印機(jī)實(shí)例“打印機(jī)在哪個(gè)房間”O(jiān)bject、Place 和 Room 之間的歸屬關(guān)系“從辦公室能否到會(huì)議室”自由空間的稀疏連通結(jié)構(gòu)而不只是表面點(diǎn)“前方還有哪里沒(méi)探索”已知可達(dá)空間和未知空間的邊界“回到起點(diǎn)后為什么出現(xiàn)兩份辦公室”回環(huán)約束以及幾何、實(shí)體和層級(jí)的聯(lián)合校正這不是 SLAM 做得不夠好而是問(wèn)題層次不同。SLAM 首先解決“機(jī)器人和幾何在哪里”任務(wù)規(guī)劃還需要“這里有什么、彼此什么關(guān)系、應(yīng)該通過(guò)哪些空間到達(dá)”。Hydra 消費(fèi)上游定位結(jié)果和傳感器觀測(cè)在其上構(gòu)建面向空間推理的表示。這種把抽象概念連接到實(shí)際物理實(shí)體的過(guò)程稱為符號(hào)落地。例如命令中的“打印機(jī)”只是一個(gè)符號(hào)機(jī)器人必須把它對(duì)應(yīng)到地圖中的某個(gè)三維實(shí)例、位置和所屬房間這個(gè)符號(hào)才真正能夠指導(dǎo)行動(dòng)。2. 同一個(gè)環(huán)境為什么需要多種表示假設(shè)機(jī)器人進(jìn)入一間辦公室看到墻、地面、桌子、椅子和打印機(jī)。不同表示回答的問(wèn)題不同。2.1 度量表示保存精確幾何度量表示中的位置和距離具有真實(shí)物理尺度。例如體素邊長(zhǎng)是0.1 m0.1\,\text{m}0.1m網(wǎng)格頂點(diǎn)具有世界坐標(biāo)機(jī)器人可以計(jì)算自己離墻還有多遠(yuǎn)。Hydra 使用的底層度量表示包括TSDFTruncated Signed Distance Field截?cái)嘤蟹?hào)距離場(chǎng)融合多幀深度并描述觀測(cè)表面附近的截?cái)嘤蟹?hào)距離。語(yǔ)義體素把類別證據(jù)與體素幾何共同融合。三角網(wǎng)格把隱式距離場(chǎng)轉(zhuǎn)成可顯示、可分割的顯式表面。ESDFEuclidean Signed Distance Field歐氏有符號(hào)距離場(chǎng)給自由空間位置提供到障礙的歐氏距離。GVDGeneralized Voronoi Diagram廣義 Voronoi 圖在 ESDF 中找出同時(shí)受多個(gè)障礙表面限制的位置形成自由空間中軸骨架。這些表示精確卻非常密集。機(jī)器人若要查詢“辦公室里有哪些對(duì)象”不應(yīng)該每次都掃描數(shù)百萬(wàn)體素或網(wǎng)格頂點(diǎn)。2.2 語(yǔ)義地圖告訴機(jī)器人“這是什么”語(yǔ)義地圖在幾何位置上附加類別信息例如墻、地面、椅子或打印機(jī)。它把“這里存在表面”推進(jìn)到“這里可能是某一類表面”。但逐點(diǎn)或逐體素標(biāo)簽仍然是扁平表示。它可能有許多chair頂點(diǎn)卻沒(méi)有明確說(shuō)明這些頂點(diǎn)屬于一把椅子還是兩把椅子也沒(méi)有表示椅子和房間的關(guān)系。2.3 實(shí)例與關(guān)系讓語(yǔ)義能夠被查詢?yōu)榱俗寵C(jī)器人引用一個(gè)具體實(shí)體需要把許多底層證據(jù)聚合成一個(gè)實(shí)例節(jié)點(diǎn)許多 chair 網(wǎng)格頂點(diǎn) - Object O7 許多自由空間骨架體素 - Place p12 一組相互連通的 Places - Room R2節(jié)點(diǎn)解決“有哪些實(shí)體”邊解決“實(shí)體之間有什么關(guān)系”。例如O7 -- p12 對(duì)象以哪個(gè)自由空間位置作為空間錨點(diǎn) p12 -- p13 兩個(gè)自由空間代表位置之間存在連接 R2 -- p12 這個(gè) Place 被分配到哪個(gè) Room2.4 拓?fù)浔硎緣嚎s“怎樣連通”這里的拓?fù)渲饕高B通關(guān)系。兩條走廊即使長(zhǎng)度略有誤差只要連接結(jié)構(gòu)沒(méi)有改變拓?fù)淙钥梢员３忠恢?。Hydra 的 Places 圖把連續(xù)自由空間壓縮成稀疏節(jié)點(diǎn)和邊節(jié)點(diǎn)代表自由空間骨架上的位置邊代表底層幾何證據(jù)支持的連接。它不取代精確地圖而是讓路徑搜索、房間發(fā)現(xiàn)和回環(huán)描述不必直接處理全部體素。所以 Hydra 并不是在幾種地圖中選擇一種而是讓它們分工體素和 Mesh保留幾何精度 Objects表達(dá)可引用實(shí)體 Places表達(dá)自由空間拓?fù)?Rooms / Building表達(dá)更高層空間組織 Agents表達(dá)機(jī)器人經(jīng)過(guò)這些空間的時(shí)間軌跡3. 動(dòng)態(tài)三維場(chǎng)景圖到底是什么在時(shí)刻ttt可以把 Hydra 的動(dòng)態(tài)場(chǎng)景圖寫(xiě)成Gt(Vt,Et,At,Mt) \mathcal{G}_t(\mathcal{V}_t,\mathcal{E}_t,\mathcal{A}_t,\mathcal{M}_t)Gt?(Vt?,Et?,At?,Mt?)其中Vt\mathcal{V}_tVt?是節(jié)點(diǎn)集合例如 Objects、Places、Agents、Rooms 和 Building。Et\mathcal{E}_tEt?是邊集合表示同層鄰接或跨層歸屬。At\mathcal{A}_tAt?是節(jié)點(diǎn)和邊的屬性例如位置、語(yǔ)義類別、清障距離和時(shí)間戳。Mt\mathcal{M}_tMt?是掛在圖上的全局三角網(wǎng)格它提供稠密幾何證據(jù)但網(wǎng)格頂點(diǎn)不需要全部成為普通圖節(jié)點(diǎn)。下標(biāo)ttt不表示每一幀保存一份完整圖副本而表示同一張圖會(huì)隨著新觀測(cè)、歸檔、節(jié)點(diǎn)合并和后端優(yōu)化持續(xù)變化。3.1 DSG 是分層圖但不是一棵樹(shù)DSG 是Dynamic Scene Graph的縮寫(xiě)中文可譯為動(dòng)態(tài)場(chǎng)景圖。它具有層級(jí)關(guān)系卻不能簡(jiǎn)單畫(huà)成一棵樹(shù)因?yàn)槊恳粚觾?nèi)部還可能有橫向邊和回路。例如Building B0 | Room R0 ----- Room R1 / \ | p0 -- p1 ------ p2 | | O3 O4B0 - R0是高層到低層的包含關(guān)系。R0 -- R1是兩個(gè)房間的鄰接關(guān)系。p0 -- p1 -- p2是自由空間拓?fù)洹0 - O3表示 Object 與附近 Place 的跨層錨定。只要存在p0--p1--p2--p0一類同層回路整張圖就不是樹(shù)。層次只規(guī)定不同抽象尺度怎樣組織不要求刪除同層拓?fù)洹?.2 Layer 和 partition 分別解決什么問(wèn)題Layer按實(shí)體的抽象層次組織節(jié)點(diǎn)partition則允許同一層號(hào)中保存生成方式或所有者不同的子圖。當(dāng)前 C 倉(cāng)庫(kù)的默認(rèn)命名層可以概括為名稱默認(rèn)層鍵一個(gè)節(jié)點(diǎn)表示什么主要證據(jù)來(lái)源OBJECTS(2,0)(2,0)(2,0)一個(gè)三維語(yǔ)義對(duì)象實(shí)例語(yǔ)義 Mesh 頂點(diǎn)聚類AGENTS層號(hào) 2、按機(jī)器人前綴分區(qū)機(jī)器人在某個(gè)時(shí)刻的離散位姿上游里程計(jì)或位姿圖PLACES(3,0)(3,0)(3,0)三維自由空間骨架代表位置ESDF、GVD 和圖壓縮MESH_PLACES(3,1)(3,1)(3,1)指定語(yǔ)義表面的二維區(qū)域Mesh 分割、邊界和橢圓近似ROOMS(4,0)(4,0)(4,0)一組 Places 形成的幾何房間Places 圖的多尺度聚類BUILDINGS(5,0)(5,0)(5,0)當(dāng)前 Rooms 的頂層聚合Room 集合OBJECTS和AGENTS共享層號(hào) 2卻位于不同分區(qū)PLACES和MESH_PLACES共享層號(hào) 3也位于不同分區(qū)。因此層號(hào)相同不表示它們是同一種節(jié)點(diǎn)partition 也不表示父子高低關(guān)系。Frontier前沿表示已知可達(dá)空間旁邊、值得繼續(xù)觀測(cè)的未知邊界候選。當(dāng)前實(shí)現(xiàn)把 Frontier 節(jié)點(diǎn)放入PLACES層但用屬性區(qū)分它不是由 GVD 產(chǎn)生的真實(shí) Place。這樣探索模塊可以把未知邊界候選連接到真實(shí) Places 圖而不必再建立一套完全獨(dú)立的導(dǎo)航骨架。3.3 同層邊與跨層邊不能按同一種語(yǔ)義解釋同層邊連接同一個(gè)層鍵中的節(jié)點(diǎn)Place–Place 邊表示自由空間連接并可攜帶路徑瓶頸清障值。Agent–Agent 邊表示軌跡狀態(tài)之間的圖連接。Room–Room 邊表示底層 Places 存在跨房間鄰接?？鐚舆呥B接不同抽象尺度Room–Place 表示幾何房間成員關(guān)系。Place–Object 表示對(duì)象的空間錨點(diǎn)。Building–Room 表示頂層包含關(guān)系。同一個(gè)通用EdgeAttributes類型可以在不同層承載不同意義所以不能看到weight就假定它一定是歐氏距離也不能把所有跨層邊都當(dāng)作傳感器直接測(cè)量。每類邊都有自己的證據(jù)來(lái)源和接受條件。4. Hydra 怎樣從觀測(cè)逐層得到這些節(jié)點(diǎn)高層節(jié)點(diǎn)不是由一個(gè)神經(jīng)網(wǎng)絡(luò)一次性輸出。Hydra 同時(shí)維護(hù)幾何鏈、語(yǔ)義鏈和軌跡鏈再通過(guò)圖邊把它們連接起來(lái)。Object--Room 圖Room 鄰接跨層錨定可配置錨定上游位姿 / 里程計(jì)局部重建深度圖或點(diǎn)云像素或點(diǎn)語(yǔ)義TSDF / 語(yǔ)義體素度量-語(yǔ)義 MeshESDF / GVDObjectsMesh PlacesPlacesAgentsFrontiersRoomsBuildingNeural Tree 房間類別這張圖中有幾個(gè)必須從一開(kāi)始就明確的邊界。**第一機(jī)器人位姿通常來(lái)自上游定位系統(tǒng)。**Hydra 可以接收視覺(jué)慣性里程計(jì)、激光里程計(jì)、融合定位或數(shù)據(jù)集真值提供的位姿再用它把觀測(cè)放進(jìn)共同坐標(biāo)系。Hydra 的核心職責(zé)不是替代所有前端定位算法。**第二Objects 依賴語(yǔ)義輸入。**深度只能說(shuō)明表面在哪里不能自己產(chǎn)生chair、table等類別。語(yǔ)義通常來(lái)自二維或三維感知網(wǎng)絡(luò)再由 Hydra 融合和聚類。**第三Rooms 的實(shí)例邊界和語(yǔ)義類別是兩步。**Room Finder幾何房間提取器根據(jù) Places 形成 Room 實(shí)例2024 論文再用 Neural Tree神經(jīng)樹(shù)推斷office、bedroom等類別。Neural Tree 先把 Object–Room 圖組織成 H-tree 計(jì)算結(jié)構(gòu)再進(jìn)行可學(xué)習(xí)的圖消息傳遞。當(dāng)前核心 C 倉(cāng)庫(kù)創(chuàng)建幾何 Room 時(shí)先寫(xiě)占位標(biāo)簽房間分類網(wǎng)絡(luò)另在 Hydra-GNN 發(fā)布。**第四Building 在當(dāng)前 C 路徑中是單一聚合根。**它把當(dāng)前 Rooms 連接到B0不是一套能夠在室外地圖中自動(dòng)分割多棟建筑的算法。5. 在線流水線為什么分成多個(gè)模塊如果所有步驟都在每一幀串行處理整張地圖計(jì)算量會(huì)隨探索范圍不斷增長(zhǎng)。Hydra 把快速局部更新和較慢全局推理分開(kāi)并通過(guò)增量消息和圖快照銜接。回環(huán)檢測(cè)Loop Closure DetectionLCD負(fù)責(zé)識(shí)別當(dāng)前區(qū)域是否與歷史區(qū)域重合。輸入與位姿同步Active Window / ReconstructionGraph BuilderBackend回環(huán)檢測(cè) LCD優(yōu)化后的全局 DSG 與 Mesh5.1 輸入與局部重建回答“這一幀改變了哪里”輸入端把帶時(shí)間戳的位姿、深度或點(diǎn)云、顏色和語(yǔ)義組織成觀測(cè)包。局部重建只更新當(dāng)前觀測(cè)影響的體素 block一個(gè) block 是按固定尺寸組合在一起、可整體分配和更新的一組體素。模塊隨后輸出發(fā)生變化或離開(kāi)活動(dòng)范圍的增量。這里的active window活動(dòng)窗口不是一張獨(dú)立地圖也不等于相機(jī)當(dāng)前視錐。它是一種生命周期和計(jì)算預(yù)算策略機(jī)器人附近的稠密塊繼續(xù)參與實(shí)時(shí)融合較遠(yuǎn)的歷史塊可以歸檔也就是停止局部高頻更新但保留必要?dú)v史結(jié)果稀疏高層節(jié)點(diǎn)仍可留在全局場(chǎng)景圖中。5.2 Graph Builder 回答“這些變化對(duì)應(yīng)哪些圖實(shí)體”前端 Graph Builder 消費(fèi)局部重建輸出增量更新 Mesh、Objects、Places、Frontiers、Mesh Places 和 Agents并建立必要的跨層關(guān)系。它追求低延遲因此主要處理本輪變化而不是反復(fù)從空?qǐng)D重建全部層。一輪前端提交帶有時(shí)間戳和遞增序號(hào)。序號(hào)表示“這是第幾版完整前端更新”時(shí)間戳表示“觀測(cè)發(fā)生在什么時(shí)候”兩者用途不同。5.3 Loop Closure 回答“這里以前是否來(lái)過(guò)”回環(huán)檢測(cè)模塊從已歸檔的歷史子圖和當(dāng)前查詢位置生成描述子先檢索候選再通過(guò)三維對(duì)應(yīng)和魯棒配準(zhǔn)驗(yàn)證幾何一致性。描述子相似只能說(shuō)明“可能是同一地點(diǎn)”只有通過(guò)幾何驗(yàn)證的結(jié)果才適合成為后端約束。5.4 Backend 回答“怎樣讓過(guò)去和現(xiàn)在重新一致”后端接收前端位姿圖、Mesh 形變圖、回環(huán)約束和共享 DSG 快照。它優(yōu)化 Agent 位姿和形變控制點(diǎn)再校正 Mesh、Places、Objects 等狀態(tài)并合并回環(huán)后重合的重復(fù)節(jié)點(diǎn)。Rooms 和 Building 依賴更新后的低層結(jié)構(gòu)重新生成。前端、回環(huán)和后端可以以不同頻率運(yùn)行因此代碼維護(hù)分別服務(wù)后端和回環(huán)檢測(cè)的共享圖快照。這樣較慢的全局計(jì)算不會(huì)阻塞每一幀局部重建但消息中的序號(hào)必須與圖快照對(duì)應(yīng)避免把某輪增量應(yīng)用到另一版圖上。6. 為什么“增量”和“層次化”必須同時(shí)存在這兩個(gè)詞解決的是不同問(wèn)題。6.1 增量更新控制每輪計(jì)算量機(jī)器人新觀察到一段走廊時(shí)真正變化的通常只是附近一小片體素、Mesh 和圖節(jié)點(diǎn)。增量系統(tǒng)傳播哪些 block 更新了 哪些 Mesh 頂點(diǎn)新增或歸檔了 哪些 GVD 體素成立或失效了 哪些節(jié)點(diǎn)、邊和屬性發(fā)生變化它避免每一幀重新掃描整棟建筑。6.2 層次化表示控制長(zhǎng)期存儲(chǔ)和查詢成本即使每輪只處理局部變化機(jī)器人長(zhǎng)期運(yùn)行后仍會(huì)積累大量幾何。層次化表示把不同任務(wù)需要的信息壓縮到合適尺度碰撞與表面檢查使用體素或 Mesh。局部連通查詢使用 Places。對(duì)象查詢使用 Objects?？鐓^(qū)域推理使用 Rooms 和 Building。高層不是低層的無(wú)損副本。例如一個(gè) Place 只能摘要一簇自由空間骨架證據(jù)不能恢復(fù)所有原始深度像素。這個(gè)有意的抽象損失換來(lái)了更快的搜索和更清晰的關(guān)系結(jié)構(gòu)需要精確幾何時(shí)系統(tǒng)仍然可以回到底層 Mesh 或體素。7. “Dynamic” 不等于自動(dòng)跟蹤所有運(yùn)動(dòng)物體Hydra 中的“動(dòng)態(tài)”首先表示地圖狀態(tài)會(huì)變化新觀測(cè)會(huì)新增或更新節(jié)點(diǎn)與邊。節(jié)點(diǎn)可以從 active 變?yōu)?archived也可以因證據(jù)失效而刪除?；丨h(huán)會(huì)改變歷史軌跡和地圖位置。重合實(shí)體可以合并Rooms 可以按最新 Places 重建。因此archived ! deleted 圖會(huì)動(dòng)態(tài)更新 ! 系統(tǒng)自動(dòng)完成多目標(biāo)運(yùn)動(dòng)跟蹤當(dāng)前對(duì)象提取主要從累計(jì)語(yǔ)義 Mesh 中形成實(shí)例并不等同于帶速度狀態(tài)、運(yùn)動(dòng)模型和數(shù)據(jù)關(guān)聯(lián)的完整動(dòng)態(tài)物體跟蹤器。動(dòng)態(tài)類別是否進(jìn)入靜態(tài)重建還取決于上游語(yǔ)義、掩碼和系統(tǒng)集成策略。8. 場(chǎng)景圖怎樣服務(wù)一個(gè)具體機(jī)器人任務(wù)考慮任務(wù)去會(huì)議室找到打印機(jī)并停在打印機(jī)旁邊的可通行位置。完整推理可以分為四個(gè)尺度。第一步找到目標(biāo)類別和實(shí)例。Neural Tree 或外部房間語(yǔ)義模塊給 Room 提供conference_room類別Object 層提供printer實(shí)例。若系統(tǒng)只有幾何 Room 而沒(méi)有類別模型就無(wú)法僅憑 Room ID 回答“哪個(gè)是會(huì)議室”。第二步沿跨層關(guān)系完成空間落地。printer Object - 附近的 Place - 所屬 Room這把“打印機(jī)”從一個(gè)類別詞變成世界坐標(biāo)中的具體實(shí)例和可接近空間。第三步在高層和低層分別搜索。Room 圖可以先給出要經(jīng)過(guò)的區(qū)域序列Places 圖再提供區(qū)域內(nèi)部的稀疏連通骨架并用清障屬性幫助過(guò)濾過(guò)窄連接。第四步交給導(dǎo)航系統(tǒng)生成可執(zhí)行軌跡。Hydra 提供空間知識(shí)和拓?fù)渥C據(jù)但它不是完整運(yùn)動(dòng)規(guī)劃器。機(jī)器人半徑、地面坡度、動(dòng)力學(xué)、局部避障和控制約束仍應(yīng)由導(dǎo)航棧處理。Place 邊存在也不等于任意機(jī)器人都能無(wú)條件通過(guò)。這個(gè)例子說(shuō)明 Hydra 的價(jià)值不在于替代 SLAM 或 Navigation而在于把二者之間缺少的實(shí)體、語(yǔ)義、拓?fù)浜蛯蛹?jí)關(guān)系組織起來(lái)。9. 閱讀當(dāng)前項(xiàng)目時(shí)必須區(qū)分的系統(tǒng)邊界能力完整研究系統(tǒng)中的位置當(dāng)前倉(cāng)庫(kù)閱讀結(jié)論機(jī)器人定位上游視覺(jué)慣性里程計(jì)VIO、激光慣性里程計(jì)LIO、融合定位或真值軌跡Hydra 接收位姿不應(yīng)默認(rèn)它在本倉(cāng)庫(kù)內(nèi)完成全部定位語(yǔ)義分割上游語(yǔ)義網(wǎng)絡(luò)Hydra 融合語(yǔ)義結(jié)果真實(shí)模型可由外部semantic_inference等提供在線 ROS 接口Hydra-ROS當(dāng)前核心倉(cāng)庫(kù)主要提供算法模塊和接口房間幾何實(shí)例Hydra Room Finder當(dāng)前 C 路徑已實(shí)現(xiàn)房間語(yǔ)義類別2024 論文 Neural Tree分類網(wǎng)絡(luò)單獨(dú)在 Hydra-GNN 發(fā)布Room Finder 本身不是分類器回環(huán)后全局校正Hydra Backend 外部形變圖優(yōu)化庫(kù) Kimera-PGMO當(dāng)前倉(cāng)庫(kù)封裝并使用形變圖與場(chǎng)景圖更新邏輯最終運(yùn)動(dòng)規(guī)劃和控制下游 NavigationPlaces 和 Rooms 提供圖結(jié)構(gòu)不直接輸出完整控制軌跡動(dòng)態(tài)物體跟蹤可擴(kuò)展的上游/下游能力“Dynamic Scene Graph” 不能直接等同于多目標(biāo)跟蹤器這張邊界表會(huì)貫穿后續(xù)文章。若一項(xiàng)機(jī)制來(lái)自論文或外部倉(cāng)庫(kù)正文會(huì)明確標(biāo)記而不會(huì)因?yàn)樗鼘儆凇癏ydra 系統(tǒng)”就暗示當(dāng)前目錄內(nèi)一定存在對(duì)應(yīng)實(shí)現(xiàn)。10. 建立一個(gè)不會(huì)混亂的心智模型可以把 Hydra 記成連續(xù)的三次壓縮和一次全局校正第一次壓縮多幀觀測(cè) - 穩(wěn)定的度量—語(yǔ)義地圖 第二次壓縮稠密幾何 - Objects 和 Places 等稀疏實(shí)體 第三次壓縮局部實(shí)體 - Rooms 和 Building 等層級(jí)結(jié)構(gòu) 全局校正回環(huán)約束 - 軌跡、Mesh 和場(chǎng)景圖重新一致每次壓縮都會(huì)丟掉一部分低層細(xì)節(jié)卻保留下一類任務(wù)真正需要的狀態(tài)。正因?yàn)榈讓訋缀魏透邔訄D同時(shí)存在機(jī)器人才能在“精確到厘米的表面”和“可以用語(yǔ)言查詢的房間與對(duì)象”之間切換。下一篇將從第一步開(kāi)始上游位姿、深度、點(diǎn)云和語(yǔ)義具體怎樣進(jìn)入同一個(gè)坐標(biāo)系并逐幀形成 TSDF、語(yǔ)義體素、Mesh 和 active window。實(shí)現(xiàn)證據(jù)索引正文按概念組織下面只列支撐本篇關(guān)鍵結(jié)論的實(shí)現(xiàn)位置。結(jié)論證據(jù)層級(jí)位置本倉(cāng)庫(kù)用于實(shí)時(shí)增量構(gòu)建三維場(chǎng)景圖當(dāng)前倉(cāng)庫(kù)說(shuō)明README.md默認(rèn)層名和LayerKey當(dāng)前代碼include/hydra/common/shared_dsg_info.h::SharedDsgInfo::Config前端、后端和 LCD 使用獨(dú)立共享圖狀態(tài)當(dāng)前代碼include/hydra/common/hydra_pipeline.h、src/common/hydra_pipeline.cpp模塊間使用 Backend/LCD/回環(huán)隊(duì)列當(dāng)前代碼include/hydra/common/pipeline_queues.hGraph Builder 更新 Mesh、Places、Frontiers、Objects、Mesh Places 和 Pose Graph當(dāng)前代碼src/frontend/graph_builder.cpp::GraphBuilder后端和 LCD 接收同一輪前端序號(hào)對(duì)應(yīng)的圖快照當(dāng)前代碼src/frontend/graph_builder.cpp::GraphBuilder::spinOnceRoom 分類使用 Neural Tree2024 論文設(shè)計(jì)doc/paper_translation/hydra_foundations_2024/hydra_foundations_2024_zh.html第 3.4.2 節(jié)Room 分類網(wǎng)絡(luò)獨(dú)立發(fā)布當(dāng)前倉(cāng)庫(kù)說(shuō)明README.md中 2024-06-26 更新與 Hydra-GNN 鏈接C Room Finder 創(chuàng)建幾何 Room 時(shí)初始化占位標(biāo)簽當(dāng)前代碼src/rooms/room_finder.cpp::RoomFinder::makeRoomLayerBuilding 當(dāng)前創(chuàng)建固定B0聚合根當(dāng)前代碼src/backend/update_buildings_functor.cpp