新北市學車交流論壇

標題: 為了自動駕驶,谷歌用NeRF在虚拟世界中重建了旧金山市 [打印本頁]

作者: admin 時間: 2024-8-21 17:55
標題: 為了自動駕驶,谷歌用NeRF在虚拟世界中重建了旧金山市
真不消来做成元宇宙？

練習主動駕驶體系必要高精舆图，海量的数据和虚拟情况，每家致力於此標的目的的科技公司都有本身的法子，Waymo 有本身的主動駕驶出租車队，英伟达建立了用於大范围練習的虚拟情况 NVIDIA DRIVE Sim 平台。近日，来自 Google AI 和google自家主動駕驶公司 Waymo 的鑽研职員實践了一個新思绪，他們測验考试用 280 万张街景照片重修出整片旧金山市區的 3D 情况。

經由過程大量街景图片，google的鑽研职員們構建了一個 Block-NeRF 網格，完成為了迄今為止最大的神經收集場景表征，衬着了旧金山的街景。

该鑽研提交到 arXiv 上以後，Jeff Dean 當即转推先容：

Block-NeRF 是一種神經辐射場的變體，可以表征大范围情况。详细来讲，该鑽研表白，當扩大 NeRF 以衬着超過多個街區的都會場景時，将場景分化為多個零丁練習的 NeRF 相當首要。這類分化将衬着時候與場景巨细分手，使衬着可以或许扩大到肆意大的情况，并@容%L653O%许對情%6ta91%况@举行逐块更新。

该鑽研采纳几項架構更改，使得 NeRF 對数月内分歧情况前提下捕捉的数据具备鲁棒性，為每一個零丁的 NeRF 添加了外觀嵌入、進修姿态细化和可控暴光，并提出了一種用於對齐相邻 NeRF 之間外觀的步伐，以便無缝组合。

《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》是 UC Berkeley 鑽研职員在 ECCV 2020 上的一篇論文，得到了最好論文提名。其提出一種隐式 3D 場景表征，分歧於显示場景表征（如點云、網格 mesh），其道理是求解穿過場景的任何光芒的色彩，從而衬着合成新視角的 2D 場景图片。

NeRF 在给定一组姿态相機图象的環境下，實現了照片般傳神的重修和新型視图合成。NeRF 初期的事情常常偏重於小范围和以工具為中間的重修。虽然如今有些法子可以重修单個房間或修建物巨细的場景，但這些法子依然范畴有限，不克不及扩大到都會范围的情况。因為模子容量有限，将這些法子利用於大型情况凡是會致使较着的伪影和低視觉保真度。

@重%私密處止痕癢產品,8X31u%修大范%z8rNm%围@情况在主動駕驶、航空丈量等范畴具备遍及利用远景。比方建立大范畴的高保真舆图，為呆板人定位、导航等利用供给先验常识。别的，主動駕驶體系凡是經由過程從新摹拟之前碰到的場景来举行评估，但是任何與記實存在的误差均可能扭转車辆的轨迹，是以必要沿着路径举行高保真的視图衬着。除根基的視图合成，以場景為前提的 NeRF 還可以或许扭转情况照明前提，比方相機暴光、氣候或一天中分歧的時候，這可用於進一步加强摹拟場景。

論文链接：

項目链接：

如上图所示，google這次提出的 Block-NeRF 是一種經由過程利用多個紧凑的 NeRF 表征情况来實現大范围場景重修的法子。在推理時，Block-NeRF 無缝連系给定區域的相干 NeRF 的衬着。上图的示例利用 3 個月内采集的数据重修了旧金山的阿拉莫廣場社區。Block-NeRF 可以更新情况的各個块，而無需對全部場景举行從新練習。

重修@如%d34eT%斯大范%z8rNm%围@的情况會带来分外的挑战，包含瞬态物體（汽車和行人）的存在、模子容量的限定和内存和计较限定。别的，在一致的前提下，极不成能在一次捕捉中采集@如%d34eT%斯大情%6ta91%况@的練習数据。相反，情况分歧部門的数据可能必要来自分歧的数据采集事情，這會在場景几何（比方，修建事情和停放的汽車）和外觀（比方，氣候前提和一天中分歧的時候）中引入差别。

法子

该鑽研經由過程外觀嵌入和進修姿态细化来扩大 NeRF，以應答采頭髮生長液,集到的数据中的情况變革和姿态毛病，同時還為 NeRF 添加了暴光前提，以供给在推理進程中點窜暴光的能力。添加這些變革以後的模子被鑽研者称為 Block-NeRF。扩展 Block-NeRF 的收集容量将可以或许表征愈来愈大的場景。但是，這類法子自己有很多限定：衬着時候跟着收集的巨细而變革，收集再也不合适单個计较装备，更新或扩大情况必要從新練習全部收集。

為了應答這些挑战，鑽研者提出将大型情况劃分為多個零丁練習的 Block-NeRF，然後在推理時動态衬着和组合。零丁建模這些 Block-NeRF 可以實現最大的機動性，扩大到肆意大的情况，并供给以分段方法更新或引入新區域的能力，而無需從新練習全部情况。要计较方针視图，只需衬着 Block-NeRF 的子集，然後按照它們相對付相機的地舆位置举行合成。為了實現更無缝的合成，google提出了一種外觀匹配技能，經由過程優化它無人飛機用箱,們的外觀嵌入，将分歧的 Block-NeRF 举行視觉對齐。

图 2：重修場景被分成為了多個 Block-NeRF，每一個 Block-NeRF 都在特定 Block-NeRF 原點坐標（橙色點）的某個原型區域（橙色虚線）内的数据长進行練習。

该鑽研在 mipNeRF 的根本上構建了 Block-NeRF 實現，改良了因输入图象從很多分歧間隔察看場景酿成的侵害 NeRF 機能的混叠問题。鑽研职員連系了来自 NeRF in the Wild (NeRF-W) 的技能，该技能在将 NeRF 利用於 Photo Tourism 数据集中的地標時，為每一個練習图象添加一個潜伏代码以處置纷歧致的場景外觀。NeRF-W 從数千张图象中為每一個地標建立一個零丁的 NeRF，而google的新法子連系了很多 NeRF，從数百万张图象中重修一個联贯的大情况，并連系了進修相機姿态细化。

图 3. 新模子是 mip-NeRF 中提出的模子的扩大。

一些基於 NeRF 的法子利用朋分数据来断绝和重修視频序列中的静态和動态工具（如人或汽車）。因為该鑽研重要存眷重修情况自己，以是在練習時代简略地選擇屏障掉動态工具。

為了動态選擇相干的 Block-NeRF 举行衬着，并在遍历場景時以腻滑的方法举行合成，google優化了外觀代码以匹配光照前提，并利用基於每一個 Block-NeRF 到新視图的間隔计较的插值权重。

重修结果

鉴於数据的分歧部門可能在分歧的情况前提下被捕捉，算法遵守 NeRF-W 并利用天生式潜伏優化（Generative Latent Optimization，GLO）来優化 perimage 外觀嵌入向量。這使得 NeRF 可以诠释几個外觀變革的前提，比方變革的氣候和照明。同時還可以把持這些外觀嵌入，以在練習数据中察看到的分歧前提之間举行插值（比方多云與晴朗的天空，或白日和黑夜）。

图 4. 外觀代码容许模子展現出分歧的照明和氣候前提。

全部情况可以由肆意数目的 Block-NeRF 構成。為了提高效力，鑽研职員操纵两種過滤機制仅衬着给定方针視點的相干區块，這里只斟酌方针視點設定半径内的 Block-NeRF。别的，體系對付每一個候選者城市计较相干的可見治療脫髮,性。若是平都可見度低於阈值，則抛弃 Block-NeRF。图 2 供给了一個可見性過滤的示小雞玩具,例。可見性可以快速计较，由於它的收集自力於色彩收集，而且不必要以方针图象辨别率举行衬着。過滤後，凡是有 1 到 3 個 Block-NeRF 必要归并。

图 5. google的模子包括暴光前提，這有助於诠释練習数据中存在的暴光量變革，容许用户在推理進程中以人類可诠释的方法更改输出图象的外觀。

為了重修全部都會場景，鑽研职員在录制街景時捕捉持久序列数据（跨越 100 秒），并在几個月内涵特定方针區域反复捕捉分歧序列。google利用從 12 個摄像頭捕捉的图象数据，這些摄像頭配合供给 360° 視图。此中 8 個摄像頭從車頂供给完备的環顾图，此外 4 個摄像頭位於車辆前部，指向火線和侧面。每一個相機以 10 Hz 的频率捕捉图象并存储一個標量暴光值。車辆姿态是已知的，而且所有摄像機都颠末校准。

借助這些信息，该鑽研在一個配合的坐標系中计较响應的相機光芒原點和標的目的，同時将相機的转動快門斟酌在内。

图 6. 當衬着基於多個 Block-NeRF 的場景時，该算法利用外觀匹配来得到全部場景的一致样貌。给定一個 Block-NeRF（图左）的固定方针外觀，算法會優化相邻 Block-NeRF 的外觀以匹配。在此示例中，外觀匹配了在 Block-NeRF 中發生一致的夜間外觀。

图 7. 多段数据的模子溶解成果。外觀嵌入有助於神經收集防止添加云雾几何體来诠释氣候和光照等情况變革。移除暴光會稍微低落了正确度。姿态優化有助於锐化成果并解除反复工具的重影，如在第一行的電線杆上察看到的那样。

将来预測

google鑽研职員暗示，新法子依然有一些問题有待解决，好比部門車辆和暗影没有被准确移除，植被由於外觀随季候變革而在虚拟情况中變得模胡。同時，練習数据中的時候纷歧致（比方施工事情）没法被 AI 主動處置，必要手動從新練習受影响的區域。

别的，今朝没法衬着包括動态工具的場景限定了 Block-NeRF 對呆板人闭環摹拟使命的合用性。未来，這些問题也许可以經由過程在優化進程中進修瞬态工具来解决，或直接對動态工具举行建模。© THE END

转载请接洽本公家号得到授权

歡迎光臨新北市學車交流論壇 (https://bbs.hair999.com.tw/)