自動駕驶深度之五:AI 大模型在自動駕驶中的應用

admin

算法是决议主動駕驶車辆感知能力的焦點要素。當前主流的主動駕驶模子框架分為感知、计劃决议计劃和履行三部門。感知模块是主動駕驶體系的眼睛，焦點使命包含對收集图象举行桑葚,檢测、朋分等，是後续决议计劃层的根本，决议了全部主動駕驶模子的上限，在主動駕驶體系中相當首要。感知模块硬件部門重要為傳感器，软件為感知算法，此中算法是决议主動駕驶中正通水管,車辆感知能力的焦點要素。

（1）神經收集加速主動駕驶感知算法成长，小模子向大模子迭代趋向明白

神經收集模子的利用驱動感知算法高速成长。早在上世纪 70 年月，學術院校和科研機構@開%8x428%展對主%4E2R6%動@駕驶骨質增生,技能的摸索，初期的主動駕驶感知算法主如果基于傳统计较機视觉技能，直到 2010 年以後跟着深度進修技能的成长，神經收集被引入到主動駕驶感知算法中，主動駕驶汽車的感知結果有了質的晋升。

利用于感知层面的神經收集模子可以分為两類，一類因此 CNN、RNN 為代表的小模子，另外一類是Transformer 大模子。

深度神經收集（DNN）又叫多层感知機神經收集，此中有三個根基類型的层：输入层、暗藏层（或叫中心层，可以有多個）、输出层。分歧层之間的感知機全毗连，在推理時，前向（從输入层到暗藏层到输出层）通報旌旗灯号获得推理成果。在進修時则将偏差（真實值和推理值的误差）反向通報（從输出层到暗藏层到输入层），實现對感知機参数（毗连权重和阈值）的更新，直至找到使得偏差最小的一组感知機参数。在主動駕驶感知模块中输入数据為图象，而图象具备高维数（比拟時候序列凡是只是一维向量），對其辨認時必要設置大量输入神經元和多其中間层，模子参数目浩劫以練習且损耗算力高，并可能带来過拟合的問题。

CNN 卷积神經收集應運而生，本色上是在信息傳入傳统神經收集前先做一個特性的提取并举行数据降维，是以 CNN 图象處置高纬度向量的使命上加倍高效。CNN 可以或许高效力處置图象使命的关頭在于其經由過程卷积层、池化层操作實现了降维，模子必要練習的参数目比拟于 DNN 来讲大幅低落，對硬件算力的请求也相對于低落。

可是 CNN 依然存在必定的缺點，屡次池化會丢失一些的有價值信息，疏忽局部與总體之間的联系关系性。

在主動駕驶場景下，感知還必要時序的信息来完成方针跟踪和视线盲區展望等感知使命。轮回神經收集 RNN 與 CNN 同样都是傳统神經收集的扩大，比拟于 CNN 在空間长進行拓展，RNN 是在時候上的扩大，可以用于描写時候上持续输出的状况。這象征着某一時刻收集的输出除與當前時刻的输入相干，還與以前某一時刻或某几個時刻的输出相干。

Transformer 模子的关頭在于计较输入序列元素之間的瓜葛权重，最先在 NLP 范畴大放异彩，2020 年起在 CV 范畴起頭获得遍及利用。Transformer 樂成的关頭在于引入注重力（attention）機制。

Transformer 凭仗優异的长序列處置能力和更高的并行计较效力，2021 年由特斯拉引入主動駕驶范畴。Transformer 與 CNN 比拟最大的上風在于其泛化性更强。

（2）特性级交融渐渐代替後交融，BEV+ Transformer 為當前主流方案

主動駕驶感知模块凡是配备多個傳感器（乃至多種傳感器）到达平安冗余和信息互补的感化，但分歧傳感器通報的信息存在互相泰山通馬桶,冲突的可能性。举例而言，若是一個傳感器辨認到火线有行人请求汽車當即刹車，而另外一傳感器显示可以继续平安行驶，在這類环境下若是不合错误傳感器信息举行交融，汽車就會“感触苍茫”，進而致使不测的產生。是以，在利用多種（個）傳感器收集信息時必需举行信息交互、交融。

感知可大略分為获得数据、提取特性、完成感知使命三個环節，依照信息交融產生的环節主動駕驶感知技能可以分為前交融、特性交融和後交融。

前交融方案感知精度比拟于後交融大幅晋升，但對算法、車端算力请求大幅晋升。