新北市學車交流論壇

標題: 智能汽車行業專题:大模型全面赋能,自動駕驶渐行渐近 [打印本頁]

作者: admin 時間: 2024-8-21 17:44
標題: 智能汽車行業專题:大模型全面赋能,自動駕驶渐行渐近
2.一、主動駕驶算法、数据不竭迭代，长尾問题處置成為關頭

主動駕驶算法從基於法則渐渐走向神經收集，從模块化摆設走向端到端一體化， Transformer+BEV 渐渐成為主流。今朝主動駕驶算法历經多年蜕變，显現出几大特點。起首，基於神經收集的算法渐渐替換基於法則的算法，早年神經收集重要用於感知環節，如今渐渐在向计劃節制環節浸透。其次，主動駕驶算法在初期以模块化摆設，每一個模块具有自力的優化方针，但总體模子的结果未必到达最優，是以端到真個主動駕驶解决方案映入人們眼帘，學界和財產界均举行了诸多摸索。最後，我們看到行業玩家渐渐承認 Transformer+BEV 的算法構建模式，模子架構上渐渐走向趋同，這無疑将鞭策包括芯片在内的全部財產链加快成长。

长尾問题處置是主動駕驶面對的重要挑战，数据驱動供给解藥。當前，大部門算法可以笼盖重要的行車場景，但駕驶情况纷纷繁杂，仍有诸多罕有的长尾場景需要算法辨認和處置，這種場景虽不常見但没法轻忽，成為制约主動駕驶成熟的重要瓶颈。行業凡是采纳大量的数据去練習主動駕驶算法，以求讓主動駕驶模子成為見多识廣的“老司機”。初期 Waymo 的路測、特斯拉的影子模式均但愿經由過程获得大量数据解决长尾問题。马斯克曾在推特上赞成了實現超出人類的主動駕驶能力最少必要 100 亿千米駕驶数据的说法。海内毫末智即将数据作為“主動駕驶能力函数” 的自變量，認為是决议能力成长的關頭。Momenta 在其公家号上也暗示 L4 要實現规模化，最少要做到人類司機的平安程度，最比如人類司機程度高一個数目级，是以必要最少千亿千米的測试，解决百万长尾問题。

主動駕驶在模子端仍需優化，数据闭環、仿真东西仍待完美。主動駕驶比年發展迅猛，硬件预埋軟件延续迭代的風潮下，車载算力急剧增加快速普及，但軟件端功效進化滞後於算力。軟件端算法、数据闭環、仿真體系均有待完美。算法范畴感知、展望、决议计劃、计劃模子都在不竭進级演進，精度、靠得住性均有晋升空間。数据闭環體系方面，陪伴有關車型量產，数据的發掘、標注和處置事情量巨大，数据闭環體系主動化高效運行决议模子可否由数据驱動延续迭代。仿真環節，理論上優良仿真可替換實車数据采集，低落算法搭建本錢并晋升迭代速度，但傳神的仿真情况的構建、诸多的长尾場景的复現難度大。

2.二、大模子周全赋能，主動駕驶各大環節周全受益

蒸馏、剪枝、量化助力大模子在多場景利用。凡是大型模子采纳三種方法紧缩：蒸馏、剪枝、量化。蒸馏雷同於教員讲授生，将一個大模子或多個模子集學到的知识迁徙到另外一個轻量级的模子上便利摆設。剪枝可理解為将繁杂的神經收集布局精简使其變得轻量化。量化則為直接低落模子中的参数精度，進而實現模子轻量化。基於多種模子紧缩的方法，大模子也具有了加快垂直行業的根本。

大模子可在算法、数据闭環、仿真等環節周全赋能主動駕驶。大模子具备杰出的認知和推理機能，作為人工智能最早落地的利用范畴之一，主動駕驶有望获得全面助力。起首在数据闭環和仿真環節，大模子的精准辨認和数据發掘和数据天生能力可對数据發掘、数据標注、和仿真場景構建赋能。其次在模块化的算法摆設模式下，感知算法、规控算法亦可@遭%fZQm7%到大模%73l25%子@的增强而實現感知精度和规控结果的晋升。最後，端到真個感知决议计劃一體化算法被認為是主動駕驶算法结局，但面對诸多灾以解决的問题，好比構建合适该算法的仿真換情况、端到真個数据標注等，而在大模子期間以上問题或再也不成為瓶颈，落地為期不远。

2.2.一、大模子助力数据發掘和主動標注，数据飛轮飛奔鞭策主動駕驶落地

在主動駕驶的数据闭環系统構建進程中存在数据發掘和主動標注等難點。跟着量產車型数目增长，發生的数据量显現指数级增加，一方面，高效的操纵数据實現预期的練習结果请求體系具备数据發掘、處置能力。另外一方面，海量数据的標注带来昂扬的本錢，而部門 3D 場景人工標注较為坚苦，進一步限定算法模子迭代和利用，大模子出生後這两類問题有望水到渠成。

数据發掘：baidu阿波罗@利%PjvEl%用大模%73l25%子@實現长尾数据發掘

baidu起首操纵文字和图象输入编码器预練習一個原始模子用来實現向量搜刮，再操纵算法将街景图象数据举行物體辨認并定位和朋分，颠末图象编码器，構成底库；简略来讲就是基於街景創建一個具有图片和文字信息對應的大模子。最後，面向特定的場景（如快递車、轮椅、小孩等），可以經由過程文本、图象等情势举行搜刮和發掘（雷同向量数据库）。進而對主動駕驶模子举行定制化的練習，大幅晋升存量数据的操纵结果。

主動標注：商汤毫末等玩家已鞭策走向落地

商汤科技在大模子加持下，落地数据主動標注辦事商汤明眸。公司多模态多使命通用大模子墨客 2.5 具有壮大的语义理解和图象處置能力，在 ImageNet 分類使命開源模子中 Top1 正确率能跨越 90%。基於此公司開辟出商汤明眸主動標注辦事，提供布局化檢測等 12個行業專用大模子，涵盖超 1000 個分歧的 2D、3D 方针種别，大幅低落標注本錢。

毫末智行開辟 DriveGPT，并開释云端駕驶場景辨認能力。毫末智行練習了 DriveGPT 大模子雪湖·海若，用户将駕驶場景上傳到云端平台，平台可以或许快速将图片中所有車道線、交通介入者（行人、主動車等）標注出来，单帧图象总體標注成本低落至行業均匀程度的十分之一。

2.2.二、大模子鞭策算法迭代，感知规控全赋能

大模子在主動駕驶感知端算法的利用：大模子作為車端算法的“教員”，經由過程“蒸馏（傳授）”帮忙小模子實現優秀的機能。baidu将文心大模子的能力與主動駕驶感知技能連系，晋升車载端侧模子的感知能力。baidu用半监視法子經由過程用 2D 和 3D 数据練習出一個感知大模子。此中“半监視”是指起首操纵標注好 2D 和 3D 数据練習一個感知大模子，再讓大模子為未標注的 3D 数据举行標注，接着用這些数据再次練習感知大模子，屡次迭代後，大模子的感知機能實現快速晋升。利用這個大模子便可實現對視觉小模子、多模态模子感交友app,知能力的增强。

（1）@操%rTJ3V%纵大模%73l25%子@赋能加强小模子远間隔 3D 視觉感知：一方面@經%1P7lG%由%1P7lG%過%1P7lG%程大模%73l25%子@對图像举行 3D 標注，投送给小模子進修。另外一方面，在模子中编码器输来由、在 2D 和 3D 的甲等位置，@举%361xA%行大模%73l25%子@到小模子的蒸馏帮忙晋升小模子機能。最後周全晋升了小模子的 3D 感知结果。

（2）@操%rTJ3V%纵大模%73l25%子@赋能多模态感知：面向車载端交融視觉激光雷达数据的主動駕驶算法，一样利用伪標注（主動標注）、并在图象端和點云端举行常识蒸馏等方法，周全晋升了多模态模子的感知结果，辨認出了此前没有辨認出来的绿化带等信息。

大模子在规控端利用：毫末智行公布行業首個 DriveGPT

毫末智行推出 DriveGPT，可實現都會辅助駕驶、場景脱困、駕驶计谋可诠释等功效。毫末智行在 2023 年 4 月的 AI DAY 上推出了業界首個 DriveGPT 大模子—— 雪湖·海若。模子練習進程参考 GPT，起首構建 1200 亿参数的大模子，预練習環節，将主動駕驶空間的信息如車道線、感知情况等離散化後作為 Token 输入大模子，再基於结合几率散布天生将来 Token 序列，将 4000 万千米中符合的数据放進大模子中。行将外部情况作為预練習数据输入模子，練習模子展望将来情形演變的能力。人類反馈强化進修（RLHF）環節，拔取 5 万条人駕坚苦場景接收数据，输入预練習模子，并将模子输出的举動举行排序，举行强化練習。同時在按照输入真個提醒语及毫末主動駕驶場景库的样本練習模子，讓模子進修推理瓜葛。终极練習好的模子，可将完备的駕驶计谋分拆為主動駕驶場景的動态辨認進程，進而實現可理解、可诠释的推理逻辑链条。毫末智行的 DriveGPT 大模子将實現都會 NOH、街景举薦、智能陪練、場中和鍍膜,景脱困等功效，云端，大模子将開放接口供给包含智駕能力、駕驶場景辨認等能力。

2.2.三、天生海量数据，大模子助力仿真平台及端到端主動駕驶模子構建

大模子可以或许天生海量可練習数据，鞭策端到端主動駕驶模子落地。云骥智行認為主動駕驶的结局會演進成為一個超大范围的端到端主動駕驶神經收集：AD-GPT。而為了實現它，主動駕驶神經收集、海量高价值数据、車端高算力平台缺一不成養生泡腳藥包,。這些在模块化構建算法的期間難以實現，而當大模子出生後，不管在車端一體化模型的構建、仍是端到端練習仿真数据的天生彷佛都触手可及。究其根源，大模子本質上是對输入信息作出反响，而主動駕驶則是這種举動中的一個子集。

商汤：公司提到，可以用 AIGC 天生真正的交通場景和坚苦样原本練習主動駕驶體系，以多模态数据作為大模子的输入，晋升體系對 Corner Case 場景的感知能力上限。同時主動駕驶多模态大模子可做到感知决议计劃一體化集成，在输出端經由過程環境解码器可對 3D 情况举行重修，實現情况可視化理解；举動解码器可天生完备的路径计劃；念頭解码器可用天然说话對推理進程举行描寫，使得主動駕驶體系變得更加平安靠得住可诠释。

3.一、科技巨擘修建主動駕驶行業“安卓”，技能邊界有望缩小

第三方玩家有望經由過程供给構建大模子的东西链，打造主動駕驶行業的“安卓系统”，技能邊界有望缩小。特斯拉全栈自研的主動駕驶體系，包括算法、数据闭環系统（主動標注、仿真、数据引擎）等，闭環的系统组成主動駕驶行業的“IOS”，海量的車队数据構成数据壁垒，其他玩家難以复制。而大模子期間，诸多第三方科技巨擘如微軟、英伟达、baidu、商汤等参加主動駕驶行列，可經由過程供给壮大的大模子構建能力和完美的东西链帮忙整車廠構建本身的主動駕驶算法和数据闭環體系，同時@寄%41bS1%托大模%73l25%子@的数据天生能力补充與頭部玩家在数据范畴的差距，從而構建主動駕驶范畴的“安卓”，快速晋升玩家主動駕驶能力。

科技巨擘擦拳磨掌，微軟、英伟达争相结構，有望加快行業成长。咱們已看到，巨擘如微軟、英伟达在主動駕驶范畴@和大模%73l25%子@范畴都举行了深度结構，有望将两者連系帮忙車企實現能力奔腾。微軟：主動駕驶方面，微軟經由過程微軟云可供给笼盖全世界的云计较和邊沿计较能力，借助云上的 PaaS 和 SaaS 軟件可赋能各種算法和利用開辟。2021 年，微軟别離投資通用旗下的主動駕驶子公司 Cruise 和致力於構建端到端感知决议计劃一體化算法的主動駕驶創業公司 Wayve。微軟打造完备的主動駕驶開辟支撑解决方案，帮忙開發者将数据举行导入阐發，對模子举行練習仿真。微軟基於空幻引擎開辟的 AirSim 仿真平台在無人機仿真范畴饰演首要脚色，该平台也同時可實現對無人駕驶汽車的仿真。大模子方面，微軟云推出了 Azure OpenAI 辦事，企業可得到對大模子（含 GPT、Codex、嵌入模子）的拜候权限并将其利用於新的場景如说话、代码、逻辑、推理、理解等，同時也容许客户微调天生定制化的模子。而連系微軟的認知搜刮，可以進一拓廣大模子的利用范畴和晋升利用结果。微軟及 OpenAI 依靠强有力的大模型能力，将来也许能在主動駕驶算法、仿真范畴擦出新的火花。

英伟达：主動駕驶方面，英伟达在主動駕驶范畴结構已久，具有從算法到底层軟件中心件再到芯片的全栈解决方案。英伟达 DriveSim 股癬藥膏,仿真平台基於空幻引擎開辟，可以或许供给焦點摹拟和衬着引擎，天生傳神的数据流，建立各類測试情况，摹拟暴雨和暴雪等各類氣候前提，和分歧的路面和地形，還可以摹拟白日分歧時候的眩目强光和晚上有限的視線，到达“照片级傳神且物理切确”的傳感器仿真。DriveSim 還具有完美的东西链支撑，如神經重修引擎（NER）可以将真實世界的数据直接带入仿真中，開辟者可在仿真情况中點窜場景、添加合成工具，并利用随機化技能，大大增长真實感并加速出產速率。大模子方面，英伟达進一步强化“賣铲人”职位地方，帮忙企業玩家構建本身的大模子產物。在 2023 年 GTC 大會上，英伟达推出 AI Foundations 云辦事，用於帮忙客户構建天生式 AI 模子如大说话模子、生物學模子、 AI 天生式图象模子等。而英伟达最新公布的两篇文献更展示了其在天生式 AI 及自動駕驶范畴的不懈摸索，此中一篇推出了天生式視频模子 VideoLDM，可天生最高辨别率 2048*1280，24 帧，最长 4.7 秒的視频，该模子具有 41 亿個参数，可實現文本天生視频等功效，在主動駕驶范畴可天生駕驶場景視频以實現對特定場景的摹拟，也能够從统一個肇端帧天生多個分歧的事務演進標的目的来練習算法。而另外一篇文献則推出了神經場分散模子 NeuralField-LDM，用於繁杂世界開放世界 3D 場景天生，在現稀有据集中實現了最强機能，為高效實現主動駕驶仿真助力。

3.二、行業分工加快，本錢降低可期

行業分工加快，主動駕驶算法系桃園通馬桶,统本錢或迎降低。@跟%4lfKA%着大模%73l25%子@渐渐参與主動駕驶，行業分工将進一步明白。第三方科技巨擘的加持下，整車廠無需大范围搭建庞杂的算法、数据等全部闭環系统的l團队，便可具有比肩全世界一線程度的主動駕驶算法模子系统。財產链分工互助，防止“反复造轮子”，主動駕驶的本錢有望大幅低落，浸透率将加快晋升。同時，跟着更多主動駕驶車型上路，数据采集效力和结果也會進一步晋升，反過来鞭策行業前進。

傳感器和芯片加快迭代，主動駕驶體系总體本錢亦有降低空間。大模子的推動将加快芯片和傳感器迭代，傳感器方面，玩家有望可以或许以雷同特斯拉的情势構建自動駕驶體系，進而低落本錢。算力芯片方面，大模子将進一步推升對芯片算力的需求。而咱們看到在車载高算力芯片范畴，不管英伟达、高通仍是本土的地平線、黑芝麻均明白舱駕交融的芯片是将来的成长標的目的。如许的趋向将显著鞭策主動駕驶系统降本，一方面，舱駕交融芯片凡是會合成座舱、智駕乃至車身節制等域節制器功能，大幅度缩减物料和線束本錢；另外一方面，AI 算力若是能在整車芯片层面“池化”，在坐舱、主動駕驶两大功效之間機動挪用，亦将晋升 AI 算力的操纵率，車上“冗余” 的算力可大幅缩减。大模子驱策下，行業舱駕交融產物上車趋向将加快，體系降本紧随厥後，主動駕驶浸透率也奖随之晋升。

3.三、大模子開辟者、主動駕驶財產链玩家周全受益

3.3.一、 baidu Apollo：主動駕驶元老，文心大模子周全赋能

baidu在主動駕驶范畴的摸索身先士卒，大模子方面，在google推出 Bert 後即起頭投入研發，起步较早，是以@對%9LL6Z%付大模%73l25%子@在主動駕驶范畴的利用深有心得。最新的 Apollo Day 及文心一言公布會上，baidu暗示将在主動駕驶感知算法、图文监視预訓練下的数据發掘方案两個標的目的@鞭%R9e35%策大模%73l25%子@赋能主動駕驶，周全助力主動駕驶能力提升。同時baidu亦具有 Apollo 開放平台，對主動駕驶全流程開辟系统具有深挚堆集，并與诸多開辟者構成慎密的互動，将来有望深度受益本轮技能變化。

3.3.二、商汤科技：AI 算法领军，结構大模子摸索主動駕驶新機會

商汤@操%rTJ3V%纵大模%73l25%子@對小模子举行常识蒸馏，同時經由過程主動化標注實現感知和决议计劃真個数据闭環。别的大模子也能够天生坚苦图片，解码 3D 情况、路径计劃、駕驶動機等使得駕驶举動可诠释。作為傳统 AI 算法范畴的领军，公司在主動駕驶算法范畴發力，今朝產物已落地多款車型。将来有望延续受益大模子在主動駕驶的利用。

3.3.三、地平線：智駕芯片新星，對算法的深刻理解指引芯片架構迭代完善适配需求

公司作為本土智能駕驶芯片领军，對算法及大模子理解深刻，有望指引公司芯片迭代以完善顺應客户需求。地平線認為算法终将走向端到真個情势，是以公司也在構建下一代的面向 Transformer 的同一计较架構，而其下一代 BPU 纳什架構将專為大参数 Transformer 模子設計。地平線在 CV緊身褲,PR 中提出基於 Transformer 的端到端的主動駕驶算法框架，该文章初次在檢測、跟踪、展望、建图、轨迹展望、端到端完成主動駕驶的算法，這可讓玩家用海量数据去練習全部主動駕驶體系。地平線認為将来需继续用大数据和大模子無监視的预練習模子讓其進修人類駕驶的知识。说话模子是给定一個文本去展望下一個词的几率，一样给定當前交通情况/导航舆图/ 駕驶員全部駕驶举動汗青，模子亦可從大范围的無监視数据中進修，構建自回归的大说话模子展望下一個駕驶動作。

3.3.四、財產链玩家：主動駕驶落地加快，財產链各大環節周全受益

跟着主動駕驶的周全加快，全部主動駕驶財產链包括域節制器、算法、傳感器等環節亦将加快浸透。

（本文仅供参考，不代表咱們的任何投資建议。如需利用相干信息，请参阅陈述原文。）

歡迎光臨新北市學車交流論壇 (http://bbs.hair999.com.tw/)