正文

自動(dòng)駕駛生成式大模型DriveGPT

發(fā)布時(shí)間：2023-06-13 09:12:49 稿源：創(chuàng)意嶺閱讀： 74

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于自動(dòng)駕駛生成式大模型DriveGPT的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，有小程序、在線網(wǎng)頁(yè)版、PC客戶端和批量生成器

官網(wǎng)：https://ai.de1919.com。

本文目錄:

為什么是毫末智行成為了DriveGPT的破壁人？
HAOMO AI DAY定檔4月11日展示DriveGPT自動(dòng)駕駛模型
毫末發(fā)布自動(dòng)駕駛生成式大模型DriveGPT 中文名"雪湖·海若"
DriveGPT雪湖·海若誕生，將重塑汽車智能化技術(shù)路線
當(dāng)GPT遇到自動(dòng)駕駛，毫末首發(fā)DriveGPT

自動(dòng)駕駛生成式大模型DriveGPT

為什么是毫末智行成為了DriveGPT的破壁人？

作者 | 魏?jiǎn)P(yáng)

來(lái)源 | 洞見(jiàn)新研社

毫末智行有著天生的緊迫感。

很多科技公司一年才舉辦一次的品牌日活動(dòng)，毫末智行硬是辦成了一個(gè)季度一次，活動(dòng)頻次的提高，則意味著組織內(nèi)部新陳代謝的提速，從研發(fā)到落地乃至運(yùn)營(yíng)，都要跟上步點(diǎn)節(jié)奏。

毫末智行用這樣一種方式來(lái)鞭策自己在自動(dòng)駕駛道路上的進(jìn)取之心。

4月11日結(jié)束的第八屆HAOMO AI DAY，活動(dòng)規(guī)格再上臺(tái)階，吸引了中國(guó)汽車芯片聯(lián)盟聯(lián)席理事長(zhǎng)、中國(guó)電動(dòng)汽車百人會(huì)副理事長(zhǎng)董揚(yáng)，同濟(jì)大學(xué)教授、汽車安全技術(shù)研究所所長(zhǎng)朱西產(chǎn)，清華大學(xué)車輛與運(yùn)載學(xué)院教授曹東璞、華為云人工智能領(lǐng)域首席科學(xué)家、國(guó)際歐亞科學(xué)院院士、IEEE/CAAI Fellow田奇等業(yè)內(nèi)大咖參會(huì)。

在影響力持續(xù)擴(kuò)大的同時(shí)，毫末智行再次更新了自己在技術(shù)、產(chǎn)品和生態(tài)上的進(jìn)展，其中城市NOH即將量產(chǎn)上車與毫末DriveGPT 雪湖·海若的發(fā)布成最大亮點(diǎn)。

前者是中國(guó)首個(gè)重感知、不依賴高精地圖的城市NOH，將最先落地北京、上海、保定等城市，后者則是全球首個(gè)自動(dòng)駕駛生成式大模型。

NOH量產(chǎn)上車，毫末智行過(guò)去就曾做過(guò)預(yù)告，此次確定了更具體的落地時(shí)間，算是兌現(xiàn)了之前“夸下的?？凇?。

至于雪湖·海若，在GPT火熱的當(dāng)下，參與其中的自動(dòng)駕駛公司也不少，為什么是毫末智行率先發(fā)布，成為很多人心中的謎團(tuán)。

01 自動(dòng)駕駛大考年，毫末智行沖在最前線

毫末智行加快推進(jìn)NOH的落地進(jìn)程，很大一部分原因在于智駕產(chǎn)品已經(jīng)進(jìn)入到全線爆發(fā)的前夜。

來(lái)自工信部和高工智能汽車研究院的數(shù)據(jù)顯示，2021年乘用車L2級(jí)智駕產(chǎn)品的搭載率是23.5%，全年共交付了476萬(wàn)輛。

到了2022年，乘用車上車的智駕產(chǎn)品升級(jí)到L2級(jí)以上，搭載率提升到29.4%，全年了交付了585.99萬(wàn)輛。

按照這一趨勢(shì)預(yù)測(cè)，到2025年時(shí)，乘用車L2級(jí)以上智駕產(chǎn)品的搭載率將達(dá)到70%。

毫無(wú)疑問(wèn)，正在經(jīng)歷的2023年和還沒(méi)到來(lái)的2024年將十分關(guān)鍵，用毫末智行董事長(zhǎng)張凱的話來(lái)說(shuō)，“2023年既是自動(dòng)駕駛的沖刺之年，也是大考之年”。

張凱判斷，智駕產(chǎn)品今年的爆發(fā)將主要集中在兩個(gè)方面。

第一個(gè)是城市導(dǎo)航輔助駕駛產(chǎn)品將圍繞量產(chǎn)上車發(fā)力，主要玩家的城市輔助駕駛產(chǎn)品進(jìn)入到真實(shí)用戶覆蓋和多城市落地的比拼。

另一個(gè)是行泊一體和無(wú)人車商業(yè)化將成為自動(dòng)駕駛公司深耕的重點(diǎn)。在乘用車領(lǐng)域，搭載行泊一體功能的智駕產(chǎn)品將迎來(lái)前裝量產(chǎn)潮。

事實(shí)上，毫末智行作為“漸進(jìn)派”的代表，堅(jiān)定認(rèn)為輔助駕駛是通往自動(dòng)駕駛的必由之路，因而在過(guò)往，一直致力于推動(dòng)智駕產(chǎn)品上車。

2021年推出HPilot 1.0版本，當(dāng)年即完成坦克300城市版、魏牌拿鐵、魏牌瑪奇朵、哈弗神獸5款車型的量產(chǎn)上車，搭載乘用車數(shù)量超過(guò)數(shù)萬(wàn)臺(tái)。

2022年，毫末智行對(duì)HPilot進(jìn)行了兩次大版本更新，HPilot月度搭載增速超過(guò)200%，與此同時(shí)，毫末城市NOH輔助駕駛系統(tǒng)也完成了量產(chǎn)交付，搭載HPilot 3.0的新摩卡DHT-PHEV魏牌藍(lán)山將在2023年先后上市。

根據(jù)毫末智行官方公布的數(shù)據(jù)，截至目前，毫末HPilot整體已搭載近20款車型。用戶輔助駕駛行駛里程突破4000萬(wàn)公里，HPilot 2.0 輔助駕駛?cè)站锍淌褂寐蔬_(dá)到了12.6%。

NOH的推進(jìn)方面，目前已經(jīng)在北京、保定、上海等城市開(kāi)啟泛化測(cè)試，即將量產(chǎn)上車，毫末智行預(yù)測(cè)，到2024年，城市NOH將有序落地100城，屆時(shí)，毫末輔助駕駛乘用車總量也將來(lái)到百萬(wàn)量級(jí)別。

有業(yè)內(nèi)人士評(píng)述，即便按照當(dāng)前的節(jié)奏不變，毫末智行智駕產(chǎn)品量產(chǎn)落地的速度也已與友商拉開(kāi)了差距，至少領(lǐng)先行業(yè)一年以上。

毫末智行的”快”主要體現(xiàn)在兩個(gè)方面，一個(gè)是產(chǎn)品的推新和迭代速度快，一個(gè)是由量產(chǎn)落地而帶動(dòng)的規(guī)模覆蓋。

不得不說(shuō)毫末智行選擇了一條最為“穩(wěn)妥”的自動(dòng)駕駛路線。

在應(yīng)對(duì)行業(yè)競(jìng)爭(zhēng)，推動(dòng)自動(dòng)駕駛落地的過(guò)程中，我們很清晰的看到，HPilot、城市NOH等智駕產(chǎn)品正在源源不斷的為毫末智行提供營(yíng)收，而隨著這些智駕產(chǎn)品的每一次迭代升級(jí)，自動(dòng)駕駛能力一點(diǎn)點(diǎn)的向上提升，毫末智行距離全無(wú)人駕駛的星辰大海也更近了。

除了自動(dòng)駕駛量產(chǎn)上車之外，毫末智行還公布6P開(kāi)放合作的進(jìn)展，目前已與3家主機(jī)廠簽署定點(diǎn)合同，相關(guān)項(xiàng)目正在交付中。

在此之前，行業(yè)對(duì)毫末智行發(fā)展?jié)摿Υ嬉傻闹饕^點(diǎn)是過(guò)于依賴長(zhǎng)城，如今6P合作實(shí)現(xiàn)突破，表示毫末智行開(kāi)始走出長(zhǎng)城，邁向更廣闊的發(fā)展空間，構(gòu)建屬于自己的“長(zhǎng)城”。

02 數(shù)據(jù)“第一性原理”，DriveGPT雪湖·海若的主要支撐點(diǎn)

將ChatGPT與DriveGPT雪湖·海若進(jìn)行對(duì)比，雖然都是GPT，但運(yùn)行條件和應(yīng)用場(chǎng)景還是有很大的不同。

ChatGPT是對(duì)話式的生成式自然語(yǔ)言模型，輸入是自然語(yǔ)言的文本串，輸出就是自然語(yǔ)言的文本，目前ChatGPT主要完成通用的下游語(yǔ)言生成任務(wù)，比如多輪對(duì)話、代碼生成、翻譯、數(shù)學(xué)運(yùn)算等。

DriveGPT雪湖·海若是用于自動(dòng)駕駛場(chǎng)景的生成式大模型，輸入是感知融合后的文本序列，輸出是自動(dòng)駕駛場(chǎng)景文本序列，即將自動(dòng)駕駛場(chǎng)景Token化，形成“Drive Language”，最終完成自車的決策規(guī)控、障礙物預(yù)測(cè)以及決策邏輯鏈的輸出等任務(wù)。

毫末智行CEO顧維灝在自動(dòng)駕駛技術(shù)領(lǐng)域的眼光獨(dú)到，布局非常領(lǐng)先。

早在 2021 年，毫末智行就已經(jīng)開(kāi)始了 Transformer 大模型技術(shù)的探索，并快速落地應(yīng)用到 BEV 視覺(jué)感知算法當(dāng)中，然后又以五大模型的方式來(lái)實(shí)現(xiàn)自動(dòng)駕駛感知、認(rèn)知算法的快速升級(jí)，現(xiàn)在這些大模型將統(tǒng)一到 DriveGPT 生成式大模型當(dāng)中，最終目標(biāo)是實(shí)現(xiàn)端到端自動(dòng)駕駛。

很明顯，和ChatGPT一樣，DriveGPT雪湖·海若的技術(shù)原理并不復(fù)雜，但為何是毫末智行搶到了落地的頭炮呢？

因?yàn)橐氆@得理想的訓(xùn)練結(jié)果，必須具備兩個(gè)條件，海量的數(shù)據(jù)和超強(qiáng)的算力，而這恰恰是毫末智行區(qū)別于其他自動(dòng)駕駛公司的優(yōu)勢(shì)長(zhǎng)板。

先看數(shù)據(jù)。

去年9月的第6屆HAOMO AI DAY上，CEO顧維灝向外界確認(rèn)，毫末智行正式進(jìn)入數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)駕駛 3.0 時(shí)代。

如何理解？毫末智行依托HPilot的量產(chǎn)，目前已經(jīng)積累了超過(guò)4000萬(wàn)公里輔助駕駛里程的數(shù)據(jù)，就場(chǎng)景來(lái)看，包括城市道路、城市快速路和高速；就數(shù)據(jù)分類來(lái)看，既有真實(shí)的感知數(shù)據(jù)，也包含真實(shí)的人駕數(shù)據(jù)。

毫末智行的數(shù)據(jù)優(yōu)勢(shì)并不是數(shù)據(jù)量的多少，而是獲取數(shù)據(jù)的能力。

以HPilot為代表的智駕產(chǎn)品一直在持續(xù)的大規(guī)模量產(chǎn)上車，這也是說(shuō)，毫末智行擁有穩(wěn)定且優(yōu)質(zhì)的數(shù)據(jù)源，這些數(shù)據(jù)被投喂到MANA數(shù)據(jù)智能體系的訓(xùn)練中，推動(dòng)MANA的進(jìn)化成長(zhǎng)，從而完成數(shù)據(jù)在其設(shè)計(jì)的技術(shù)架構(gòu)內(nèi)的閉環(huán)。

截至到2023年4月，MANA學(xué)習(xí)時(shí)長(zhǎng)超56萬(wàn)小時(shí)，虛擬駕齡相當(dāng)于人類司機(jī)6.8萬(wàn)年。

再來(lái)看看算力。

毫末智行很早就預(yù)見(jiàn)了算力對(duì)于自動(dòng)駕駛研發(fā)的重要性，與特斯拉建設(shè)超算中心Dojo類似，毫末智行今年1月發(fā)布了中國(guó)自動(dòng)駕駛行業(yè)最大的智算中心MANA OASIS（雪湖·綠洲），算力達(dá)67億億次/秒。

通過(guò)一系列的訓(xùn)練框架、性能、通信等優(yōu)化，MANA OASIS可單機(jī)實(shí)現(xiàn)訓(xùn)練100億參數(shù)規(guī)模的大模型的能力，同時(shí)執(zhí)行多任務(wù)、多模態(tài)并行的訓(xùn)練，大幅提升計(jì)算效率。

為了支持DriveGPT雪湖·海若的訓(xùn)練，毫末智行還對(duì)MANA OASIS在算力層面進(jìn)行三大能力的升級(jí)。

1、搭建了“全套大模型訓(xùn)練保障框架”，實(shí)現(xiàn)了異常任務(wù)分鐘級(jí)捕獲和恢復(fù)能力，可以保證千卡任務(wù)連續(xù)訓(xùn)練數(shù)個(gè)月沒(méi)有任何非正常中斷,有效保證了大模型訓(xùn)練穩(wěn)定性；

2、研發(fā)出以真實(shí)數(shù)據(jù)回傳為核心的增量學(xué)習(xí)技術(shù)，并將其推廣到大模型訓(xùn)練，構(gòu)建了一個(gè)大模型持續(xù)學(xué)習(xí)系統(tǒng)，自主研發(fā)任務(wù)級(jí)彈性伸縮調(diào)度器，分鐘級(jí)調(diào)度資源，集群計(jì)算資源利用率達(dá)到95%；

3、MANA OASIS通過(guò)提升數(shù)據(jù)吞吐量來(lái)降本增效，滿足Transformer大模型訓(xùn)練效率，通過(guò)引入火山引擎提供的Lego算子庫(kù)實(shí)現(xiàn)算子融合，端到端吞吐提升84%。

古希臘哲學(xué)家亞里士多德曾提出過(guò)“第一性原理”的哲學(xué)術(shù)語(yǔ)，翻譯過(guò)來(lái)就是，“每個(gè)系統(tǒng)中存在一個(gè)最基本的命題，它不能被違背或刪除?！?span style="display:none">y2b創(chuàng)意嶺 - 安心托付、值得信賴的品牌設(shè)計(jì)、營(yíng)銷策劃公司

從毫末智行所表現(xiàn)出來(lái)的技術(shù)理念來(lái)看，無(wú)論是走“漸進(jìn)式”路線，還是建設(shè)算力基礎(chǔ)設(shè)施MANA OASIS，圍繞的中心都是數(shù)據(jù)，在毫末智行的認(rèn)知中，數(shù)據(jù)就是自動(dòng)駕駛的“第一性原理”，基于此，毫末智行構(gòu)建起行業(yè)競(jìng)爭(zhēng)的護(hù)城河。

03 從毫末到雪湖再到海諾，自動(dòng)駕駛的中國(guó)式浪漫

在DriveGPT雪湖·海若發(fā)布之外，另外一個(gè)值得關(guān)注的點(diǎn)是，毫末智行還對(duì)外開(kāi)放了該模型。

北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院、高通、火山引擎、華為云、京東科技、四維圖新、魏牌新能源、英特爾等單位成為首批合作伙伴。

此外，毫末智行在使用數(shù)據(jù)的過(guò)程中，還建立了一套極具性價(jià)比的，基于4D Clips數(shù)據(jù)的自動(dòng)化標(biāo)注方案。

目前，一張正確標(biāo)注結(jié)果的圖片在行業(yè)中的市場(chǎng)價(jià)是5塊錢，如果使用DriveGPT的標(biāo)注服務(wù)，這個(gè)價(jià)格將只需5毛錢。

毫末智行計(jì)劃，這項(xiàng)圖像幀及4D Clips自動(dòng)標(biāo)注服務(wù)將逐步向行業(yè)開(kāi)放使用。

很明顯，毫末智行發(fā)布DriveGPT雪湖·海若，并不是炒作跟風(fēng)，而是真真切切的在做自動(dòng)駕駛研發(fā)，更難能可貴的是，毫末智行很多前沿技術(shù)不光是為自己所用，還將其開(kāi)放出來(lái)，以生態(tài)共建的形式，為行業(yè)的發(fā)展添磚加瓦。

其實(shí)，從毫末智行公司名字的由來(lái)，到自動(dòng)駕駛智算體系MANA雪湖的命名，再到DriveGPT雪湖·海若的來(lái)源，能夠窺視出毫末智行在自動(dòng)駕駛這件事情上一以貫之的企業(yè)價(jià)值觀。

“毫末”二字取自道家學(xué)派創(chuàng)始人老子之《老子·第六十四章》：“合抱之木，生于毫末。九層之臺(tái)，起于累土。千里之行，始于足下?！睆?qiáng)調(diào)的是一點(diǎn)一滴積累、腳踏實(shí)地耕耘的重要性。

“雪湖”這一名稱，出自科幻小說(shuō)《三體》第二部《黑暗森林》，說(shuō)的是主人公羅輯在星空、雪山、森林、草地和湖畔之間徜徉思考，直到有一天在湖中尋找到了綠色“三體危機(jī)”、拯救地球的方法。

將其延伸，“雪湖”這個(gè)名字代表了毫末對(duì)人類社會(huì)和科技趨勢(shì)發(fā)展的熱情，承載著毫末以AI通向自動(dòng)駕駛夢(mèng)想的思考。

“海若”則出自《莊子·秋水》，里面有兩個(gè)神話人物河伯和北海若。河伯請(qǐng)教北海若，何謂大小之分，北海若教導(dǎo)，不因天地而覺(jué)大，不因毫末而覺(jué)小。其中蘊(yùn)含著智慧包容、海納百川的寓意。

將上述命名來(lái)源進(jìn)行梳理，可以發(fā)現(xiàn)毫末智行的企業(yè)價(jià)值觀融匯了中國(guó)古代經(jīng)典的道家思想和科幻巨作天馬行空式的哲學(xué)思辨，再結(jié)合當(dāng)前正在從事的最前沿的自動(dòng)駕駛事業(yè)，毫末智行呈現(xiàn)出特立獨(dú)行的氣質(zhì)，更宏觀的視角，還能看到一種與眾不同的中國(guó)式浪漫。

【本文來(lái)自易車號(hào)作者洞見(jiàn)新研社，版權(quán)歸作者所有,任何形式轉(zhuǎn)載請(qǐng)聯(lián)系作者。內(nèi)容僅代表作者觀點(diǎn)，與易車無(wú)關(guān)】

HAOMO AI DAY定檔4月11日展示DriveGPT自動(dòng)駕駛模型

易車訊 日前，我們從官方渠道獲悉，毫末智行第八屆 HAOMO AI DAY 正式定檔4月11日，主題為“ HAOMO SPEED，AI SPEED ”。在主視覺(jué)中，DriveGPT、HPilot 3.0、MANA OASIS 等字樣隱現(xiàn)，尤其是 DriveGPT 生成式大模型自2023年2月宣布后其進(jìn)展一直備受關(guān)注。

第八屆 HAOMO AI DAY 舉辦地設(shè)在中德交往與開(kāi)放創(chuàng)新的重要窗口“北京中德產(chǎn)業(yè)園”。北京順義區(qū)一直是毫末研發(fā)中心所在地之一，毫末的輔助駕駛產(chǎn)品 HPilot、末端物流自動(dòng)配送車小魔駝，也一直在順義開(kāi)展道路測(cè)試。

此外，大會(huì)主視覺(jué)上齒輪與集成電路構(gòu)成的 Logo 元素未來(lái)感炸裂，結(jié)合此前已經(jīng)官宣透露的全球首個(gè)自動(dòng)駕駛生成式大模型 DriveGPT 、中國(guó)自動(dòng)駕駛行業(yè)最大智算中心“雪湖·綠洲”( MANA OASIS )、中國(guó)首個(gè)重感知技術(shù)方案的毫末城市 NOH 已在北京、上海、保定等地路測(cè)、2023毫末四大戰(zhàn)役等信息。

2023年開(kāi)局，全球人工智能風(fēng)起云涌，大模型驅(qū)動(dòng)產(chǎn)業(yè)加速發(fā)展。ChatGPT 火爆出圈，讓人工智能走向每一個(gè)終端用戶。在智能時(shí)代的浪潮下，HAOMO AI DAY 已連續(xù)成功舉辦七屆。每屆 AI DAY 上，毫末都會(huì)分享全球最前沿自動(dòng)駕駛 AI 技術(shù)趨勢(shì)及領(lǐng)先產(chǎn)品進(jìn)展。

上易車App首頁(yè)點(diǎn)擊銷量排行，查看最全面的周銷量數(shù)據(jù)。

毫末發(fā)布自動(dòng)駕駛生成式大模型DriveGPT 中文名"雪湖·海若"

易車訊 日前，我們從官方渠道獲悉，在第八屆HAOMO AI DAY上，毫末智行發(fā)布自動(dòng)駕駛生成式大模型DriveGPT，中文名"雪湖·海若"。生態(tài)方面，毫末官宣取得3個(gè)主機(jī)廠定點(diǎn)合同，商業(yè)化迎來(lái)躍升一步；同時(shí)毫末推出的中國(guó)首個(gè)重感知、不依賴高精地圖的城市NOH即將量產(chǎn)上車，最先落地北京、上海、保定等城市。

毫末打造的自動(dòng)駕駛生成式大模型DriveGPT雪湖·海若通過(guò)引入駕駛數(shù)據(jù)建立RLHF（人類反饋強(qiáng)化學(xué)習(xí)）技術(shù)，對(duì)自動(dòng)駕駛認(rèn)知決策模型進(jìn)行持續(xù)優(yōu)化，現(xiàn)階段主要用于解決自動(dòng)駕駛的認(rèn)知決策問(wèn)題，終極目標(biāo)是實(shí)現(xiàn)端到端自動(dòng)駕駛。

毫末DriveGPT雪湖·海若已開(kāi)啟對(duì)限量首批生態(tài)伙伴的開(kāi)放合作，北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院、高通、火山引擎、華為云、京東科技、四維圖新、魏牌新能源、英特爾等高校與企業(yè)加入。

產(chǎn)品方面，毫末中國(guó)首款可大規(guī)模量產(chǎn)落地、重感知城市NOH，將首批落地北京、保定、上海等城市，并開(kāi)啟泛化測(cè)試，到2024年有序落地100城。首款搭載HPilot3.0的新摩卡DHT-PHEV即將重磅上市，這也是毫末DriveGPT雪湖·海若的首發(fā)落地車型，全面確保毫末城市NOH的行業(yè)領(lǐng)先性。

生態(tài)層面，毫末乘用車6P開(kāi)放合作取得重大突破，已與3家主機(jī)廠簽署定點(diǎn)合同，相關(guān)項(xiàng)目正在交付中。這是毫末商業(yè)化的重要一躍，全面保障了毫末高速發(fā)展態(tài)勢(shì)。

毫末智行董事長(zhǎng)張凱判斷：“2023年智駕產(chǎn)品進(jìn)入全線爆發(fā)期，大模型開(kāi)啟在車端的落地應(yīng)用，車主的使用頻率和滿意度成為產(chǎn)品競(jìng)爭(zhēng)力的重要衡量標(biāo)準(zhǔn)。毫末不斷進(jìn)步的數(shù)據(jù)驅(qū)動(dòng)的六大閉環(huán)能力將進(jìn)一步加速毫末進(jìn)入自動(dòng)駕駛3.0時(shí)代的步伐并形成相應(yīng)的護(hù)城河?！?span style="display:none">y2b創(chuàng)意嶺 - 安心托付、值得信賴的品牌設(shè)計(jì)、營(yíng)銷策劃公司

張凱認(rèn)為，智駕產(chǎn)品正在進(jìn)入快速增長(zhǎng)的全線爆發(fā)期，2023年是非常關(guān)鍵的一年。首先，城市導(dǎo)航輔助駕駛產(chǎn)品在2023年將圍繞量產(chǎn)上車發(fā)力，主要玩家的城市導(dǎo)航輔助駕駛產(chǎn)品進(jìn)入到真實(shí)用戶覆蓋和多城市落地的比拼。其次，行泊一體和末端物流自動(dòng)配送產(chǎn)業(yè)商業(yè)化將成為自動(dòng)駕駛公司深耕的重點(diǎn)。在乘用車領(lǐng)域，搭載行泊一體功能的智駕產(chǎn)品將迎來(lái)前裝量產(chǎn)潮；在末端物流自動(dòng)配送領(lǐng)域，末端物流自動(dòng)配送車在商超、快遞等場(chǎng)景迎來(lái)爆發(fā)，2023年將在這些場(chǎng)景實(shí)現(xiàn)可持續(xù)商業(yè)化閉環(huán)。

首款搭載HPilot3.0的新摩卡DHT-PHEV即將重磅上市，第二款搭載毫末HPilot3.0的車型魏牌藍(lán)山也將在今年發(fā)布。毫末HPilot整體已搭載近20款車型。用戶輔助駕駛行駛里程突破4000萬(wàn)公里，HPilot2.0輔助駕駛?cè)站旭偫锍淌褂寐蔬_(dá)到了12.6%。海外布局方面，搭載毫末HPilot的車輛已運(yùn)往歐盟、以色列等地區(qū)和國(guó)家，陸續(xù)交付到用戶手中，接下來(lái)將在中東、南非、澳大利亞等市場(chǎng)陸續(xù)投放；同時(shí)，毫末HPilot即將量產(chǎn)墨西哥版本及俄羅斯版本。

3月，高工智能汽車研究院在每個(gè)年度基于前裝量產(chǎn)數(shù)據(jù)庫(kù)及定點(diǎn)車型庫(kù)數(shù)據(jù)進(jìn)行綜合評(píng)估，通過(guò)對(duì)毫末前裝近20款車輛等數(shù)據(jù)研究，為毫末頒發(fā)年度高階智能駕駛系統(tǒng)量產(chǎn)份額領(lǐng)軍獎(jiǎng)。第三方數(shù)據(jù)佐證毫末是中國(guó)量產(chǎn)自動(dòng)駕駛絕對(duì)領(lǐng)軍者。

其次是“MANA大模型巔峰之戰(zhàn)”，中國(guó)首個(gè)自動(dòng)駕駛數(shù)據(jù)智能體系MANA架構(gòu)已迎來(lái)全線升級(jí)。到2023年4月，MANA學(xué)習(xí)時(shí)長(zhǎng)超56萬(wàn)小時(shí)，相當(dāng)于人類司機(jī)6.8萬(wàn)年。毫末DriveGPT雪湖·海若，已經(jīng)完成基于4000萬(wàn)公里駕駛數(shù)據(jù)的訓(xùn)練，參數(shù)規(guī)模達(dá)1200億。

第三是“城市NOH百城大戰(zhàn)”，中國(guó)首款可大規(guī)模量產(chǎn)落地、重感知城市NOH，已在北京、保定、上海等城市開(kāi)啟泛化測(cè)試，即將量產(chǎn)上車，到2024年有序落地100城。毫末會(huì)以“安全為先、用戶為先、規(guī)模為先”的原則，加速贏得城市NOH百城大戰(zhàn)。

最后是“末端物流自動(dòng)配送商業(yè)之戰(zhàn)”，毫末末端物流自動(dòng)配送車小魔駝已在商超履約、智慧社區(qū)、校園配送、餐飲零售、機(jī)場(chǎng)巡邏、高校教育、快遞接駁、智慧園區(qū)、大氣環(huán)評(píng)等九大場(chǎng)景開(kāi)啟運(yùn)營(yíng)，加速商業(yè)化閉環(huán)能力。2023年3月，小魔駝2.0獲北京亦莊無(wú)人配送車車輛編碼，開(kāi)啟亦莊運(yùn)營(yíng)。毫末也成為《北京智能網(wǎng)聯(lián)汽車政策先行區(qū)無(wú)人配送測(cè)試規(guī)范》升級(jí)后，準(zhǔn)許在北京市高級(jí)別自動(dòng)駕駛示范區(qū)公開(kāi)道路進(jìn)行無(wú)人配送車測(cè)試的首個(gè)公司。

“技術(shù)領(lǐng)先是生存根本，毫末鼓勵(lì)所有技術(shù)研發(fā)同學(xué)投入到技術(shù)創(chuàng)新當(dāng)中?！睆垊P在演講中再次強(qiáng)調(diào)了毫末對(duì)于技術(shù)研發(fā)投入的堅(jiān)定決心。截至目前，毫末已獲得專利證書(shū)164件，國(guó)際頂級(jí)學(xué)術(shù)會(huì)議論文收錄6篇，最新2篇更是分別入選計(jì)算機(jī)視覺(jué)識(shí)別領(lǐng)域三大頂會(huì)之一的CVPR和全球首個(gè)智能車專業(yè)期刊IEEE TIV。毫末已將所有論文在GitHub開(kāi)源，與業(yè)內(nèi)共享。

現(xiàn)場(chǎng)，張凱還向外界公布了毫末6P開(kāi)放合作的重要進(jìn)展，目前已與3家主機(jī)廠簽署定點(diǎn)合同，相關(guān)項(xiàng)目正在交付中?！昂聊┦冀K認(rèn)為，自動(dòng)駕駛是一個(gè)共同進(jìn)退、共享成果的前沿產(chǎn)業(yè)。只有健康的生態(tài)伙伴才能支持毫末高速發(fā)展?！睆垊P表示。

此外，毫末一直堅(jiān)持場(chǎng)景化用戶體驗(yàn)設(shè)計(jì)、人工智能技術(shù)、技術(shù)工程化能力均衡發(fā)展，不斷以數(shù)據(jù)驅(qū)動(dòng)閉環(huán)的方式完善用戶體驗(yàn)。張凱介紹，三個(gè)月時(shí)間，毫末在數(shù)據(jù)驅(qū)動(dòng)六大閉環(huán)體系上實(shí)現(xiàn)多重進(jìn)展。

用戶需求閉環(huán)方面，毫末對(duì)駕駛場(chǎng)景數(shù)據(jù)持續(xù)分析完善策略，并進(jìn)行新功能體驗(yàn)反饋；研發(fā)效能閉環(huán)方面，毫末將數(shù)據(jù)驅(qū)動(dòng)理念深入到產(chǎn)品需求定義、感知與認(rèn)知算法開(kāi)發(fā)等產(chǎn)品開(kāi)發(fā)流程，整體開(kāi)發(fā)效率提升30%；數(shù)據(jù)積累閉環(huán)方面，毫末在車端部署診斷服務(wù)數(shù)據(jù)場(chǎng)景標(biāo)簽覆蓋92%的駕駛場(chǎng)景。

數(shù)據(jù)價(jià)值閉環(huán)方面，毫末大模型正在持續(xù)挖掘數(shù)據(jù)價(jià)值解決關(guān)鍵問(wèn)題；產(chǎn)品自完善閉環(huán)方面，毫末實(shí)現(xiàn)售后問(wèn)題處理速度較傳統(tǒng)方式的十倍效率提升，實(shí)現(xiàn)最快10分鐘定位售后問(wèn)題。兩年時(shí)間有效挖掘產(chǎn)品提升點(diǎn)，問(wèn)題閉環(huán)率達(dá)76%；業(yè)務(wù)工程化閉環(huán)方面，毫末進(jìn)一步完善了從采集回流、標(biāo)注訓(xùn)練、系統(tǒng)標(biāo)定、仿真驗(yàn)證等環(huán)節(jié)到最終OTA釋放環(huán)節(jié)的產(chǎn)品研發(fā)全流程工程化閉環(huán)。

毫末DriveGPT雪湖·海若通過(guò)引入駕駛數(shù)據(jù)建立RLHF（人類反饋強(qiáng)化學(xué)習(xí)）技術(shù)，對(duì)自動(dòng)駕駛認(rèn)知決策模型進(jìn)行持續(xù)優(yōu)化。它的最終目標(biāo)是實(shí)現(xiàn)端到端自動(dòng)駕駛，現(xiàn)階段主要用于解決自動(dòng)駕駛的認(rèn)知決策問(wèn)題，后續(xù)持續(xù)會(huì)將毫末多個(gè)大模型的能力整合到DriveGPT。目前，毫末DriveGPT雪湖·海若實(shí)現(xiàn)了模型架構(gòu)與參數(shù)規(guī)模的升級(jí)，參數(shù)規(guī)模達(dá)到1200億，預(yù)訓(xùn)練階段引入4000萬(wàn)公里量產(chǎn)車駕駛數(shù)據(jù)，RLHF階段引入 5萬(wàn)段人工精選的困難場(chǎng)景接管Clips。

DriveGPT雪湖·海若的底層模型采用GPT（Generative Pre-trained Transformer）生成式預(yù)訓(xùn)練大模型，與ChatGPT使用自然語(yǔ)言進(jìn)行輸入與輸出不同，DriveGPT輸入是感知融合后的文本序列，輸出是自動(dòng)駕駛場(chǎng)景文本序列，即將自動(dòng)駕駛場(chǎng)景Token化，形成“Drive Language”，最終完成自車的決策規(guī)控、障礙物預(yù)測(cè)以及決策邏輯鏈的輸出等任務(wù)。

DriveGPT雪湖·海若的實(shí)現(xiàn)過(guò)程是，首先在預(yù)訓(xùn)練階段通過(guò)引入量產(chǎn)駕駛數(shù)據(jù)，訓(xùn)練初始模型，再通過(guò)引入駕駛接管Clips數(shù)據(jù)完成反饋模型（Reward Model）的訓(xùn)練，然后再通過(guò)強(qiáng)化學(xué)習(xí)的方式，使用反饋模型去不斷優(yōu)化迭代初始模型，形成對(duì)自動(dòng)駕駛認(rèn)知決策模型的持續(xù)優(yōu)化。同時(shí)，DriveGPT雪湖·海若還會(huì)根據(jù)輸入端的提示語(yǔ)以及毫末CSS自動(dòng)駕駛場(chǎng)景庫(kù)的決策樣本去訓(xùn)練模型，讓模型學(xué)習(xí)推理關(guān)系，從而將完整駕駛策略拆分為自動(dòng)駕駛場(chǎng)景的動(dòng)態(tài)識(shí)別過(guò)程，完成可理解、可解釋的推理邏輯鏈生成。

現(xiàn)場(chǎng)，毫末宣布DriveGPT雪湖·海若首發(fā)車型是新摩卡DHT-PHEV，即將量產(chǎn)上市。顧維灝提到，DriveGPT雪湖·海若可以逐步應(yīng)用到城市NOH、捷徑推薦、智能陪練以及脫困場(chǎng)景中。有了DriveGPT雪湖·海若的加持，車輛行駛會(huì)更安全；動(dòng)作更人性、更絲滑，并有合理的邏輯告訴駕駛者，車輛為何選擇這樣的決策動(dòng)作。對(duì)于普通用戶來(lái)說(shuō)，車輛越來(lái)越像老司機(jī)，用戶對(duì)智能產(chǎn)品的信任感會(huì)更強(qiáng)，理解到車輛的行為都是可預(yù)期、可理解的。

毫末DriveGPT雪湖·海若將攜手生態(tài)伙伴率先探索四大應(yīng)用能力，包括智能駕駛、駕駛場(chǎng)景識(shí)別、駕駛行為驗(yàn)證、困難場(chǎng)景脫困。當(dāng)前，毫末在使用數(shù)據(jù)過(guò)程中，逐步建立起一套基于4D Clips駕駛場(chǎng)景識(shí)別方案，具備極高性價(jià)比。在行業(yè)上，給出正確的標(biāo)注結(jié)果，一張圖片需要約5元；如果使用DriveGPT雪湖·海若的場(chǎng)景識(shí)別服務(wù)，一張圖片的價(jià)格將下降到0.5元。單幀圖片整體標(biāo)注成本僅相當(dāng)于行業(yè)的1/10。接下來(lái)，毫末會(huì)將圖像幀及4D Clips場(chǎng)景識(shí)別服務(wù)逐步向行業(yè)開(kāi)放使用，這將大幅降低行業(yè)使用數(shù)據(jù)的成本，提高數(shù)據(jù)質(zhì)量，從而加速自動(dòng)駕駛技術(shù)的快速發(fā)展。

顧維灝介紹，毫末在2023年1月發(fā)布的中國(guó)自動(dòng)駕駛行業(yè)最大的智算中心MANA OASIS（雪湖· 綠洲）此次從算力優(yōu)化等層面升級(jí)了三大能力，進(jìn)一步支持DriveGPT雪湖·海若的算力。首先，毫末與火山引擎全新搭建了“全套大模型訓(xùn)練保障框架”，實(shí)現(xiàn)了異常任務(wù)分鐘級(jí)捕獲和恢復(fù)能力，可以保證千卡任務(wù)連續(xù)訓(xùn)練數(shù)個(gè)月沒(méi)有任何非正常中斷,有效保證了大模型訓(xùn)練穩(wěn)定性；其次，毫末研發(fā)出以真實(shí)數(shù)據(jù)回傳為核心的增量學(xué)習(xí)技術(shù)，并將其推廣到了大模型訓(xùn)練，構(gòu)建了一個(gè)大模型持續(xù)學(xué)習(xí)系統(tǒng)，自主研發(fā)任務(wù)級(jí)彈性伸縮調(diào)度器，分鐘級(jí)調(diào)度資源，集群計(jì)算資源利用率達(dá)到95%；最后，MANA OASIS通過(guò)提升數(shù)據(jù)吞吐量來(lái)降本增效，滿足Transformer大模型訓(xùn)練效率，通過(guò)引入火山引擎提供的Lego算子庫(kù)實(shí)現(xiàn)算子融合，端到端吞吐提升84%。

毫末打造的中國(guó)首個(gè)自動(dòng)駕駛數(shù)據(jù)智能體系MANA，在經(jīng)過(guò)一年多的應(yīng)用迭代后，本次AI DAY也迎來(lái)了全面的升級(jí)，正式開(kāi)放賦能。顧維灝介紹，MANA計(jì)算基礎(chǔ)服務(wù)針對(duì)大模型訓(xùn)練在參數(shù)規(guī)模、穩(wěn)定性和效率方面做了專項(xiàng)優(yōu)化，并集成到OASIS中；其次，MANA感知和認(rèn)知相關(guān)大模型能力統(tǒng)一整合到DriveGPT雪湖·海若中；第三，增加了使用NeRF技術(shù)的數(shù)據(jù)合成服務(wù)，降低Corner Case數(shù)據(jù)的獲取成本；同時(shí)針對(duì)多種芯片和多種車型的快速交付難題優(yōu)化了異構(gòu)部署工具和車型適配工具。

此外，MANA的視覺(jué)感知能力持續(xù)提升，一方面可同時(shí)學(xué)習(xí)三維空間結(jié)構(gòu)和圖片紋理，并將純視覺(jué)測(cè)距精度超過(guò)了超聲波雷達(dá)，BEV方案也擁有了更強(qiáng)的通用性和適配性；另一方面可實(shí)現(xiàn)單趟和多趟純視覺(jué)NeRF三維重建，道路場(chǎng)景更逼真，肉眼幾乎看不出差異。通過(guò)NeRF進(jìn)行場(chǎng)景重建后，可以編輯合成真實(shí)環(huán)境難以收集到的Corner Case。在原有的全局視角修改、添加光照/天氣效果的基礎(chǔ)上，新增合成虛擬動(dòng)態(tài)物體的能力，可以在原有設(shè)定的運(yùn)動(dòng)軌跡上，合成各種Hard Case，模擬城市復(fù)雜交通環(huán)境，用更低成本測(cè)試提升城市NOH能力邊界，更好提升應(yīng)對(duì)城市復(fù)雜交通環(huán)境。

值得一提的是，面對(duì)目前行業(yè)里最難的視覺(jué)任務(wù)之一——單目視覺(jué)測(cè)量，繼特斯拉后，毫末也在中國(guó)率先開(kāi)始驗(yàn)證能否使用魚(yú)眼相機(jī)代替超聲波雷達(dá)進(jìn)行測(cè)距，以滿足泊車要求。毫末把視覺(jué)BEV感知框架引入到了車端魚(yú)眼相機(jī)，做到了在15米范圍內(nèi)達(dá)到30cm的測(cè)量精度，2米內(nèi)精度高于10cm的視覺(jué)精度效果。泊車場(chǎng)景使用純視覺(jué)測(cè)距來(lái)取代超聲波雷達(dá)，將進(jìn)一步降低整體智駕成本。

易車超級(jí)評(píng)測(cè)體系重磅上線！專業(yè)、硬核、全面的汽車評(píng)測(cè)內(nèi)容云集，易車年度車型榜單新鮮出爐！上易車App搜索“超級(jí)評(píng)測(cè)”，等你來(lái)看！

自動(dòng)駕駛生成式大模型DriveGPT

DriveGPT雪湖·海若誕生，將重塑汽車智能化技術(shù)路線

和 ChatGPT 在 AIGC（AI- Generated Content，人工智能生成內(nèi)容）領(lǐng)域一樣具備顛覆性的事情正在發(fā)生。

4 月 11 日，自動(dòng)駕駛技術(shù)公司毫末智行在其第八屆 HAOMO AI DAY 上，重磅發(fā)布行業(yè)首個(gè)自動(dòng)駕駛生成式大模型 DriveGPT，中文名「雪湖·海若」，該模型參數(shù)規(guī)模達(dá)到 1200 億，可用于解決自動(dòng)駕駛研發(fā)過(guò)程中困擾已久的認(rèn)知決策問(wèn)題，并通過(guò)能力迭代，最終實(shí)現(xiàn)端到端自動(dòng)駕駛。

此前，受制于傳統(tǒng)模型「數(shù)據(jù)量小、基于規(guī)則」等局限性，智能駕駛技術(shù)進(jìn)展一度較為緩慢，甚至不少?gòu)臉I(yè)者都對(duì)未來(lái)產(chǎn)生了自我懷疑，在這樣的背景下，兩年前，毫末率先投入到大模型技術(shù)的研發(fā)之中，旨在尋找新的突破。

經(jīng)歷了先行探索和反復(fù)驗(yàn)證，毫末成功找到了突破口——生成式大模型，通過(guò)在行業(yè)首個(gè)將 GPT 落地到自動(dòng)駕駛領(lǐng)域，大大加速了更高階智能駕駛的落地應(yīng)用。

「生成式大模型將成為自動(dòng)駕駛系統(tǒng)進(jìn)化的關(guān)鍵，基于 Transformer 大模型訓(xùn)練的感知、認(rèn)知算法會(huì)逐步在車端進(jìn)行落地部署?！购聊┒麻L(zhǎng)張凱在 HAOMO AI DAY 上對(duì)行業(yè)未來(lái)發(fā)展趨勢(shì)作出論斷。

毫末 CEO 顧維灝也表示：「DriveGPT 雪湖·海若將會(huì)重塑汽車智能化技術(shù)路線，讓輔助駕駛進(jìn)化更快，讓自動(dòng)駕駛更早到來(lái)?！?span style="display:none">y2b創(chuàng)意嶺 - 安心托付、值得信賴的品牌設(shè)計(jì)、營(yíng)銷策劃公司

顧維灝在自動(dòng)駕駛技術(shù)領(lǐng)域的眼光獨(dú)到，布局非常領(lǐng)先。

事實(shí)上，毫末在 2021 年就已經(jīng)開(kāi)始了 Transformer 大模型技術(shù)的探索，并快速落地應(yīng)用到 BEV 視覺(jué)感知算法當(dāng)中，然后又以五大模型的方式來(lái)實(shí)現(xiàn)自動(dòng)駕駛感知、認(rèn)知算法的快速升級(jí)，現(xiàn)在這些大模型將統(tǒng)一到 DriveGPT 生成式大模型當(dāng)中，目標(biāo)將實(shí)現(xiàn)端到端自動(dòng)駕駛。

毫末的探索始終走在行業(yè)技術(shù)探索的前列。

據(jù)了解，新摩卡 DHT-PHEV 即將首發(fā)搭載 DriveGPT 雪湖·海若量產(chǎn)上市，屆時(shí)，用戶市場(chǎng)還將迎來(lái)一輪新的震撼。

「毫末真正重塑了行業(yè)信心，」一位業(yè)內(nèi)人士略微激動(dòng)地說(shuō)道，「這將是一場(chǎng)革命?！?span style="display:none">y2b創(chuàng)意嶺 - 安心托付、值得信賴的品牌設(shè)計(jì)、營(yíng)銷策劃公司

01、DriveGPT 雪湖·海若，如何顛覆智能駕駛

在介紹 DriveGPT 雪湖·海若之前，先回顧一下 ChatGPT 的概念，其全稱是 Chat Generative Pre-trained Transformer，字面意思是用于聊天的生成式預(yù)訓(xùn)練 Transformer 大模型。

其中 Transformer 是 ChatGPT 的重點(diǎn)，最早由谷歌在 2017 年提出，該模型基于注意力機(jī)制的設(shè)計(jì)，可以實(shí)現(xiàn)出色的算法并行性，因而迅速在自然語(yǔ)言處理（NLP) 領(lǐng)域流行起來(lái)，ChatGPT 就是其最新成果。

Transformer 大模型對(duì)于智能駕駛來(lái)說(shuō)也不陌生，在 NLP 中奠定了核心地位之后，被逐漸被引入計(jì)算機(jī)視覺(jué)（CV）領(lǐng)域，后又被特斯拉、毫末智行等行業(yè)龍頭先行引入自動(dòng)駕駛系統(tǒng)中，用于提升感知端的模型效果。

如今，毫末在 Transformer 大模型的應(yīng)用上更進(jìn)一步，將其率先拓展到智能駕駛系統(tǒng)認(rèn)知端，DriveGPT 雪湖·海若由此誕生。

從同樣使用 Transformer 大模型的角度來(lái)說(shuō)，ChatGPT 和 DriveGPT 雪湖·海若屬于同宗同源。

其中，ChatGPT 是對(duì)話式的生成式自然語(yǔ)言模型，輸入是自然語(yǔ)言的文本串，輸出是自然語(yǔ)言的文本，可以完成通用的下游語(yǔ)言生成任務(wù)，比如多輪對(duì)話、代碼生成、翻譯、數(shù)學(xué) 運(yùn)算等能力。

而毫末 DriveGPT 雪湖·海若是用于自動(dòng)駕駛場(chǎng)景的生成式大模型，輸入是感知融合后的文本序列，輸出是自動(dòng)駕駛場(chǎng)景文本序列，即將自動(dòng)駕駛場(chǎng)景 Token 化，形成「Drive Language」，最終完成自車的決策規(guī)控、障礙物預(yù)測(cè)以及決策邏輯鏈的輸出等任務(wù)。

DriveGPT 雪湖·海若首先在預(yù)訓(xùn)練階段通過(guò)引入量產(chǎn)駕駛數(shù)據(jù)，訓(xùn)練初始模型，再通過(guò)引入駕駛接管 Clips 數(shù)據(jù)完成反饋模型 (Reward Model) 的訓(xùn)練，然后再通過(guò)強(qiáng)化學(xué)習(xí)的方式，使用反饋模型去不斷優(yōu)化迭代初始模型，形成對(duì)自動(dòng)駕駛認(rèn)知決策模型的持續(xù)優(yōu)化。

具體來(lái)說(shuō)，DriveGPT 雪湖·海若會(huì)通過(guò)人類反饋強(qiáng)化學(xué)習(xí)的方式進(jìn)行迭代，用 DriveGPT 雪湖·海若最新模型 (Active Model) 對(duì)真實(shí)場(chǎng)景 Case 做生成，產(chǎn)出多種場(chǎng)景序列結(jié)果，再用反饋模型給這些結(jié)果進(jìn)行打分排序，目標(biāo)是把好的結(jié)果排上來(lái)，差的結(jié)果排下去，然后與初始模型 (Pretrain-Model) 的生成概率做比較，放大比分。最后通過(guò)強(qiáng)化學(xué)習(xí)的方式將參數(shù)再次更新到最新模型 (Active Model) 中，一直反復(fù)這個(gè)迭代過(guò)程。

其中，Reward Model(反饋模型) 的訓(xùn)練過(guò)程是獨(dú)立的，使用帶有偏序關(guān)系的 Pair 樣本對(duì)來(lái)訓(xùn)練，這些樣本對(duì)來(lái)自于接管 Case，毫末將與人類駕駛結(jié)果相似的模型結(jié)果作為正樣本，與被接管軌跡相似的作為負(fù)樣本，這樣來(lái)構(gòu)建偏序?qū)?，再利?LTR(Learning To Rank) 的思路去訓(xùn)練 Reward Model，進(jìn)而得到一個(gè)打分模型。

此外，DriveGPT 雪湖·海若還可以輸出決策邏輯鏈：即在輸入端提供 Prompts(提示語(yǔ))，根據(jù)提示輸出含有決策邏輯鏈 (Chain of Thought) 的未來(lái)序列。

毫末 CSS 自動(dòng)駕駛場(chǎng)景庫(kù)是 CoT 的重要輸入，擁有超過(guò)幾十萬(wàn)個(gè)細(xì)顆粒度場(chǎng)景，將 Prompt 提示語(yǔ)和完整決策過(guò)程的樣本交給模型去學(xué)習(xí)，學(xué)到推理關(guān)系，從而將完整駕駛策略拆分為自動(dòng)駕駛場(chǎng)景的動(dòng)態(tài)識(shí)別過(guò)程，完成可理解、可解釋的推理邏輯鏈生成。

除了用作認(rèn)知決策，DriveGPT 雪湖·海若還可以逐步應(yīng)用到城市 NOH、捷徑推薦、智能陪練以及脫困場(chǎng)景中。

有了 DriveGPT 雪湖·海若的加持，車輛行駛會(huì)更安全；動(dòng)作更人性、更絲滑，并有合理的邏輯告訴駕駛者，車輛為何選擇這樣的決策動(dòng)作。

對(duì)于普通用戶來(lái)說(shuō)，車輛越來(lái)越像老司機(jī)，用戶對(duì)智能產(chǎn)品的信任感會(huì)更強(qiáng)，理解到車輛的行為都是可預(yù)期、可理解的。

盡管 DriveGPT 雪湖·海若剛出世就擁有強(qiáng)大的功能，但這還不是它的「終局」，毫末對(duì)于 DriveGPT 雪湖·海若的目標(biāo)是實(shí)現(xiàn)端到端自動(dòng)駕駛，后續(xù)毫末會(huì)持續(xù)將多個(gè)大模型的能力整合到 DriveGPT 雪湖·海若中。

與此同時(shí)，毫末也對(duì)外構(gòu)建 DriveGPT 雪湖·海若生態(tài)，通過(guò)對(duì)行業(yè)提供開(kāi)放服務(wù)，促進(jìn)自動(dòng)駕駛的從業(yè)者和研究機(jī)構(gòu)，快速構(gòu)建基礎(chǔ)能力，釋放創(chuàng)新。

汽車之心獲知，毫末 DriveGPT 雪湖·海若首批定向邀請(qǐng)了北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院、高通、火山引擎、華為云、京東科技、四維圖新、魏牌新能源、英特爾等加入。

事實(shí)上，毫末對(duì)于大模型的開(kāi)放從 DriveGPT 雪湖·海若的中文名「雪湖·海若」即可窺見(jiàn)。

據(jù)了解，「海若」一詞出自《莊子·秋水》中的神話人物北海若，在該書(shū)中，另一神話人物河伯請(qǐng)教北海若，何謂大小之分，北海若教導(dǎo)河伯說(shuō)，不因天地而覺(jué)大，不因毫末而覺(jué)小。

毫末據(jù)此把 DriveGPT 中文名命名為「海若」，寓意著智慧包容、海納百川，為行業(yè)發(fā)展貢獻(xiàn)力量。

02、自動(dòng)駕駛生成式大模型「第一槍」，為何由毫末打響

自動(dòng)駕駛領(lǐng)域頂級(jí)玩家眾多，毫末憑何在全球首個(gè)推出了自動(dòng)駕駛生成式大模型 DriveGPT 雪湖·海若？

要回答這個(gè)問(wèn)題，首先要理清楚毫末 DriveGPT 雪湖·海若的本質(zhì)，它是應(yīng)用在智能駕駛上的人工智能，就必然離不開(kāi)人工智能三要素：算法、數(shù)據(jù)和算力，而這三者恰恰是毫末具備領(lǐng)先性優(yōu)勢(shì)的地方。

首先在算法的技術(shù)路線上，毫末早早就堅(jiān)定選擇走漸進(jìn)式發(fā)展路線，比「躍進(jìn)式」玩家的量產(chǎn)時(shí)間更早，更快形成規(guī)?；?，從用戶真實(shí)使用場(chǎng)景中積累足夠多的數(shù)據(jù)。

毫末還清晰地提出了從自動(dòng)駕駛 1.0 時(shí)代到自動(dòng)駕駛 3.0 時(shí)代的演進(jìn)路徑，并率先進(jìn)入以數(shù)據(jù)驅(qū)動(dòng)為核心的新時(shí)代。

從這時(shí)開(kāi)始，自動(dòng)駕駛獲取的數(shù)據(jù)量與數(shù)據(jù)多樣性將呈現(xiàn)指數(shù)級(jí)膨脹，在深度學(xué)習(xí)主導(dǎo)中，與大模型相輔相成，真正去解決自動(dòng)駕駛最后的長(zhǎng)尾難題。

在 2021 年 12 月第四屆 HAOMO AI DAY 上，毫末發(fā)布中國(guó)首個(gè)數(shù)據(jù)智能體系 MANA，其由四大板塊組成，分別是 TARS、LUCAS、VENUS 和 BASE。

其中，BASE 是整個(gè)系統(tǒng)架構(gòu)的底層，包括數(shù)據(jù)底座、數(shù)據(jù)融合、PoseidonOS 等。

其他三大板塊置于上層：

原型算法

提取數(shù)據(jù)價(jià)值

數(shù)據(jù)看板

<span style

【本文來(lái)自易車號(hào)作者汽車之心，版權(quán)歸作者所有,任何形式轉(zhuǎn)載請(qǐng)聯(lián)系作者。內(nèi)容僅代表作者觀點(diǎn)，與易車無(wú)關(guān)】

當(dāng)GPT遇到自動(dòng)駕駛，毫末首發(fā)DriveGPT

GPT之于自動(dòng)駕駛意味著什么？

文丨智駕網(wǎng) 黃華丹

ChatGPT帶火了AI，那么，當(dāng)GPT遇到自動(dòng)駕駛，又會(huì)發(fā)生怎樣的化學(xué)反應(yīng)？

GPT全稱Generative Pre-trained Transformer，即生成式預(yù)訓(xùn)練Transformer。簡(jiǎn)單概括即是一種基于互聯(lián)網(wǎng)可用數(shù)據(jù)訓(xùn)練的文本生成深度學(xué)習(xí)模型。

4月11日，在第八屆毫末AI DAY上，毫末CEO顧維灝正式發(fā)布了基于GPT技術(shù)的DriveGPT，中文名雪湖·海若。

DriveGPT能做到什么？又是如何構(gòu)建的？顧維灝在AI DAY上都做了詳細(xì)解讀。此外，AI DAY還展示了毫末自動(dòng)駕駛數(shù)據(jù)體系MANA的升級(jí)情況，主要是其在視覺(jué)感知能力上的進(jìn)展。

01.

什么是DriveGPT？能實(shí)現(xiàn)什么？

顧維灝首先講解了GPT的原理，生成式預(yù)訓(xùn)練Transformer模型本質(zhì)上是在求解下一個(gè)詞出現(xiàn)的概率，每一次調(diào)用都是從概率分布中抽樣并生成一個(gè)詞，這樣不斷地循環(huán)，就能生成一連串的字符，用于各種下游任務(wù)。

以中文自然語(yǔ)言為例，單字或單詞就是Token，中文的Token詞表有5萬(wàn)個(gè)左右。把Token輸入到模型，輸出就是下一個(gè)字詞的概率，這種概率分布體現(xiàn)的是語(yǔ)言中的知識(shí)和邏輯，大模型在輸出下一個(gè)字詞時(shí)就是根據(jù)語(yǔ)言知識(shí)和邏輯進(jìn)行推理的結(jié)果，就像根據(jù)一部偵探小說(shuō)的復(fù)雜線索來(lái)推理兇手是誰(shuí)。

而作為適用于自動(dòng)駕駛訓(xùn)練的大模型，DriveGPT雪湖·海若三個(gè)能力：

1.可以按概率生成很多個(gè)這樣的場(chǎng)景序列，每個(gè)場(chǎng)景都是一個(gè)全局的場(chǎng)景，每個(gè)場(chǎng)景序列都是未來(lái)有可能發(fā)生的一種實(shí)際情況。

2.是在所有場(chǎng)景序列都產(chǎn)生的情況下，能把場(chǎng)景中最關(guān)注的自車行為軌跡給量化出來(lái)，也就是生成場(chǎng)景的同時(shí)，便會(huì)產(chǎn)生自車未來(lái)的軌跡信息。

3.有了這段軌跡之后，DriveGPT雪湖·海若還能在生成場(chǎng)景序列、軌跡的同時(shí)，輸出整個(gè)決策邏輯鏈。

也就是說(shuō)，利用DriveGPT雪湖·海若，在一個(gè)統(tǒng)一的生成式框架下，就能做到將規(guī)劃、決策與推理等多個(gè)任務(wù)全部完成。

具體來(lái)看，DriveGPT雪湖·海若的設(shè)計(jì)是將場(chǎng)景Token化，毫末將其稱為Drive Language。

Drive Language將駕駛空間進(jìn)行離散化處理，每一個(gè)Token都表征場(chǎng)景的一小部分。目前毫末擁有50萬(wàn)個(gè)左右的Token詞表空間。如果輸入一連串過(guò)去已經(jīng)發(fā)生的場(chǎng)景Token序列，模型就可以根據(jù)歷史，生成未來(lái)所有可能的場(chǎng)景。

也就是說(shuō)，DriveGPT雪湖·海若同樣像是一部推理機(jī)器，告訴它過(guò)去發(fā)生了什么，它就能按概率推理出未來(lái)的多個(gè)可能。

一連串Token拼在一起就是一個(gè)完整的駕駛場(chǎng)景時(shí)間序列，包括了未來(lái)某個(gè)時(shí)刻整個(gè)交通環(huán)境的狀態(tài)以及自車的狀態(tài)。

有了Drive Language，就可以對(duì)DriveGPT進(jìn)行訓(xùn)練了。

毫末對(duì)DriveGPT的訓(xùn)練過(guò)程首先是根據(jù)駕駛數(shù)據(jù)以及之前定義的駕駛嘗試做一個(gè)大規(guī)模的預(yù)訓(xùn)練。

然后，通過(guò)在使用過(guò)程中接管或者不接管的場(chǎng)景，對(duì)預(yù)訓(xùn)練的結(jié)果進(jìn)行打分和排序，訓(xùn)練反饋模型。也就是說(shuō)利用正確的人類開(kāi)法來(lái)替代錯(cuò)誤的自動(dòng)駕駛開(kāi)法。

后續(xù)就是用強(qiáng)化學(xué)習(xí)的思路不斷優(yōu)化迭代模型。

在預(yù)訓(xùn)練模型上，毫末采用Decode-only結(jié)構(gòu)的GPT模型，每一個(gè)Token用于描述某時(shí)刻的場(chǎng)景狀態(tài)，包括障礙物的狀態(tài)、自車狀態(tài)、車道線情況等等。

目前，毫末的預(yù)訓(xùn)練模型擁有1200億個(gè)參數(shù)，使用4000萬(wàn)量產(chǎn)車的駕駛數(shù)據(jù)，本身就能夠?qū)Ω鞣N場(chǎng)景做生成式任務(wù)。

這些生成結(jié)果會(huì)按照人類偏好進(jìn)行調(diào)優(yōu)，在安全、高效、舒適等維度上做出取舍。同時(shí)，毫末會(huì)用部分經(jīng)過(guò)篩選的人類接管數(shù)據(jù)，大概5萬(wàn)個(gè)Clips去做反饋模型的訓(xùn)練，不斷優(yōu)化預(yù)訓(xùn)練模型。

在輸出決策邏輯鏈時(shí)，DriveGPT雪湖·海若利用了prompt提示語(yǔ)技術(shù)。輸入端給到模型一個(gè)提示，告訴它“要去哪、慢一點(diǎn)還是快一點(diǎn)、并且讓它一步步推理”，經(jīng)過(guò)這種提示后，它就會(huì)朝著期望的方向去生成結(jié)果，并且每個(gè)結(jié)果都帶有決策邏輯鏈。每個(gè)結(jié)果也會(huì)有未來(lái)出現(xiàn)的可能性。這樣我們就可以選擇未來(lái)出現(xiàn)可能性最大，最有邏輯的鏈條駕駛策略。

可以用一個(gè)形象的示例來(lái)解釋DriveGPT雪湖·海若的推理能力。假設(shè)提示模型要“抵達(dá)某個(gè)目標(biāo)點(diǎn)”，DriveGPT雪湖·海若會(huì)生成很多個(gè)可能的開(kāi)法，有的激進(jìn)，會(huì)連續(xù)變道超車，快速抵達(dá)目標(biāo)點(diǎn)，有的穩(wěn)重，跟車行駛到終點(diǎn)。這時(shí)如果提示語(yǔ)里沒(méi)有其他額外指示，DriveGPT雪湖·海若就會(huì)按照反饋訓(xùn)練時(shí)的調(diào)優(yōu)效果，最終給到一個(gè)更符合大部分人駕駛偏好的效果。

02.

實(shí)現(xiàn)DriveGPT毫末做了什么？

首先，DriveGPT雪湖·海若的訓(xùn)練和落地，離不開(kāi)算力的支持。

今年1月，毫末就和火山引擎共同發(fā)布了其自建智算中心，毫末雪湖·綠洲MANA OASIS。OASIS的算力高達(dá)67億億次/秒，存儲(chǔ)帶寬2T/秒，通信帶寬達(dá)到800G/秒。

當(dāng)然，光有算力還不夠，還需要訓(xùn)練和推理框架的支持。因此，毫末也做了以下三方面的升級(jí)。

一是訓(xùn)練穩(wěn)定性的保障和升級(jí)。

大模型訓(xùn)練是一個(gè)十分艱巨的任務(wù)，隨著數(shù)據(jù)規(guī)模、集群規(guī)模、訓(xùn)練時(shí)間的數(shù)量級(jí)增長(zhǎng)，系統(tǒng)穩(wěn)定性方面微小的問(wèn)題也會(huì)被無(wú)限放大，如果不加處理，訓(xùn)練任務(wù)就會(huì)經(jīng)常出錯(cuò)導(dǎo)致非正常中斷，浪費(fèi)前期投入的大量資源。

毫末在大模型訓(xùn)練框架的基礎(chǔ)上，與火山引擎共同建立了全套訓(xùn)練保障框架，通過(guò)訓(xùn)練保障框架，毫末實(shí)現(xiàn)了異常任務(wù)分鐘級(jí)捕獲和恢復(fù)能力，可以保證千卡任務(wù)連續(xù)訓(xùn)練數(shù)月沒(méi)有任何非正常中斷，有效地保障了DriveGPT雪湖·海若大模型訓(xùn)練的穩(wěn)定性。

二是彈性調(diào)度資源的升級(jí)。

毫末擁有量產(chǎn)車帶來(lái)的海量真實(shí)數(shù)據(jù)，可自動(dòng)化的利用回傳數(shù)據(jù)不斷的學(xué)習(xí)真實(shí)世界。由于每天不同時(shí)段回傳的數(shù)據(jù)量差異巨大，需要訓(xùn)練平臺(tái)具備彈性調(diào)度能力，自適應(yīng)數(shù)據(jù)規(guī)模大小。

毫末將增量學(xué)習(xí)技術(shù)推廣到大模型訓(xùn)練，構(gòu)建了一個(gè)大模型持續(xù)學(xué)習(xí)系統(tǒng)，研發(fā)了任務(wù)級(jí)彈性伸縮調(diào)度器，分鐘級(jí)調(diào)度資源，集群計(jì)算資源利用率達(dá)到95%。

三是吞吐效率的升級(jí)。

在訓(xùn)練效率上，毫末在Transformer的大矩陣計(jì)算上，通過(guò)對(duì)內(nèi)外循環(huán)的數(shù)據(jù)拆分、盡量保持?jǐn)?shù)據(jù)在SRAM中來(lái)提升計(jì)算的效率。在傳統(tǒng)的訓(xùn)練框架中，算子流程很長(zhǎng)，毫末通過(guò)引入火山引擎提供的Lego算之庫(kù)實(shí)現(xiàn)算子融合，使端到端吞吐提升84%。

有了算力和這三方面的升級(jí)，毫末可對(duì)DriveGPT雪湖·海若進(jìn)行更好的訓(xùn)練迭代升級(jí)。

03.

MANA大升級(jí)，攝像頭代替超聲波雷達(dá)

毫末在2021年12月的第四屆AI DAY上發(fā)布自動(dòng)駕駛數(shù)據(jù)智能體系MANA，經(jīng)過(guò)一年多時(shí)間的應(yīng)用迭代，現(xiàn)在MANA迎來(lái)了全面的升級(jí)。

據(jù)顧維灝介紹，本次升級(jí)主要包括：

1.感知和認(rèn)知相關(guān)大模型能力統(tǒng)一整合到DriveGPT。

2.計(jì)算基礎(chǔ)服務(wù)針對(duì)大模型訓(xùn)練在參數(shù)規(guī)模、穩(wěn)定性和效率方面做了專項(xiàng)優(yōu)化，并集成到OASIS當(dāng)中。

3.增加了使用NeRF技術(shù)的數(shù)據(jù)合成服務(wù)，降低Corner Case數(shù)據(jù)的獲取成本。

4.針對(duì)多種芯片和多種車型的快速交付難題，優(yōu)化了異構(gòu)部署工具和車型適配工具。

前文我們已經(jīng)詳細(xì)介紹了DriveGPT相關(guān)的內(nèi)容，以下主要來(lái)看MANA在視覺(jué)感知上的進(jìn)展。

顧維灝表示，視覺(jué)感知任務(wù)的核心目的都是恢復(fù)真實(shí)世界的動(dòng)靜態(tài)信息和紋理分布。因此毫末對(duì)視覺(jué)自監(jiān)督大模型做了一次架構(gòu)升級(jí)，將預(yù)測(cè)環(huán)境的三維結(jié)構(gòu)，速度場(chǎng)和紋理分布融合到一個(gè)訓(xùn)練目標(biāo)里面，使其能從容應(yīng)對(duì)各種具體任務(wù)。目前毫末視覺(jué)自監(jiān)督大模型的數(shù)據(jù)集超過(guò)400萬(wàn)Clips，感知性能提升20%。

在泊車場(chǎng)景下，毫末做到了用魚(yú)眼相機(jī)純視覺(jué)測(cè)距達(dá)到泊車要求，可做到在15米范圍內(nèi)達(dá)測(cè)量精度30cm，2米內(nèi)精度高于10cm。用純視覺(jué)代替超聲波雷達(dá)，進(jìn)一步降低整體方案的成本。

此外，在純視覺(jué)三維重建方面，通過(guò)視覺(jué)自監(jiān)督大模型技術(shù)，毫末不依賴激光雷達(dá)，就能將收集的大量量產(chǎn)回傳視頻轉(zhuǎn)化為可用于BEV模型訓(xùn)練的帶3D標(biāo)注的真值數(shù)據(jù)。

通過(guò)對(duì)NeRF的升級(jí)，毫末表示可以做到重建誤差小于10

【本文來(lái)自易車號(hào)作者智駕網(wǎng)，版權(quán)歸作者所有,任何形式轉(zhuǎn)載請(qǐng)聯(lián)系作者。內(nèi)容僅代表作者觀點(diǎn)，與易車無(wú)關(guān)】

以上就是關(guān)于自動(dòng)駕駛生成式大模型DriveGPT相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。