正文

gpt算力（gpt算力需求）

發(fā)布時(shí)間：2023-05-25 00:54:42 稿源：創(chuàng)意嶺閱讀： 50

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于gpt算力的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，有小程序、在線網(wǎng)頁(yè)版、PC客戶端和批量生成器

問(wèn)友Ai官網(wǎng)：https://ai.de1919.com。

本文目錄:

「大模型+大算力」加持，通用人工智能和智能駕駛雙向奔赴
當(dāng)GPT遇到自動(dòng)駕駛，毫末首發(fā)DriveGPT
吉普提的算力核心由什么構(gòu)成
DriveGPT落地后，卷激光雷達(dá)和算力會(huì)變得毫無(wú)意義？

gpt算力（gpt算力需求）

「大模型+大算力」加持，通用人工智能和智能駕駛雙向奔赴

開(kāi)年以來(lái) ChatGPT、GPT-4 的相繼面世再度掀起計(jì)算機(jī)科學(xué)領(lǐng)域通用人工智能（AGI）研究熱潮，也不斷刷新我們對(duì) AI 的認(rèn)知。

作為具有人類水平表現(xiàn)的大型多模態(tài)模型，GPT-4 被視為邁向 AGI 的重要一步，標(biāo)志著創(chuàng)新范式的深度變革和生產(chǎn)力的重新定義，也必將帶來(lái)更多元的產(chǎn)品遷移。

截至目前，全球已經(jīng)有超百萬(wàn)家初創(chuàng)公司聲稱使用這一秘密武器來(lái)創(chuàng)造新產(chǎn)品，而這些產(chǎn)品將徹底改變從法律到股票交易，從游戲到醫(yī)療診斷的近乎一切領(lǐng)域。

盡管其中很多是營(yíng)銷泡沫，但與所有技術(shù)突破一樣，總會(huì)存在炒作周期和意想不到的遠(yuǎn)期效果。

事實(shí)上在另一邊，進(jìn)入 2023 年智能汽車(chē)領(lǐng)域同樣十分熱鬧。

智能化已然成為上海車(chē)展全場(chǎng)關(guān)注的最大焦點(diǎn)，除了激光雷達(dá)等關(guān)鍵傳感器的單點(diǎn)式突破，各大巨頭也紛紛展示智能駕駛?cè)a(chǎn)品矩陣，城市場(chǎng)景輔助駕駛量產(chǎn)落地加速推進(jìn)。

更加值得注意的是，BEV、大模型、超算中心等計(jì)算機(jī)熱詞正在與自動(dòng)駕駛、行泊一體、城市 NOA 等智駕焦點(diǎn)火速排列組合，頗有相互交融、雙向奔赴的味道。

在這背后，一方面是近年來(lái)智駕、智艙持續(xù)升級(jí)對(duì) AI 在汽車(chē)場(chǎng)景落地的數(shù)據(jù)、算法、算力不斷提出更高要求，另一方面，AGI 的重大突破也已將觸角伸向智能汽車(chē)，將其視為實(shí)現(xiàn)閉環(huán)應(yīng)用的重要場(chǎng)景，很多企業(yè)布局已經(jīng)相當(dāng)高調(diào)。

日前，商湯科技 SenseTime 舉辦技術(shù)交流日活動(dòng)，分享了以「大模型+大算力」推進(jìn) AGI 發(fā)展的戰(zhàn)略布局，并公布該戰(zhàn)略下的「日日新 SenseNova」大模型體系。

在「大模型+大算力」加持下，本次上海車(chē)展商湯絕影駕、艙、云一體產(chǎn)品體系已全棧亮相，近 30 款合作量產(chǎn)車(chē)型集中展出，商湯也再度分享了智能汽車(chē)時(shí)代的 AGI 落地新思考。

本次上海車(chē)展亮相的部分絕影合作車(chē)型展示

01、算法：AI 正式步入大模型時(shí)代

如商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家、絕影智能汽車(chē)事業(yè)群總裁王曉剛所言，「AGI 催生了新的研究范式，即基于一個(gè)強(qiáng)大的多模態(tài)基模型，通過(guò)強(qiáng)化學(xué)習(xí)和人類反饋不斷解鎖基模型新的能力，從而更高效地解決海量的開(kāi)放式任務(wù)?！?span style="display:none">ysq創(chuàng)意嶺 - 安心托付、值得信賴的品牌設(shè)計(jì)、營(yíng)銷策劃公司

通用大模型并非為自動(dòng)駕駛而生，或?yàn)闈M足自動(dòng)駕駛的特定任務(wù)需求而設(shè)計(jì)。但智能駕駛開(kāi)發(fā)的諸多新需求已在推動(dòng)算法從專用小模型向通用大模型快速演進(jìn)。

首先是應(yīng)對(duì)海量數(shù)據(jù)處理和 Corner Case 問(wèn)題的迫切需求。

對(duì)于感知系統(tǒng)低頻出現(xiàn)但至關(guān)重要的小目標(biāo)及帶來(lái)的潛在安全隱患，算法開(kāi)發(fā)需要面對(duì)海量數(shù)據(jù)，傳統(tǒng)的 AI 小模型將難以同時(shí)處理大數(shù)據(jù)量和高復(fù)雜度的任務(wù)。通用大模型則可用在長(zhǎng)尾目標(biāo)的初篩過(guò)程，并疊加語(yǔ)料文字處理得到很好的效果。

再比如智駕算法開(kāi)發(fā)對(duì)自動(dòng)化數(shù)據(jù)標(biāo)注、降低人工成本的訴求。相比于人工標(biāo)注，通用大模型將自動(dòng)化對(duì)海量數(shù)據(jù)完成標(biāo)注任務(wù)，大幅降低標(biāo)注數(shù)據(jù)獲取的時(shí)間成本和本身的金錢(qián)成本，從而縮短研發(fā)周期、提升成本效益。

處于類似的考量，近年來(lái)國(guó)內(nèi)外巨頭企業(yè)已圍繞大模型紛紛展開(kāi)各自智駕布局。

繼 Google 于 2017 年提出將 Transformer 結(jié)構(gòu)應(yīng)用在 CV 領(lǐng)域圖像分類，大模型已在 GPT-2、GPT-3、BERT 等當(dāng)中不斷證明實(shí)力，特斯拉率先站臺(tái) Transformer 大模型征戰(zhàn)圖像視覺(jué)。

國(guó)內(nèi)企業(yè)也緊隨其后：

毫末智行已宣布自動(dòng)駕駛認(rèn)知大模型正式升級(jí)為 DriveGPT，百度表示利用大模型來(lái)提升自動(dòng)駕駛感知能力并將大模型運(yùn)用到數(shù)據(jù)挖掘，華為也已宣布加入大模型爭(zhēng)霸賽，自研「盤(pán)古」即將對(duì)外上線。

作為行業(yè)領(lǐng)先的人工智能公司，商湯在大模型領(lǐng)域可謂乘風(fēng)破浪，過(guò)去一兩年則全面將大模型能力在各業(yè)務(wù)線 20 多個(gè)場(chǎng)景落地，包括智能駕駛。

商湯「日日新 SenseNova」大模型體系背后是大模型研發(fā)中深厚的積累。商湯有自己的全棧大模型研發(fā)體系，其中就包括針對(duì)大模型的底層訓(xùn)練及實(shí)施過(guò)程中的各種系統(tǒng)性優(yōu)化。

例如，商湯近期向社區(qū)發(fā)布的用于真實(shí)感知、重建和生成的多模態(tài)的數(shù)據(jù)集 OmniObject3D 中包含 190 類 6000 個(gè)物體，數(shù)據(jù)質(zhì)量非常高。

再比如，商湯在 2019 年就已首次發(fā)布 10 億參數(shù)的視覺(jué)大模型，到 2022 年參數(shù)規(guī)模已達(dá)到 320 億，這也是世界上迄今為止最大的視覺(jué)模型。

此外，商湯也在智駕領(lǐng)域持續(xù)展示大模型能力。2021 年開(kāi)發(fā)的 BEV 感知算法在 Waymo 挑戰(zhàn)賽以絕對(duì)優(yōu)勢(shì)取得冠軍，2021 年 BEV Former 的 Transformer 結(jié)構(gòu)至今仍是行業(yè)最有影響力的 BEV 工作，今年開(kāi)發(fā)的 UniAD 是業(yè)內(nèi)首個(gè)感知決策一體化的端到端自動(dòng)駕駛解決方案。

在技術(shù)實(shí)力的另一端是量產(chǎn)進(jìn)度。商湯也給出了自己的智能駕駛量產(chǎn)公式：

自動(dòng)駕駛技術(shù)能力=場(chǎng)景數(shù)據(jù) x 數(shù)據(jù)獲取效率 x 數(shù)據(jù)利用效率² =場(chǎng)景數(shù)據(jù) x 數(shù)據(jù)獲取效率 x 先進(jìn)算法 x 先進(jìn)算力。

而先進(jìn)的算法大模型不僅將通過(guò)跨行業(yè)數(shù)據(jù)匯聚提升駕駛場(chǎng)景數(shù)據(jù)資源，通過(guò)數(shù)據(jù)閉環(huán)開(kāi)發(fā)模式和自動(dòng)數(shù)據(jù)標(biāo)注提升數(shù)據(jù)獲取效率，更將大幅提升感知精度和感知豐富度進(jìn)而成倍提升數(shù)據(jù)利用效率。

依托原創(chuàng) AI 算法和模型積累，商湯領(lǐng)先的 BEV 感知算法推進(jìn)國(guó)內(nèi)首批量產(chǎn)應(yīng)用，并采用 Domain Adaption 算法有效解決跨域泛化問(wèn)題。商湯首創(chuàng)的自動(dòng)駕駛 GOP 感知體系將目標(biāo)數(shù)據(jù)獲取的人力成本降低 94%，實(shí)現(xiàn)低成本的車(chē)端模型開(kāi)發(fā)，目前也已投入量產(chǎn)應(yīng)用。

02、算力：智能汽車(chē)時(shí)代的重要基礎(chǔ)設(shè)施

隨電子電氣架構(gòu)技術(shù)由分布式不斷向集中式演進(jìn)，大算力芯片成為新型電子電氣架構(gòu)實(shí)現(xiàn)的物理基礎(chǔ)。

近年來(lái)車(chē)端芯片算力發(fā)展突飛猛進(jìn)，如英偉達(dá)規(guī)劃中的 Atlan 單顆芯片算力超 1000TOPS，THOR 單顆算力超 2000TOPS，將大幅提升單車(chē)感知決策能力。

而在云端，AGI 在自動(dòng)駕駛、網(wǎng)聯(lián)等場(chǎng)景的泛化應(yīng)用將提出比車(chē)端指數(shù)級(jí)更高的算力要求——從數(shù)據(jù)標(biāo)注到模型訓(xùn)練，從場(chǎng)景仿真到算法迭代。

算力將是智能汽車(chē)時(shí)代的新型基礎(chǔ)設(shè)施。

在此背景下，近年來(lái)主流企業(yè)紛紛開(kāi)啟雙線并行探索，車(chē)端自研算力平臺(tái)，云端建立超算中心。而進(jìn)入大模型時(shí)代后，數(shù)據(jù)量隨著多模態(tài)的引入也將大規(guī)模增長(zhǎng)，因此必然也會(huì)導(dǎo)致 AGI 對(duì)算力需求的劇增。

可以看到，英偉達(dá)車(chē)端云端同步布局并將提供端到端的全棧式 AI 加速計(jì)算解決方案，特斯拉也早在 2021 年 8 月發(fā)布自研云端超算中心 Dojo。

據(jù)近期報(bào)道，埃隆·馬斯克也將成立一家人工智能公司來(lái)與 OpenAI 競(jìng)爭(zhēng)，已購(gòu)買(mǎi)數(shù)千個(gè)英偉達(dá) GPU 并一直招募 AI 研究人員和工程師。

國(guó)內(nèi)方面，吉利、蔚來(lái)、特斯拉、毫末智行、小鵬等企業(yè)也已跟進(jìn)布局云端算力集群，投入巨大以提升智駕開(kāi)發(fā)算力儲(chǔ)備。

對(duì)于商湯來(lái)說(shuō)，如果說(shuō)大模型將是支撐智能駕駛的上層建筑，那么大算力就是數(shù)字基座。

商湯科技董事長(zhǎng)兼 CEO 徐立表示，目前大模型對(duì)基礎(chǔ)算力、基礎(chǔ)設(shè)施的需求非常旺盛，基礎(chǔ)算力對(duì)并行效率的要求也非常高，但真正好用的基礎(chǔ)設(shè)施其實(shí)十分稀缺。

出于這一原因，商湯歷時(shí)五年自建了業(yè)界領(lǐng)先的 AI 大裝置 SenseCore，完成 2.7 萬(wàn)塊 GPU 的部署并實(shí)現(xiàn) 5.0 exa FLOPS 的算力輸出能力，是亞洲目前最大的智能計(jì)算平臺(tái)之一，可同步支持 20 個(gè)千億規(guī)模參數(shù)量的超大模型同時(shí)訓(xùn)練。

位于上海臨港的 AIDC 人工智能計(jì)算中心將為智能汽車(chē)的數(shù)據(jù)存儲(chǔ)、標(biāo)注、脫敏、仿真訓(xùn)練、算法迭代到部署的閉環(huán)提供算力支持，打通基于數(shù)據(jù)驅(qū)動(dòng)的算法生產(chǎn)全流程，加速高級(jí)別智能駕駛技術(shù)的 AI 模型生產(chǎn)和持續(xù)迭代，推動(dòng)實(shí)現(xiàn)規(guī)?；慨a(chǎn)。

在 AIDC 的基礎(chǔ)上，AI 大裝置也將提供支持大模型生產(chǎn)的一系列服務(wù)：

處理大模型需要的自動(dòng)化數(shù)據(jù)標(biāo)注，將使智能標(biāo)注效率提升百倍；大模型推理部署，使得推理效率提升 100% 以上；大模型并行訓(xùn)練，最大 4000 塊卡并聯(lián)的單集群，可訓(xùn)練參數(shù)量超 5000 億的稠密模型，可訓(xùn)練超萬(wàn)億參數(shù)；大模型增量訓(xùn)練，增量微調(diào)成本降低 90%；開(kāi)源模型和大模型訓(xùn)練開(kāi)發(fā)者工具，大規(guī)模提升開(kāi)發(fā)效率。

如此規(guī)模的算力設(shè)施即使特斯拉同期也尚難以望其項(xiàng)背，也必將推動(dòng)大模型的高效閉環(huán)。

03、「大模型+大算力」推動(dòng)智能汽車(chē)行業(yè)整體進(jìn)程

汽車(chē)行業(yè)正在面臨百年未有之大變革。盡管此次以「大模型+大算力」推進(jìn) AGI 發(fā)展是商湯提出的戰(zhàn)略布局，但事實(shí)上，這一理念早已在行業(yè)層面達(dá)成共識(shí)。

基于感知、決策規(guī)控和 AI 云三大核心能力，商湯「大模型+大算力」已賦能絕影駕、艙、云三位一體產(chǎn)品體系量產(chǎn)落地：

除智能駕駛領(lǐng)域的全棧能力和行泊一體量產(chǎn)解決方案外，「大模型+大算力」也正在助力商湯打造智能座艙跨場(chǎng)景生態(tài)。

車(chē)展期間，與商湯「日日新 SenseNova」大模型體系深度融合的絕影未來(lái)展示艙升級(jí)亮相，語(yǔ)言大模型「商湯商量 SenseChat」以及 AIGC 文生圖平臺(tái)「商湯秒畫(huà) SenseMirage」也已上車(chē)，多點(diǎn)融合重構(gòu)人車(chē)交互方式，打造第三空間。

以「商量」為例，作為千億級(jí)參數(shù)的自然語(yǔ)言處理模型，其使用大量數(shù)據(jù)訓(xùn)練并充分考慮中文語(yǔ)境，展示出出色的多輪對(duì)話和超長(zhǎng)文本的理解能力。

商湯也展示了語(yǔ)言大模型支持的諸多汽車(chē)場(chǎng)景創(chuàng)新應(yīng)用，如在行車(chē)過(guò)程中化身「郵件助手」自動(dòng)提煉關(guān)鍵信息，作為「會(huì)議助理」自動(dòng)生成會(huì)議紀(jì)要，大大節(jié)省用戶行車(chē)時(shí)處理工作的時(shí)間和精力，為未來(lái)出行的應(yīng)用場(chǎng)景拓展帶來(lái)豐富的想象空間。

此外，以人工智能大模型開(kāi)發(fā)、生產(chǎn)、應(yīng)用為核心，一站式

【本文來(lái)自易車(chē)號(hào)作者汽車(chē)之心，版權(quán)歸作者所有,任何形式轉(zhuǎn)載請(qǐng)聯(lián)系作者。內(nèi)容僅代表作者觀點(diǎn)，與易車(chē)無(wú)關(guān)】

當(dāng)GPT遇到自動(dòng)駕駛，毫末首發(fā)DriveGPT

GPT之于自動(dòng)駕駛意味著什么？

文丨智駕網(wǎng) 黃華丹

ChatGPT帶火了AI，那么，當(dāng)GPT遇到自動(dòng)駕駛，又會(huì)發(fā)生怎樣的化學(xué)反應(yīng)？

GPT全稱Generative Pre-trained Transformer，即生成式預(yù)訓(xùn)練Transformer。簡(jiǎn)單概括即是一種基于互聯(lián)網(wǎng)可用數(shù)據(jù)訓(xùn)練的文本生成深度學(xué)習(xí)模型。

4月11日，在第八屆毫末AI DAY上，毫末CEO顧維灝正式發(fā)布了基于GPT技術(shù)的DriveGPT，中文名雪湖·海若。

DriveGPT能做到什么？又是如何構(gòu)建的？顧維灝在AI DAY上都做了詳細(xì)解讀。此外，AI DAY還展示了毫末自動(dòng)駕駛數(shù)據(jù)體系MANA的升級(jí)情況，主要是其在視覺(jué)感知能力上的進(jìn)展。

01.

什么是DriveGPT？能實(shí)現(xiàn)什么？

顧維灝首先講解了GPT的原理，生成式預(yù)訓(xùn)練Transformer模型本質(zhì)上是在求解下一個(gè)詞出現(xiàn)的概率，每一次調(diào)用都是從概率分布中抽樣并生成一個(gè)詞，這樣不斷地循環(huán)，就能生成一連串的字符，用于各種下游任務(wù)。

以中文自然語(yǔ)言為例，單字或單詞就是Token，中文的Token詞表有5萬(wàn)個(gè)左右。把Token輸入到模型，輸出就是下一個(gè)字詞的概率，這種概率分布體現(xiàn)的是語(yǔ)言中的知識(shí)和邏輯，大模型在輸出下一個(gè)字詞時(shí)就是根據(jù)語(yǔ)言知識(shí)和邏輯進(jìn)行推理的結(jié)果，就像根據(jù)一部偵探小說(shuō)的復(fù)雜線索來(lái)推理兇手是誰(shuí)。

而作為適用于自動(dòng)駕駛訓(xùn)練的大模型，DriveGPT雪湖·海若三個(gè)能力：

1.可以按概率生成很多個(gè)這樣的場(chǎng)景序列，每個(gè)場(chǎng)景都是一個(gè)全局的場(chǎng)景，每個(gè)場(chǎng)景序列都是未來(lái)有可能發(fā)生的一種實(shí)際情況。

2.是在所有場(chǎng)景序列都產(chǎn)生的情況下，能把場(chǎng)景中最關(guān)注的自車(chē)行為軌跡給量化出來(lái)，也就是生成場(chǎng)景的同時(shí)，便會(huì)產(chǎn)生自車(chē)未來(lái)的軌跡信息。

3.有了這段軌跡之后，DriveGPT雪湖·海若還能在生成場(chǎng)景序列、軌跡的同時(shí)，輸出整個(gè)決策邏輯鏈。

也就是說(shuō)，利用DriveGPT雪湖·海若，在一個(gè)統(tǒng)一的生成式框架下，就能做到將規(guī)劃、決策與推理等多個(gè)任務(wù)全部完成。

具體來(lái)看，DriveGPT雪湖·海若的設(shè)計(jì)是將場(chǎng)景Token化，毫末將其稱為Drive Language。

Drive Language將駕駛空間進(jìn)行離散化處理，每一個(gè)Token都表征場(chǎng)景的一小部分。目前毫末擁有50萬(wàn)個(gè)左右的Token詞表空間。如果輸入一連串過(guò)去已經(jīng)發(fā)生的場(chǎng)景Token序列，模型就可以根據(jù)歷史，生成未來(lái)所有可能的場(chǎng)景。

也就是說(shuō)，DriveGPT雪湖·海若同樣像是一部推理機(jī)器，告訴它過(guò)去發(fā)生了什么，它就能按概率推理出未來(lái)的多個(gè)可能。

一連串Token拼在一起就是一個(gè)完整的駕駛場(chǎng)景時(shí)間序列，包括了未來(lái)某個(gè)時(shí)刻整個(gè)交通環(huán)境的狀態(tài)以及自車(chē)的狀態(tài)。

有了Drive Language，就可以對(duì)DriveGPT進(jìn)行訓(xùn)練了。

毫末對(duì)DriveGPT的訓(xùn)練過(guò)程首先是根據(jù)駕駛數(shù)據(jù)以及之前定義的駕駛嘗試做一個(gè)大規(guī)模的預(yù)訓(xùn)練。

然后，通過(guò)在使用過(guò)程中接管或者不接管的場(chǎng)景，對(duì)預(yù)訓(xùn)練的結(jié)果進(jìn)行打分和排序，訓(xùn)練反饋模型。也就是說(shuō)利用正確的人類開(kāi)法來(lái)替代錯(cuò)誤的自動(dòng)駕駛開(kāi)法。

后續(xù)就是用強(qiáng)化學(xué)習(xí)的思路不斷優(yōu)化迭代模型。

在預(yù)訓(xùn)練模型上，毫末采用Decode-only結(jié)構(gòu)的GPT模型，每一個(gè)Token用于描述某時(shí)刻的場(chǎng)景狀態(tài)，包括障礙物的狀態(tài)、自車(chē)狀態(tài)、車(chē)道線情況等等。

目前，毫末的預(yù)訓(xùn)練模型擁有1200億個(gè)參數(shù)，使用4000萬(wàn)量產(chǎn)車(chē)的駕駛數(shù)據(jù)，本身就能夠?qū)Ω鞣N場(chǎng)景做生成式任務(wù)。

這些生成結(jié)果會(huì)按照人類偏好進(jìn)行調(diào)優(yōu)，在安全、高效、舒適等維度上做出取舍。同時(shí)，毫末會(huì)用部分經(jīng)過(guò)篩選的人類接管數(shù)據(jù)，大概5萬(wàn)個(gè)Clips去做反饋模型的訓(xùn)練，不斷優(yōu)化預(yù)訓(xùn)練模型。

在輸出決策邏輯鏈時(shí)，DriveGPT雪湖·海若利用了prompt提示語(yǔ)技術(shù)。輸入端給到模型一個(gè)提示，告訴它“要去哪、慢一點(diǎn)還是快一點(diǎn)、并且讓它一步步推理”，經(jīng)過(guò)這種提示后，它就會(huì)朝著期望的方向去生成結(jié)果，并且每個(gè)結(jié)果都帶有決策邏輯鏈。每個(gè)結(jié)果也會(huì)有未來(lái)出現(xiàn)的可能性。這樣我們就可以選擇未來(lái)出現(xiàn)可能性最大，最有邏輯的鏈條駕駛策略。

可以用一個(gè)形象的示例來(lái)解釋DriveGPT雪湖·海若的推理能力。假設(shè)提示模型要“抵達(dá)某個(gè)目標(biāo)點(diǎn)”，DriveGPT雪湖·海若會(huì)生成很多個(gè)可能的開(kāi)法，有的激進(jìn)，會(huì)連續(xù)變道超車(chē)，快速抵達(dá)目標(biāo)點(diǎn)，有的穩(wěn)重，跟車(chē)行駛到終點(diǎn)。這時(shí)如果提示語(yǔ)里沒(méi)有其他額外指示，DriveGPT雪湖·海若就會(huì)按照反饋訓(xùn)練時(shí)的調(diào)優(yōu)效果，最終給到一個(gè)更符合大部分人駕駛偏好的效果。

02.

實(shí)現(xiàn)DriveGPT毫末做了什么？

首先，DriveGPT雪湖·海若的訓(xùn)練和落地，離不開(kāi)算力的支持。

今年1月，毫末就和火山引擎共同發(fā)布了其自建智算中心，毫末雪湖·綠洲MANA OASIS。OASIS的算力高達(dá)67億億次/秒，存儲(chǔ)帶寬2T/秒，通信帶寬達(dá)到800G/秒。

當(dāng)然，光有算力還不夠，還需要訓(xùn)練和推理框架的支持。因此，毫末也做了以下三方面的升級(jí)。

一是訓(xùn)練穩(wěn)定性的保障和升級(jí)。

大模型訓(xùn)練是一個(gè)十分艱巨的任務(wù)，隨著數(shù)據(jù)規(guī)模、集群規(guī)模、訓(xùn)練時(shí)間的數(shù)量級(jí)增長(zhǎng)，系統(tǒng)穩(wěn)定性方面微小的問(wèn)題也會(huì)被無(wú)限放大，如果不加處理，訓(xùn)練任務(wù)就會(huì)經(jīng)常出錯(cuò)導(dǎo)致非正常中斷，浪費(fèi)前期投入的大量資源。

毫末在大模型訓(xùn)練框架的基礎(chǔ)上，與火山引擎共同建立了全套訓(xùn)練保障框架，通過(guò)訓(xùn)練保障框架，毫末實(shí)現(xiàn)了異常任務(wù)分鐘級(jí)捕獲和恢復(fù)能力，可以保證千卡任務(wù)連續(xù)訓(xùn)練數(shù)月沒(méi)有任何非正常中斷，有效地保障了DriveGPT雪湖·海若大模型訓(xùn)練的穩(wěn)定性。

二是彈性調(diào)度資源的升級(jí)。

毫末擁有量產(chǎn)車(chē)帶來(lái)的海量真實(shí)數(shù)據(jù)，可自動(dòng)化的利用回傳數(shù)據(jù)不斷的學(xué)習(xí)真實(shí)世界。由于每天不同時(shí)段回傳的數(shù)據(jù)量差異巨大，需要訓(xùn)練平臺(tái)具備彈性調(diào)度能力，自適應(yīng)數(shù)據(jù)規(guī)模大小。

毫末將增量學(xué)習(xí)技術(shù)推廣到大模型訓(xùn)練，構(gòu)建了一個(gè)大模型持續(xù)學(xué)習(xí)系統(tǒng)，研發(fā)了任務(wù)級(jí)彈性伸縮調(diào)度器，分鐘級(jí)調(diào)度資源，集群計(jì)算資源利用率達(dá)到95%。

三是吞吐效率的升級(jí)。

在訓(xùn)練效率上，毫末在Transformer的大矩陣計(jì)算上，通過(guò)對(duì)內(nèi)外循環(huán)的數(shù)據(jù)拆分、盡量保持?jǐn)?shù)據(jù)在SRAM中來(lái)提升計(jì)算的效率。在傳統(tǒng)的訓(xùn)練框架中，算子流程很長(zhǎng)，毫末通過(guò)引入火山引擎提供的Lego算之庫(kù)實(shí)現(xiàn)算子融合，使端到端吞吐提升84%。

有了算力和這三方面的升級(jí)，毫末可對(duì)DriveGPT雪湖·海若進(jìn)行更好的訓(xùn)練迭代升級(jí)。

03.

MANA大升級(jí)，攝像頭代替超聲波雷達(dá)

毫末在2021年12月的第四屆AI DAY上發(fā)布自動(dòng)駕駛數(shù)據(jù)智能體系MANA，經(jīng)過(guò)一年多時(shí)間的應(yīng)用迭代，現(xiàn)在MANA迎來(lái)了全面的升級(jí)。

據(jù)顧維灝介紹，本次升級(jí)主要包括：

1.感知和認(rèn)知相關(guān)大模型能力統(tǒng)一整合到DriveGPT。

2.計(jì)算基礎(chǔ)服務(wù)針對(duì)大模型訓(xùn)練在參數(shù)規(guī)模、穩(wěn)定性和效率方面做了專項(xiàng)優(yōu)化，并集成到OASIS當(dāng)中。

3.增加了使用NeRF技術(shù)的數(shù)據(jù)合成服務(wù)，降低Corner Case數(shù)據(jù)的獲取成本。

4.針對(duì)多種芯片和多種車(chē)型的快速交付難題，優(yōu)化了異構(gòu)部署工具和車(chē)型適配工具。

前文我們已經(jīng)詳細(xì)介紹了DriveGPT相關(guān)的內(nèi)容，以下主要來(lái)看MANA在視覺(jué)感知上的進(jìn)展。

顧維灝表示，視覺(jué)感知任務(wù)的核心目的都是恢復(fù)真實(shí)世界的動(dòng)靜態(tài)信息和紋理分布。因此毫末對(duì)視覺(jué)自監(jiān)督大模型做了一次架構(gòu)升級(jí)，將預(yù)測(cè)環(huán)境的三維結(jié)構(gòu)，速度場(chǎng)和紋理分布融合到一個(gè)訓(xùn)練目標(biāo)里面，使其能從容應(yīng)對(duì)各種具體任務(wù)。目前毫末視覺(jué)自監(jiān)督大模型的數(shù)據(jù)集超過(guò)400萬(wàn)Clips，感知性能提升20%。

在泊車(chē)場(chǎng)景下，毫末做到了用魚(yú)眼相機(jī)純視覺(jué)測(cè)距達(dá)到泊車(chē)要求，可做到在15米范圍內(nèi)達(dá)測(cè)量精度30cm，2米內(nèi)精度高于10cm。用純視覺(jué)代替超聲波雷達(dá)，進(jìn)一步降低整體方案的成本。

此外，在純視覺(jué)三維重建方面，通過(guò)視覺(jué)自監(jiān)督大模型技術(shù)，毫末不依賴激光雷達(dá)，就能將收集的大量量產(chǎn)回傳視頻轉(zhuǎn)化為可用于BEV模型訓(xùn)練的帶3D標(biāo)注的真值數(shù)據(jù)。

通過(guò)對(duì)NeRF的升級(jí)，毫末表示可以做到重建誤差小于10

【本文來(lái)自易車(chē)號(hào)作者智駕網(wǎng)，版權(quán)歸作者所有,任何形式轉(zhuǎn)載請(qǐng)聯(lián)系作者。內(nèi)容僅代表作者觀點(diǎn)，與易車(chē)無(wú)關(guān)】

吉普提的算力核心由什么構(gòu)成

吉普提的算力核心由深度神經(jīng)網(wǎng)絡(luò)構(gòu)成。吉普提（GPT）是由OpenAI開(kāi)發(fā)的一種自然語(yǔ)言處理模型，它的算力核心是由深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetworks，DNN）構(gòu)成的。吉普提模型采用了基于Transformer架構(gòu)的神經(jīng)網(wǎng)絡(luò)，其核心是由多層變壓器（Transformer）模塊組成的深度神經(jīng)網(wǎng)絡(luò)。每個(gè)變壓器模塊包括多頭自注意力機(jī)制、前饋神經(jīng)網(wǎng)絡(luò)等組件，用于對(duì)輸入文本進(jìn)行編碼和解碼，從而實(shí)現(xiàn)自然語(yǔ)言處理的各種任務(wù)。

gpt算力（gpt算力需求）

DriveGPT落地后，卷激光雷達(dá)和算力會(huì)變得毫無(wú)意義？

席卷自動(dòng)駕駛行業(yè)的寒冬還沒(méi)有過(guò)去，開(kāi)發(fā)周期長(zhǎng)、成本高，又難落地的問(wèn)題并沒(méi)有完全被解決，而大量的車(chē)企都在激進(jìn)的進(jìn)行電動(dòng)化和智能化的轉(zhuǎn)型，自動(dòng)駕駛的研發(fā)又是繞不開(kāi)的重要一部分。

可是靠自動(dòng)駕駛技術(shù)和故事去吸引消費(fèi)者的路線已經(jīng)逐漸走不通了，比亞迪王傳福也站出來(lái)炮轟自動(dòng)駕駛，讓自動(dòng)駕駛的寒意更濃了。

其實(shí)自動(dòng)駕駛難落地的問(wèn)題，對(duì)于誰(shuí)都一樣，誰(shuí)都繞不過(guò)去這個(gè)問(wèn)題，但是車(chē)企和自動(dòng)駕駛企業(yè)們可以在“開(kāi)發(fā)周期和成本”方面開(kāi)卷，因?yàn)樵诖蟓h(huán)境不利的情況下，誰(shuí)能用更低的成本和更高的效率堅(jiān)持并維持住，才可能在春暖花開(kāi)之時(shí)迎來(lái)綻放。

自動(dòng)駕駛寒冬之下，靠AI真能降成本？

在本周的在第八屆毫末AI DAY上，毫末智行發(fā)布了首個(gè)應(yīng)用GPT模型和技術(shù)邏輯的自動(dòng)駕駛算法模型DriveGPT，并正式官宣中文名為“雪湖·海若”。DriveGPT首發(fā)車(chē)型是即將量產(chǎn)上市的全新摩卡DHT-PHEV，有了DriveGPT之后，自動(dòng)駕駛開(kāi)發(fā)中的周期和成本都會(huì)大幅縮短和降低。

目前的自動(dòng)駕駛技術(shù)發(fā)展情況，主流的自動(dòng)駕駛訓(xùn)練方式主要有兩種：真實(shí)道路測(cè)試和虛擬仿真測(cè)試。

真實(shí)道路測(cè)試最大的特點(diǎn)是能夠與真實(shí)交通環(huán)境相匹配，模擬真實(shí)生活中的各種復(fù)雜情況。同時(shí)，真實(shí)道路測(cè)試還可以發(fā)現(xiàn)一些不常見(jiàn)或難以預(yù)測(cè)的情況，提高自動(dòng)駕駛系統(tǒng)的適應(yīng)性和可靠性。然而，真實(shí)道路測(cè)試需要大量的時(shí)間和金錢(qián)投入，同時(shí)還涉及交通安全、法律法規(guī)以及人員傷害等問(wèn)題，給測(cè)試過(guò)程帶來(lái)了一定的風(fēng)險(xiǎn)和壓力。這些都會(huì)導(dǎo)致測(cè)試成本的增加。

另一種方式就是虛擬仿真測(cè)試，它是在計(jì)算機(jī)模擬環(huán)境下測(cè)試自動(dòng)駕駛系統(tǒng)，通過(guò)虛擬場(chǎng)景來(lái)訓(xùn)練模型。虛擬仿真測(cè)試可以避免真實(shí)道路測(cè)試中的安全問(wèn)題和成本壓力，同時(shí)還可以快速生成大量的數(shù)據(jù)，提高測(cè)試效率和數(shù)據(jù)量，而且在其中已經(jīng)輔以了不少AI人工智能技術(shù)。

但是，虛擬仿真測(cè)試中的數(shù)據(jù)和場(chǎng)景是人為設(shè)計(jì)的，可能無(wú)法完全反映真實(shí)道路的復(fù)雜性和不確定性。因此，虛擬仿真測(cè)試有時(shí)需要進(jìn)行一定程度的真實(shí)道路測(cè)試來(lái)驗(yàn)證其結(jié)果。

DriveGPT采用了與ChatGPT一樣的Transformer模型與RLHF人類反饋學(xué)習(xí)能力，通過(guò)引入真實(shí)駕駛場(chǎng)景和人駕接管數(shù)據(jù)，可對(duì)自動(dòng)駕駛認(rèn)知決策模型進(jìn)行持續(xù)優(yōu)化，從而為自動(dòng)駕駛開(kāi)發(fā)降低成本。

由于DriveGPT是在虛擬仿真環(huán)境下進(jìn)行訓(xùn)練的，因此可以省去真實(shí)道路測(cè)試中的安全問(wèn)題和成本壓力。DriveGPT能夠生成大量的仿真數(shù)據(jù)用于訓(xùn)練模型，這些數(shù)據(jù)能夠很好地模擬真實(shí)道路的復(fù)雜性和不確定性，從而保證模型的魯棒性和可靠性。同時(shí)，在仿真環(huán)境下進(jìn)行訓(xùn)練還可以大大節(jié)約時(shí)間和成本。

15天就能完成1年的任務(wù)量，還能“賺外快”？

與傳統(tǒng)的真實(shí)道路測(cè)試相比，DriveGPT能夠快速高效地獲取大量數(shù)據(jù)。DriveGPT的訓(xùn)練過(guò)程是完全自動(dòng)化的，不受測(cè)試時(shí)間、環(huán)境等因素的影響，從而大大提高了測(cè)試效率和數(shù)據(jù)量。這不僅節(jié)約了訓(xùn)練時(shí)間，還可以提高模型的精度和魯棒性。

DriveGPT自身能區(qū)分駕駛場(chǎng)景和非駕駛場(chǎng)景，并可以理解駕駛環(huán)境，還可用于場(chǎng)景識(shí)別標(biāo)注任務(wù)，比如標(biāo)注車(chē)道線、交通參與者、紅綠燈、路牌等細(xì)節(jié)信息，并且每張圖的識(shí)別優(yōu)化價(jià)格從約 5 元下降到 0.5 元，成本下降了近10倍，在OpenAI的GPT-4出來(lái)的時(shí)候，它的識(shí)圖能力引起了我們的高度關(guān)注，而與其底層類似的DriveGPT，已經(jīng)把這項(xiàng)能力用了起來(lái)。

AI自動(dòng)識(shí)圖逐漸開(kāi)始代替人工，人工標(biāo)注的效率和成本是繞不過(guò)的問(wèn)題，機(jī)器不需要休息，也幾乎不會(huì)眼花，而自動(dòng)標(biāo)注的成本僅是過(guò)去使用人工的十分之一不到，而且半個(gè)月就能完成人力一年的需求。

DriveGPT使用大量的仿真數(shù)據(jù)來(lái)訓(xùn)練模型，這些數(shù)據(jù)能夠很好地反映真實(shí)道路的復(fù)雜性和不確定性，DriveGPT它能夠更好地處理自然語(yǔ)言、圖像等多種數(shù)據(jù)類型，還可以去自行學(xué)習(xí)，從而提高模型的復(fù)雜性和準(zhǔn)確性。

另外在產(chǎn)品迭代方面，DriveGPT能夠?yàn)樽詣?dòng)駕駛開(kāi)發(fā)者提供快速有效的反饋，幫助它們更快地調(diào)試和優(yōu)化系統(tǒng)，從而進(jìn)一步降低系統(tǒng)迭代方面的開(kāi)發(fā)成本。

通過(guò)DriveGPT訓(xùn)練出來(lái)的模型可以轉(zhuǎn)移到真實(shí)道路測(cè)試中進(jìn)行驗(yàn)證，進(jìn)一步提高了系統(tǒng)的安全性和可靠性。DriveGPT訓(xùn)練出來(lái)的模型能夠很好地反映真實(shí)道路的復(fù)雜性和不確定性，從而在真實(shí)道路測(cè)試中能夠更快地適應(yīng)各種情況，DriveGPT還可以同時(shí)讓系統(tǒng)處于多個(gè)平行宇宙之中，也就是提前做好再一次遇到類似情況可能發(fā)生的各種駕駛情況，在預(yù)測(cè)人車(chē)軌跡能力上也得到了大幅提升。

DriveGPT的能力不只局限于自動(dòng)駕駛領(lǐng)域內(nèi)，我們看到毫末的合作伙伴還有北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院、火山引擎、華為云、京東科技、高通、四維圖新、英特爾等，當(dāng)然這里面有很多是供應(yīng)商伙伴，但四維圖新這個(gè)伙伴，可能是DriveGPT要去賦能的另外一部分。

此次四維圖新也官宣表示：接入毫末DriveGPT雪湖·海若，可實(shí)現(xiàn)持續(xù)雙向賦能。借助DriveGPT雪湖·海若算法能力可提升地圖成圖自動(dòng)化水平。DriveGPT對(duì)于圖像強(qiáng)大的理解能力，可以應(yīng)用于地圖測(cè)繪方面，DriveGPT可以使用AI大模型來(lái)進(jìn)行對(duì)物體的識(shí)別，特別是建筑物，具體來(lái)說(shuō)，它可以通過(guò)大量的地圖數(shù)據(jù)和衛(wèi)星影像數(shù)據(jù)進(jìn)行訓(xùn)練，然后利用這些數(shù)據(jù)來(lái)識(shí)別、分類和標(biāo)注建筑物信息。同時(shí)，由于DriveGPT使用的是AI技術(shù)，因此其識(shí)別準(zhǔn)確率和效率都比傳統(tǒng)的人工測(cè)繪方法更高。

除了建筑物識(shí)別，DriveGPT還可以用于其他地圖測(cè)繪任務(wù)，例如道路標(biāo)注、地形分析、地圖更新等，特別是隨著搭載DriveGPT的車(chē)型越來(lái)越多，它們甚至可以去試試生成鮮度比較高的高精地圖，雖然毫末打造的是重感知、輕地圖的系統(tǒng)，DriveGPT也是為了去加深這一目的，但是高精地圖可以給到供應(yīng)商去做別的事情，并不是只有自動(dòng)駕駛需要高精地圖。

總結(jié)：

與傳統(tǒng)的自動(dòng)駕駛訓(xùn)練方式相比，DriveGPT能夠省去真實(shí)道路測(cè)試中的安全問(wèn)題和成本壓力，同時(shí)能夠高效快速地獲取大量數(shù)據(jù)、精準(zhǔn)地反映真實(shí)道路的復(fù)雜性和不確定性、提供快速有效的反饋以及能夠轉(zhuǎn)移到真實(shí)道路測(cè)試中進(jìn)行驗(yàn)證等優(yōu)點(diǎn)。毫末接下來(lái)的輔助駕駛方案，可能會(huì)把軟硬件的成本卷得更低。

DriveGPT具有很大的應(yīng)用前景，雖然我們看到目前只看到了毫末智行入局GPT類自動(dòng)駕駛，但其他車(chē)企和供應(yīng)商們肯定不會(huì)放過(guò)這個(gè)機(jī)會(huì)，AI技術(shù)大爆發(fā)的當(dāng)下，或許比DriveGPT更高階的自動(dòng)駕駛訓(xùn)練方式也在來(lái)的路上。

而且隨著AI的全面接入，再靠堆硬件，比激光雷達(dá)數(shù)量、攝像頭像素和個(gè)數(shù)、算力芯片能力，可能不再是吃香的辦法，沒(méi)人愿意為能力低，而靠堆硬件帶來(lái)的高成本而買(mǎi)單。

【本文來(lái)自易車(chē)號(hào)作者路咖汽車(chē)，版權(quán)歸作者所有,任何形式轉(zhuǎn)載請(qǐng)聯(lián)系作者。內(nèi)容僅代表作者觀點(diǎn)，與易車(chē)無(wú)關(guān)】

以上就是關(guān)于gpt算力相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。