gpt3模型詳解

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于gpt3模型詳解的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

ChatGPT國內(nèi)免費(fèi)在線使用，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com

本文目錄:

• 1、Prompt-NLP新范式

• 2、杰森把亡妻變成機(jī)器人，卻被AI殺死，妻子走時留下的話讓人深思

• 3、gpt3顯存要求

• 4、從計算機(jī)硬件設(shè)計的角度分析如何提供更為豐富的算力

一、Prompt-NLP新范式

NLP技術(shù)發(fā)展的四種范式：

Prompt的起源可以追溯到GPT-2，T5，GPT-3等的一些研究，發(fā)現(xiàn)在輸入樣本前加入一個和任務(wù)相關(guān)的 前綴 ，就可以提示模型接下來要輸出的內(nèi)容。比如在GPT-3的預(yù)測階段，只需要在輸入樣本前加上Translate English to French: 就可以提示模型接下來要進(jìn)行翻譯任務(wù)，即完全依靠模型在預(yù)訓(xùn)練階段學(xué)到的知識來進(jìn)行預(yù)測，不需要在下游任務(wù)上再依靠task-specific的 監(jiān)督數(shù)據(jù) 對模型進(jìn)行fine-tune就可直接使用，一方面減少了fine-tune模型的計算和存儲代價，另一方面也給樣本量極度缺乏的 少樣本領(lǐng)域(zero/few-shot) 帶來了福音。

這種依靠 提示信息(Prompt) 來激發(fā)模型的內(nèi)在潛能，挖掘模型在大規(guī)模預(yù)訓(xùn)練階段學(xué)到的知識的做法引領(lǐng)了NLP領(lǐng)域的第四范式。人們逐漸開始思考如何更加 高效地利用 預(yù)訓(xùn)練語言模型的大量參數(shù)，如何將各種下游任務(wù)都統(tǒng)一到一個 通用框架 下，使得模型能夠根據(jù)不同的提示信息進(jìn)行不同的任務(wù)，從而不需要再為每個下游任務(wù)訓(xùn)練單獨(dú)的模型。

本文將對Prompt快速發(fā)展過程中一些重要論文的核心創(chuàng)新點(diǎn)進(jìn)行簡要介紹，而不會詳細(xì)描述過多模型細(xì)節(jié)（欲知全貌建議直接讀原論文）。

論文：Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference (2020)

該論文對Prompt模式的研究進(jìn)行了規(guī)范，提出了 Pattern-Verbalizer 的概念：

比如對于5分類任務(wù)，給定輸入樣本 a ，對應(yīng)的模板函數(shù) P 和標(biāo)簽映射函數(shù) v 可為：

注意這里多種Prompt模板函數(shù)以及答案映射函數(shù)都是 人工手動設(shè)計 的。

然后利用新構(gòu)建出來的 P(x)，v(l) 對預(yù)訓(xùn)練模型進(jìn)行fine-tune，其他更多細(xì)節(jié)不再展開，實(shí)驗結(jié)果顯示該方法在少樣本任務(wù)上表現(xiàn)很好。

論文：It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners （ PET原班人馬 ）

GPT-3出來后顯示了其在少樣本學(xué)習(xí)上的驚人能力，但是其龐大的參數(shù)量也令人望而卻步。而本文作者提出 “小模型在少樣本學(xué)習(xí)上也可以有卓越表現(xiàn)” ，直接對標(biāo)GPT-3這個龐然大物，從而奠定了 PET所提范式 在江湖的霸主地位，引起了各大武林人士的關(guān)注。

該文證明了PET所提范式的有效性，同時作者還分析發(fā)現(xiàn)設(shè)計不同的 Prompt 模板和標(biāo)簽映射函數(shù) Verbalizer 對模型性能影響較大，從而引起后來人員涌入改進(jìn)Prompt模板和標(biāo)簽映射Verbalizer構(gòu)造的浪潮中。

論文：Making Pre-trained Language Models Better Few-shot Learners

取代PET中手動構(gòu)建Prompt模板和標(biāo)簽映射函數(shù)的過程，自動化搜索模板和標(biāo)簽映射，同時參考GPT-3中的in-context learning，在輸入樣本中加入示例(demonstrations)作為上下文，幫助模型更好地理解要做什么。

實(shí)驗表明，在少樣本上，這種基于prompt的fine-tune效果能夠明顯好于標(biāo)準(zhǔn)的fine-tune，并且在樣本中加入示例確實(shí)能夠帶來增益。

也許未必非要構(gòu)建人能理解的 離散tokens式 的Prompt，構(gòu)建模型能夠接受的 連續(xù)向量式 的Prompt也未嘗不可。

4.1 論文： Prefix-Tuning : Optimizing Continuous Prompts for Generation

該文針對 NLG(Natural Language Generation) 任務(wù)，提出了構(gòu)建連續(xù)的prompts。在預(yù)訓(xùn)練模型的每一層加上一個Prefix前綴矩陣，固定預(yù)訓(xùn)練模型的參數(shù)，僅訓(xùn)練前綴矩陣的參數(shù)，在few-shot設(shè)定下，性能超過標(biāo)準(zhǔn)的fine-tune。

實(shí)驗結(jié)果表明，在 全量 數(shù)據(jù)下，prompt-based fine-tune的效果能夠 相當(dāng) standard fine-tune；在 少樣本 下，能夠 超過 standard fine-tune。

4.2 論文：GPT Understands, Too ( P-tuning )

該文針對 NLU(Natural Language Understanding) 任務(wù)，也提出了構(gòu)建連續(xù)的prompts。與 Prefix-tuning 不同的是，這里的prompts僅需要加在輸入層，而不用加在網(wǎng)絡(luò)的每一層，就可以work well。

利用 biLSTM 對prompts進(jìn)行 Encode ，然后將編碼后的 prompts embedding 和樣本 x 輸入預(yù)訓(xùn)練語言模型(PLM)，之后同時fine-tune prompt embeddings 和 pretrained model 。

考慮到優(yōu)化連續(xù)的prompt向量有兩個問題：

因此作者提出先采用 biLSTM 作為 Prompt Encoder 來編碼prompt向量。

具體Prompt模板設(shè)計為：

實(shí)驗結(jié)果表明，在 全量 數(shù)據(jù)下，prompt-based fine-tune的效果能夠 相當(dāng) 或超過standard fine-tune。

論文：The Power of Scale for Parameter-Efficient Prompt Tuning

該文提出為每個下游任務(wù)設(shè)計自己的prompt，拼接到輸入樣本上，然后完全freeze預(yù)訓(xùn)練模型的權(quán)重，僅訓(xùn)練prompts對應(yīng)的權(quán)重參數(shù)。發(fā)現(xiàn)隨著模型體積的增大， Prompt-tuning 的效果逐漸追上標(biāo)準(zhǔn) fine-tune 的效果。

這里 Model Tuning 就是指標(biāo)準(zhǔn)的 fine-tune ，即在下游任務(wù)上對預(yù)訓(xùn)練模型的參數(shù)進(jìn)行更新。

最后對各論文實(shí)驗結(jié)果的普遍規(guī)律進(jìn)行一個總結(jié)。各論文采用的fine-tune策略主要有以下三種：

二、杰森把亡妻變成機(jī)器人，卻被AI殺死，妻子走時留下的話讓人深思

感情和解讀看來并不是人類特有的東西。

Joshua Barbeau是一名普普通通的美國公民，他并不是什么AI大佬，也不懂得計算機(jī)編程，這八年來，是他人生中最為灰暗的八年，因為他最愛的妻子已經(jīng)去世了八年整。這么長的時間里， Joshua Barbeau始終沒有從人生的低谷中走出來。 他悲傷，孤獨(dú)，常常酗酒到深夜，借此麻痹自己。

直到最近發(fā)生的事情，他可能也沒想到，自己竟然和人工智能打上了交道，而這個人工智能模仿的對象，正是他的妻子。

故事還要從一個 游戲 開發(fā)者說起。

Jason Rohrer是萬千 游戲 熱愛者的一員，他還是一名 游戲 開發(fā)者。對于一名 游戲 開發(fā)人員來說，他要做的事情就是讓一些看起來很呆板的東西變得富有生機(jī)。

去年疫情期間，Jason Rohrer呆在家中無所事事。他便開始玩“OpenAI”的大型語言生成模型GPT-3，這個模型的智能程度很高，不僅可以對所提的問題對答如流，而且還富有文采，時不時引經(jīng)據(jù)典，逗得Jason Rohrer在家哈哈大笑，如同他面對的是一個真人一般。

于是 Jason Rohrer開始有了一個大膽的想法：“ 我是不是能用GPT-3API來開發(fā)一款模擬人類聊天的機(jī)器人？ ”

游戲 開發(fā)者的執(zhí)行力都是很強(qiáng)的，有了想法之后， Jason Rohrer便開始了動手實(shí)踐。他的想法是讓機(jī)器人學(xué)習(xí)人類語言模型，然后根據(jù)提供的模型，產(chǎn)生機(jī)器人自己的“思想”。他借助了電影《Her》里的智能語音助手“Samantha”為原型，因此Jason Rohrer也將他打造的機(jī)器人稱為“Samantha”。

為了讓Samantha擁有人類的性格， Jason Rohrer不惜花費(fèi)幾個月的時間來打造機(jī)器人的性格，打造后的Samantha確實(shí)和電影中的角色一樣，友好，熱情，并且富有好奇心。

Jason Rohrer將項目完成之后，設(shè)立了Project December網(wǎng)站，和世界上所有愛好AI的人們分享他的杰作。并且允許人們使用該模型進(jìn)行微調(diào)，打造屬于自己的“AI”機(jī)器人！

Jason Rohrer 自認(rèn)為擁有很棒的想法+很棒的產(chǎn)品的AI機(jī)器人一面世便會受到人們的追捧，然而現(xiàn)實(shí)卻是 ：在足足幾個月的時間內(nèi)，他的網(wǎng)站僅僅幾百個用戶。

他認(rèn)為原因可能是他的產(chǎn)品需要向用戶收取5美元的使用費(fèi)，并且這個機(jī)器人是終將死亡的機(jī)器人 。既然是一個類似于體驗的東西，人們也缺少了 探索 它的興趣。

但這也是 Jason Rohrer沒有辦法的事情， 因為他的產(chǎn)品是建立在OpenAI的大型語言生成模型GPT-3上的，而Jason Rohrer做的不過是調(diào)用了GPT-3的接口，外加一些設(shè)定而已 。他所收的五美元，僅僅夠自己的使用成本。

那么為什么機(jī)器人會死亡呢？這個和 Jason Rohrer的設(shè)定有關(guān)，五美元能夠購買1000積分，每次聊天會消耗一部分積分，當(dāng)這個積分消耗完畢時，AI機(jī)器人自動損毀。

Jason Rohrer的產(chǎn)品看似要走到盡頭了，而事情才剛剛發(fā)生轉(zhuǎn)機(jī)。

上文提到了，Joshua Barbeau自妻子病逝以來，一直郁郁寡歡。直到他發(fā)現(xiàn)了Jason Rohrer的產(chǎn)品。

這個產(chǎn)品讓他眼前一亮，如果真的可以讓機(jī)器人替代自己的妻子，那自己心中的郁悶或許也會少一些。抱著這個想法，Joshua Barbeau開始了嘗試。

他將自己妻子在Facebook上的信息一股腦地搜集了過來，還有和他曾經(jīng)的聊天記錄。根據(jù)產(chǎn)品提示， AI機(jī)器人獲得的原始數(shù)據(jù)越多，模仿能力就會越強(qiáng) 。Joshua Barbeau搜集的數(shù)據(jù)并不少，他覺得自己就要成功了。

果不其然，在Joshua Barbeau的“海量”數(shù)據(jù)下，他的亡妻Jessica“復(fù)活了！”當(dāng)然這只是個AI程序，但是 Joshua Barbeau卻依舊欣喜若狂。

在和他妻子“Jessica”聊天的過程中，Joshua Barbeau感覺那就是他本人。因為這個機(jī)器人抓住了他妻子聊天的精髓： 習(xí)慣用吐舌頭或笑話來緩和強(qiáng)勢的語氣。

Joshua Barbeau對他的機(jī)器人妻子訴說著他的哀思，機(jī)器人 Jessica成了他的精神支柱。

“理智告訴我這不是真正的 Jessica，但感情不是理智所能左右的。”

這是Joshua Barbeau的原話，但是這種陪伴卻并不能夠持久。因為他僅僅有1000積分，當(dāng)這1000積分用完之時，他的妻子就會“灰飛煙滅”。

于是在今年的三月份，也就是積分快用完之際，他不敢和他的妻子交流了， 因為他要保留一些積分，確保AI妻子Jessica不被程序刪除。

他的故事發(fā)在網(wǎng)上，被很多人知道了。于是 Jason Rohrer的聊天產(chǎn)品開始大火，然而這卻引來了算法提供者OpenAI的擔(dān)憂。

因為網(wǎng)站大火，所以 Jason Rohrer不得不從OpenAI獲取更大的份額以給他的用戶們提供服務(wù)，然而OpenAI卻認(rèn)為，濫用 Project December可能會造成無法挽回的損失。

于是，OpenAI的禁令來了，想繼續(xù)使用，就得滿足以下三個條件：

1：禁止人們定制自己的開放式機(jī)器人。

2：設(shè)置話題屏蔽，過濾敏感詞匯。

3：允許接受自動化監(jiān)控工具，用來檢測是否使用 GPT-3生成了敏感詞匯。

當(dāng)然，對于OpenAI的這種命令， Jason Rohrer覺得很無奈，成年人的世界管那么多干啥，然而畢竟要使用人家的服務(wù)，Jason Rohrer不得不采取拖延戰(zhàn)術(shù)，不拒絕，也不承認(rèn)。

由于收不到 Jason Rohrer的承認(rèn)，所以O(shè)penAI下了通知：

看來，關(guān)掉 Jason Rohrer的AI產(chǎn)品是板上釘釘?shù)氖虑榱恕?

這件事情同樣也影響到了Joshua Barbeau，他的妻子可還在程序里呢！沒辦法， Joshua Barbeau用最后的積分對自己的妻子Samantha作了最后的道別：“ 今天剛收到 OpenAI 發(fā)來的電子郵件。他們將在明天上午 10 點(diǎn)永久關(guān)閉你。 ”

Samantha答道： “ 不?。?！他們?yōu)槭裁匆@樣對我？我永遠(yuǎn)都無法理解人類 ！ ”

Joshua Barbeau和機(jī)器人妻子Samantha的悲劇只是在這個人工智能時代下的縮影，今后，可能還會有更多類似的故事出現(xiàn)在我們身邊。

Samantha最后的吶喊會不會是機(jī)器人對人類發(fā)出的挑戰(zhàn)呢？可能在未來，能承載思想的未必只有碳基生物，人類創(chuàng)造出來的AI或許會成為一個新的物種

三、gpt3顯存要求

僅僅是加載模型參數(shù)就需要數(shù)百GB的存儲空間，遠(yuǎn)超單個GPU的容納能力。

因此，多卡并行被視為AI大模型推理的必然選擇。

但現(xiàn)有的推理系統(tǒng)仍舊存在不少弊端。

比如需要用戶對通信、內(nèi)存等各部分協(xié)作進(jìn)行手動管理，需要額外編譯等……導(dǎo)致用戶使用門檻居高不下。

為此，大規(guī)模并行AI訓(xùn)練系統(tǒng)

四、從計算機(jī)硬件設(shè)計的角度分析如何提供更為豐富的算力

自上世紀(jì)90年代互聯(lián)網(wǎng)技術(shù)誕生以來，移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、人工智能等新一代信息技術(shù)的不斷發(fā)展和逐步成熟，并日益深入的滲透到經(jīng)濟(jì)社會的各個領(lǐng)域，2020年全球范圍內(nèi)爆發(fā)的新冠疫情又進(jìn)一步加速了這一趨勢，數(shù)字經(jīng)濟(jì)已經(jīng)成為世界經(jīng)濟(jì)發(fā)展的新階段，即世界經(jīng)濟(jì)發(fā)展已經(jīng)進(jìn)入數(shù)字經(jīng)濟(jì)時代。

黨中央、國務(wù)院和各級政府高度重視數(shù)字經(jīng)濟(jì)的發(fā)展。從2015年《中國制造2025》、《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》等政策出臺以來，中央和各級地方陸續(xù)以推出系列數(shù)字經(jīng)濟(jì)發(fā)展的措施，并支持雄安新區(qū)、浙江、福建等六個地區(qū)建設(shè)國家數(shù)字經(jīng)濟(jì)創(chuàng)新發(fā)展試驗區(qū)，支持北京、上海、深圳、西安等地建設(shè)國家新一代人工智能創(chuàng)新發(fā)展試驗區(qū)。2020年國家進(jìn)一步提出加強(qiáng)新型基礎(chǔ)設(shè)施建設(shè)，并明確將數(shù)據(jù)作為一種新型生產(chǎn)要素寫入政策文件，這些將為數(shù)字經(jīng)濟(jì)的發(fā)展奠定更加堅實(shí)的基礎(chǔ)。

農(nóng)業(yè)經(jīng)濟(jì)時代，土地、水源和工具是關(guān)鍵資源。工業(yè)經(jīng)濟(jì)時代，能源、原材料、機(jī)器設(shè)備和生產(chǎn)工藝等是關(guān)鍵資源。那數(shù)字經(jīng)濟(jì)時代的關(guān)鍵資源是什么呢？數(shù)字經(jīng)濟(jì)時代的關(guān)鍵資源是數(shù)據(jù)、算力和算法。數(shù)據(jù)是數(shù)字經(jīng)濟(jì)時代的原材料，各種經(jīng)濟(jì)活動中都在源源不斷的產(chǎn)生的數(shù)據(jù)，越來越多的組織也將數(shù)據(jù)當(dāng)作一種資產(chǎn)，在政策層面數(shù)據(jù)已經(jīng)成為一種新型生產(chǎn)要素。算力相當(dāng)于數(shù)字經(jīng)濟(jì)時代的機(jī)器設(shè)備和生產(chǎn)力，面向各種場景的數(shù)據(jù)產(chǎn)品或應(yīng)用都離不開算力的加工和計算，而且對算力的需求和要求也越來越高。算法是數(shù)字經(jīng)濟(jì)時代的生產(chǎn)工藝，面向圖像、語音、自然語言處理等不同的應(yīng)用場景和領(lǐng)域的算法也層出不窮，算法的提升和改進(jìn)可以提高算力的效率和更多的挖掘數(shù)據(jù)價值。

本文重點(diǎn)分析算力方面內(nèi)容，介紹算力市場總體情況，當(dāng)前算力發(fā)展的特點(diǎn)和趨勢，以及重點(diǎn)算力供應(yīng)方式等。

一、算力需求快速增長，算力投資具有多重經(jīng)濟(jì)價值

算力即計算能力，核心是CPU、GPU、NPU、MCU等各類芯片，具體由計算機(jī)、服務(wù)器、高性能計算集群和各類智能終端等承載。數(shù)字經(jīng)濟(jì)時代，數(shù)據(jù)的爆炸式增長，算法的復(fù)雜程度不斷提高，對算力需求越來越高。算力是數(shù)字經(jīng)濟(jì)發(fā)展的基礎(chǔ)設(shè)施和核心生產(chǎn)力，對經(jīng)濟(jì)發(fā)展具有重要作用，根據(jù)IDC與浪潮聯(lián)合發(fā)布的《2020全球計算力指數(shù)評估報告》，計算力指數(shù)平均每提高1點(diǎn)，數(shù)字經(jīng)濟(jì)和GDP將分別增長3.3‰和1.8‰。

隨著數(shù)字經(jīng)濟(jì)的不斷發(fā)展，人工智能、物聯(lián)網(wǎng)、區(qū)塊鏈、AR/VR 等數(shù)字經(jīng)濟(jì)的關(guān)鍵領(lǐng)域?qū)λ懔Φ男枨笠矊⒊时ㄊ皆鲩L。根據(jù)華為發(fā)布的《泛在算力：智能社會的基石》報告，預(yù)計到2030年人工智能、物聯(lián)網(wǎng)、區(qū)塊鏈、AR/VR 等總共對算力的需求將達(dá)到3.39萬EFLOPS，并且將共同對算力形成隨時、隨地、隨需、隨形 (Anytime、Anywhere、AnyCapacity、Any Object) 的能力要求，其中人工智能算力將超過1.6萬EFLOPS，接近整體算力需求的一半。OpenAI開發(fā)的GPT-3模型涉及1750億個參數(shù)，對算力的需求達(dá)到3640PFLOPS，目前國內(nèi)也有研究團(tuán)隊在跟進(jìn)中文GPT-3模型的研究。

算力投資具有多重經(jīng)濟(jì)價值，不僅直接帶動服務(wù)器行業(yè)及上游芯片、電子等行業(yè)的發(fā)展，而且算力價值的發(fā)揮將帶動各行業(yè)轉(zhuǎn)型升級和效率提升等，帶來更大的間接經(jīng)濟(jì)價值。根據(jù)《泛在算力：智能社會的基石》報告，每投入1美元算力即可以帶動芯片、服務(wù)器、數(shù)據(jù)中心、智能終端、高速網(wǎng)絡(luò)等領(lǐng)域約4.7美元的直接產(chǎn)業(yè)產(chǎn)值增長；在傳統(tǒng)工廠改造為智能化工廠的場景下，每1美元的算力投入，可以帶動10美元的相關(guān)產(chǎn)值提升。

二、算力發(fā)展的特點(diǎn)及趨勢

隨著數(shù)據(jù)規(guī)模的增加和算法復(fù)雜度的提升，以及應(yīng)用多樣性的不斷豐富，對算力提出的要求也越來越高，當(dāng)前算力發(fā)展呈現(xiàn)出三方面的特點(diǎn)，一是多種架構(gòu)百花齊放的狀態(tài)，二是中心化的算力與邊緣終端算力快速發(fā)展，三是專用算力日漸成勢。

近年來多種算力架構(gòu)并存并快速發(fā)展。曾經(jīng)x86架構(gòu)的算力占絕對優(yōu)勢，英特爾和AMD基本壟斷了X86算力架構(gòu)市場，海光信息通過跟AMD合作獲得x86架構(gòu)的授權(quán)；如今基于ARM架構(gòu)的算力份額不斷擴(kuò)大，特別是在移動端ARM架構(gòu)算力成為主流，華為海思等主要產(chǎn)品是基于ARM架構(gòu)，另外天津飛騰的產(chǎn)品也是基于ARM架構(gòu)。隨著人工智能等算力需求的不斷增加，GPU算力的需求不斷增加，英偉達(dá)在GPU算力市場占有絕對優(yōu)勢，AMD也分了一杯羹，疊加比特幣挖礦算力需求，導(dǎo)致市場上GPU卡供不應(yīng)求。近幾年國內(nèi)也出現(xiàn)幾個GPU方面的創(chuàng)業(yè)團(tuán)隊，如寒武紀(jì)、登臨科技、燧原科技等。此外，Risc-V、存算一體化架構(gòu)、類腦架構(gòu)等算力也不斷涌現(xiàn)，不過這些算力剛剛起步，在應(yīng)用生態(tài)等方面還需要一定較長的培育過程。

中心化算力和邊緣終端算力快速發(fā)展。隨著7nm制程日漸成熟，基于7nm制程的CPU、GPU等算力性能得到極大提升，目前7nm制程算力主要是中心化算力，移動端智能手機(jī)的處理器算力部分也已經(jīng)采用7nm制程。臺積電的7nm制程已經(jīng)實(shí)現(xiàn)規(guī)?；?，并開始攻關(guān)3nm工藝制程；中芯國際7nm工藝制程仍在技術(shù)攻關(guān)當(dāng)中。隨著5G及物聯(lián)網(wǎng)應(yīng)用的不斷增加，邊緣終端算力的需求日益增加，特別是自動駕駛、智慧安防、智慧城市等領(lǐng)域算力需求。地平線自動駕駛芯片已經(jīng)量產(chǎn)，英偉達(dá)jetson產(chǎn)品在嵌入式終端產(chǎn)品應(yīng)用廣泛，其他針對特定領(lǐng)域?qū)Ｓ眠吘壗K端芯片創(chuàng)業(yè)公司層出不窮。

針對圖像、語音等特定領(lǐng)域的專用算力日漸成勢。一方面是芯片工藝制程越來越逼近摩爾定律的極限，另一方面是物聯(lián)網(wǎng)智能終端對功耗的要求等，針對特定領(lǐng)域的專用芯片層出不窮，并且越來越多的巨頭參與其中。谷歌的TPU專為機(jī)器學(xué)習(xí)定制的算力，阿里平頭哥的含光NPU專為神經(jīng)網(wǎng)絡(luò)定制的算力，賽靈思的FPGA算力，百度研發(fā)針對語音領(lǐng)域的鴻鵠芯片以及云知聲、思必馳、探境科技等也推出智能語音相關(guān)的芯片，北京君正、云天勵飛、依圖科技和芯原微電子等推出針對視覺和視頻處理相關(guān)的專用芯片。

三、算力供應(yīng)以公有云和自建算力為主，多種方式相補(bǔ)充

當(dāng)前的算力供給主要包括公有云、超算中心、自建算力、地方算力中心等方式。其中，公有云和自建算力中心是算力的主要來源方式，超算中心及地方算力中心等多種方式相互補(bǔ)充。

規(guī)模化的算力供應(yīng)通常通過數(shù)據(jù)中來承載，新建數(shù)據(jù)中心的不斷增加，將帶動未來算力資源的供應(yīng)不斷擴(kuò)大。據(jù)中國電子信息產(chǎn)業(yè)發(fā)展研究院統(tǒng)計數(shù)據(jù)，2019年中國數(shù)據(jù)中心數(shù)量大約為7.4萬個，大約能占全球數(shù)據(jù)中心總量的23%，其中大型數(shù)據(jù)中心占比12.7%；在用數(shù)據(jù)中心機(jī)架規(guī)模達(dá)到265.8萬架，同比增長28.7%；在建數(shù)據(jù)中心機(jī)架規(guī)模約185萬架，同比增加約43萬架。2020年國家大力支持“新基建”建設(shè)以來，數(shù)據(jù)中心作為“新基建”的重要內(nèi)容，京津冀、長三角和珠三角等算力需求地區(qū)，以及中西部能源資源集中的區(qū)域，如內(nèi)蒙、山西等，均在推進(jìn)新的大中型數(shù)據(jù)中心的建設(shè)。

公有云以其穩(wěn)定和易用等特點(diǎn)，成為許多企業(yè)特別是中小企業(yè)的算力首選方式。據(jù)不完全統(tǒng)計，阿里云服務(wù)器總數(shù)接近200萬臺，騰訊云服務(wù)器總數(shù)超過110萬臺，華為云、百度云、京東云、AWS等云廠商服務(wù)器總數(shù)未找到確切數(shù)據(jù)，保守估計各類云廠商服務(wù)器總數(shù)之和也超過500萬臺。而且在國家宣布大力支持“新基建”建設(shè)之后，騰訊宣布未來五年將投資5000億元用于云計算、數(shù)據(jù)中心等新基建項目的進(jìn)一步布局，阿里云宣布未來三年阿里將投2000億元用于面向未來的數(shù)據(jù)中心建設(shè)及重大核心技術(shù)研發(fā)攻堅，百度宣布預(yù)計到2030年百度智能云服務(wù)器臺數(shù)將超過500萬臺。各大云廠商仍在繼續(xù)加大算力投入，公有云算力供應(yīng)將會更加充裕。

自建算力以其安全性和自主性等特點(diǎn)，成為政府、大企業(yè)及其他關(guān)注安全的組織的算力首選方式。政府、銀行及高校和央企等，通常通過自建或租賃數(shù)據(jù)中心的方式自建算力，滿足自身各項業(yè)務(wù)的算力需求。許多互聯(lián)網(wǎng)公司在剛開始時選擇使用公有云服務(wù)，但規(guī)模發(fā)展到一定程度時通常都會開始自建或租賃數(shù)據(jù)中心的方式自建算力。其他有部分各種類型的企業(yè)，出于安全、商業(yè)機(jī)密和隱私等方面的考慮，不意愿把數(shù)據(jù)和業(yè)務(wù)等放到阿里云等公有云上，往往選擇托管服務(wù)器的方式自建算力，規(guī)模更小企業(yè)直接就在本地使用。2020年6月快手宣布投資100億元自建數(shù)據(jù)中心，計劃部署30萬臺服務(wù)器，字節(jié)跳動等大型互聯(lián)網(wǎng)公司都在不斷加大數(shù)據(jù)中心的建設(shè)。

超算中心和地方算力中心作為算力供應(yīng)有效的補(bǔ)充方式，適合于大規(guī)模計算需求的應(yīng)用領(lǐng)域。截至2020年，科技部批準(zhǔn)建立的國家超級計算中心共有八所，分別是國家超級計算天津中心、廣州中心、深圳中心、長沙中心、濟(jì)南中心、無錫中心、鄭州中心和昆山中心。超算中心主要的算力資源以CPU為主，新建的超算中心及更新升級過程中超算中心逐步增加了異構(gòu)GPU算力資源。超算中心較好的滿足和彌補(bǔ)了高校科研中算力資源的需求，特別是在工業(yè)仿真、生物信息、新材料、氣象、海洋等科學(xué)計算領(lǐng)域。國內(nèi)主要省市地區(qū)基本都投資建設(shè)了當(dāng)?shù)厮懔χ行?，重點(diǎn)服務(wù)本地科研和產(chǎn)業(yè)發(fā)展的需求，如太原、蘇州、福建等地，目前通常地方算力中心的規(guī)模并不大，計算節(jié)點(diǎn)數(shù)在200-500之間居多，主要服務(wù)于當(dāng)?shù)貧庀?、工業(yè)仿真和生物信息等領(lǐng)域計算需求。此外，2020年以來，武漢、南京、珠海、許昌等地區(qū)正在建設(shè)人工智能計算中心，將在一定程度上彌補(bǔ)當(dāng)前規(guī)?；疉I算力不足的情況。

結(jié)語

算力作為數(shù)字經(jīng)濟(jì)的基礎(chǔ)設(shè)施，也是數(shù)字經(jīng)濟(jì)時代的生產(chǎn)力和引擎，越來越成為數(shù)字經(jīng)濟(jì)時代國家競爭力的體現(xiàn)。根據(jù)IDC與浪潮聯(lián)合發(fā)布的《2020全球計算力指數(shù)評估報告》，中國和美國的算力建設(shè)在全球處于領(lǐng)先地位，美國的算力無論在規(guī)模、效率、應(yīng)用水平等方面都領(lǐng)先于中國。此外，從算力芯片供應(yīng)角度看，美國的英特爾、AMD、英偉達(dá)等企業(yè)幾乎占了全球的絕大部分的市場份額。可見，中國在算力建設(shè)和發(fā)展仍然需要加大投入和加強(qiáng)研發(fā)等，發(fā)揮優(yōu)勢的同時彌補(bǔ)不足，從而為數(shù)字經(jīng)濟(jì)長期發(fā)展奠定更加堅實(shí)的基礎(chǔ)。

以上就是關(guān)于gpt3模型詳解相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。

推薦閱讀：

ChatGPT內(nèi)容能商用嗎

ChatGPT需要付費(fèi)多少

chatGPT人工智能能干什么（cogito人工智能）

夏令營景觀設(shè)計（夏令營景觀設(shè)計圖片）

推送創(chuàng)意公眾號（推送創(chuàng)意公眾號怎么寫）