正文

gpt3在線生成文字（gpt 文本生成）

發(fā)布時(shí)間：2023-03-12 10:43:24 稿源：創(chuàng)意嶺閱讀： 79 問大家

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于gpt3在線生成文字的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來(lái)看看吧。

ChatGPT國(guó)內(nèi)免費(fèi)在線使用，能給你生成想要的原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

你只需要給出你的關(guān)鍵詞，它就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端，官網(wǎng)：https://ai.de1919.com

本文目錄:

1、GPT的auto-regressive語(yǔ)言模型架構(gòu)在信息表示方面有什么架構(gòu)上的缺陷？具體如何改進(jìn)？
2、gpt輸出文本會(huì)斷掉
3、檢測(cè)中文是否由chatgpt生成
4、gpt-3支持幾種語(yǔ)言

gpt3在線生成文字（gpt 文本生成）

一、GPT的auto-regressive語(yǔ)言模型架構(gòu)在信息表示方面有什么架構(gòu)上的缺陷？具體如何改進(jìn)？

1） GPT

在Bert 之后，OpenAI 的 GPT-2 就是其中之一。它在文本生成上有著驚艷的表現(xiàn)，其生成的文本在上下文連貫性和情感表達(dá)上都超過(guò)了人們對(duì)目前階段語(yǔ)言模型的預(yù)期。僅從模型架構(gòu)而言，GPT-2 并沒有特別新穎的架構(gòu)，它和 transformer 的 Decoder 類似。相比較于GPT-1，GPT -2 使用了更大的預(yù)料，更大和更深的模型。

從transformer的decoder里移除了decoder對(duì)encoder的attention部分。也就是消除掉了seq2seq的過(guò)程。

GPT是一個(gè)語(yǔ)言模型，每一個(gè)時(shí)刻只能看見當(dāng)前時(shí)刻前面時(shí)刻的信息，是一個(gè)auto regressive的過(guò)程。

GPT2，hidden state的大小有變化，根據(jù)層數(shù)的多少有small，medum，large，extra large的劃分。

GPT的訓(xùn)練過(guò)程是交叉式的預(yù)測(cè)下一個(gè)單詞，測(cè)試的時(shí)候是輸入一個(gè)句子生成另外一個(gè)句子。

GPT的預(yù)訓(xùn)練就是訓(xùn)練一個(gè)語(yǔ)言模型。而bert的預(yù)訓(xùn)練是masked language model和nsp的任務(wù)。

GPT由多個(gè)decocer block組成，每一個(gè)decoder block由masked self-attention和feed forward neural network組成。

一個(gè)timestamp的hidden state經(jīng)過(guò)線性層轉(zhuǎn)換為vocab size大小的embedding，然后經(jīng)過(guò)softmax，算出每個(gè)詞匯的概率，找出其中概率最大的詞作為預(yù)測(cè)輸出，然后下一個(gè)時(shí)刻的詞作為真實(shí)輸出，計(jì)算兩者的cross entropy來(lái)訓(xùn)練模型。

每一個(gè)timestamp后面的位置都mask掉，設(shè)置一個(gè)負(fù)無(wú)群大的值，做softmax的時(shí)候，該位置的值就為0。

2）總結(jié)

transformer decoder的構(gòu)造
預(yù)訓(xùn)練的時(shí)候做語(yǔ)言模型的訓(xùn)練
GPT2用更多更深的block
BERT是做NLU，generation做不了
GPT天生就是語(yǔ)言模型，非常適合做generation的任務(wù)，在bert里能做的在gpt里也可以做

除了GPT-2 ，GPT-3依舊延續(xù)自己的單向語(yǔ)言模型訓(xùn)練方式，只不過(guò)把模型尺寸增大到了1750億，并且使用45TB數(shù)據(jù)進(jìn)行訓(xùn)練

二、gpt輸出文本會(huì)斷掉

GPT輸出文本斷掉的原因可能有很多，可能是模型結(jié)構(gòu)的問題，也可能是數(shù)據(jù)集的問題，還可能是算法的問題。

很多時(shí)候是由于模型沒有訓(xùn)練足夠多的參數(shù)而導(dǎo)致模型不夠穩(wěn)定，不能保持較長(zhǎng)的輸出。此外，數(shù)據(jù)集的質(zhì)量也很關(guān)鍵，如果數(shù)據(jù)集中的句子不夠豐富，那么模型就可能無(wú)法產(chǎn)生出較豐富的文本。此外，算法也是一個(gè)重要的因素，如果算法的優(yōu)化不夠好，那么模型的輸出也會(huì)受影響。

三、檢測(cè)中文是否由chatgpt生成

從大學(xué)教授，到Stack Overflow，可謂是苦ChatGPT久矣?，F(xiàn)在，無(wú)論是老師看到學(xué)生提交的論文，還是碼農(nóng)看到網(wǎng)上的代碼，都不敢確定作者是人還是AI。

OpenAI發(fā)布ChatGPT檢測(cè)器

它是一個(gè)經(jīng)過(guò)微調(diào)的GPT模型，可以推斷一段文本由AI產(chǎn)生的可能性。

有趣的是，ChatGPT也是基于GPT模型，用這個(gè)分類器檢測(cè)ChatGPT，堪稱左右互搏。

在訓(xùn)練上，這個(gè)模型采用的是同一主題下的人類手寫和AI生成的文本對(duì)。

用到的素材來(lái)自于維基百科數(shù)據(jù)集、2019年收集的WebText數(shù)據(jù)集，以及在訓(xùn)練InstructGPT時(shí)收集的一組人類演示。

體驗(yàn)地址：https://platform.openai.com/ai-text-classifier

但是吧，這個(gè)正確率著實(shí)不高……

在評(píng)估「挑戰(zhàn)集」中的英語(yǔ)文本時(shí)，分類器只將26%的AI生成文本正確地歸類為「可能是AI寫的」（真陽(yáng)性）。

此外，它還通過(guò)了美國(guó)醫(yī)學(xué)執(zhí)照考試、沃頓商學(xué)院MBA考試和4門法學(xué)院的考試，能力簡(jiǎn)直要通天；美版「頭條」BuzzFeed宣布要用ChatGPT寫文的消息后，股價(jià)瘋狂暴漲119%。

而妙筆生花的文采，也讓ChatGPT被很多小哥奉為「撩妹神器」。