HOME 首頁(yè)
SERVICE 服務(wù)產(chǎn)品
XINMEITI 新媒體代運(yùn)營(yíng)
CASE 服務(wù)案例
NEWS 熱點(diǎn)資訊
ABOUT 關(guān)于我們
CONTACT 聯(lián)系我們
創(chuàng)意嶺
讓品牌有溫度、有情感
專(zhuān)注品牌策劃15年

    chatbot經(jīng)驗(yàn)(chat bot)

    發(fā)布時(shí)間:2023-03-13 03:24:43     稿源: 創(chuàng)意嶺    閱讀: 97        問(wèn)大家

    大家好!今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于chatbot經(jīng)驗(yàn)的問(wèn)題,以下是小編對(duì)此問(wèn)題的歸納整理,讓我們一起來(lái)看看吧。

    ChatGPT國(guó)內(nèi)免費(fèi)在線使用,能給你生成想要的原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

    你只需要給出你的關(guān)鍵詞,它就能返回你想要的內(nèi)容,越精準(zhǔn),寫(xiě)出的就越詳細(xì),有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶(hù)端,官網(wǎng):https://ai.de1919.com

    本文目錄:

    chatbot經(jīng)驗(yàn)(chat bot)

    一、2021年前端前景怎么樣?

    隨著互聯(lián)網(wǎng)的高速發(fā)展,不知不覺(jué)中我們的生活也被互聯(lián)網(wǎng)從四面八方包圍,不論是網(wǎng)上點(diǎn)餐、網(wǎng)上購(gòu)物、網(wǎng)上購(gòu)票,還是網(wǎng)上學(xué)習(xí),這都表明了現(xiàn)在就是互聯(lián)網(wǎng)的天下。

    因此,不少人選擇學(xué)習(xí)web前端,但是擔(dān)心的問(wèn)題也來(lái)了,最近幾年web前端發(fā)展趨勢(shì)良好,但是明年是否也能保持很好?那么我們就來(lái)預(yù)測(cè)下2021年web前端的就業(yè)前景發(fā)展吧!

    web前端人才需求還會(huì)持續(xù)增加

    據(jù)國(guó)內(nèi)權(quán)威數(shù)據(jù)統(tǒng)計(jì),未來(lái)五年,我國(guó)信息化人才總需求量高達(dá)1500萬(wàn)—2000萬(wàn)人。其中“網(wǎng)絡(luò)工程”“UI設(shè)計(jì)”“web前端”等人才的缺口最為突出,所以2021年web前端的市場(chǎng)需求還是很大的。

    更有甚者,目前不僅大型互聯(lián)網(wǎng)公司擬相繼成立了專(zhuān)屬的web 前端部門(mén),中小型公司和創(chuàng)業(yè)公司也急需專(zhuān)業(yè)的web前端工程師。

    web前端薪酬工資仍會(huì)上漲

    從這組小數(shù)據(jù)和趨勢(shì)圖可以看出,前端開(kāi)發(fā)行業(yè)薪資水平呈上漲趨勢(shì),Web前端開(kāi)發(fā)早已不是做帶動(dòng)畫(huà)的下拉菜單的時(shí)代了,他們已成為互聯(lián)網(wǎng)主宰者,各行業(yè)都用其開(kāi)發(fā)互聯(lián)網(wǎng)應(yīng)用。

    但目前整互聯(lián)網(wǎng)行業(yè)的Web前端開(kāi)發(fā)工程師緊俏,企業(yè)正高薪求才,薪資待遇一漲再漲!

    web前端就業(yè)方向廣

    web前端開(kāi)發(fā)在軟件開(kāi)發(fā)中,就業(yè)門(mén)檻比較低,是比較好就業(yè)的,薪資待遇平均超過(guò)13k。在目前互聯(lián)網(wǎng)時(shí)代,只要公司有需要開(kāi)發(fā)互聯(lián)網(wǎng)產(chǎn)品,包括網(wǎng)站,網(wǎng)頁(yè),H5,小程序,APP等等,就需要前端開(kāi)發(fā)工程師崗位,具體的就業(yè)方向還可以按公司的技術(shù)需求來(lái)區(qū)分,側(cè)重點(diǎn)各有不同,就業(yè)行業(yè)隨著互聯(lián)網(wǎng)的發(fā)展,已經(jīng)變得越來(lái)越廣泛了。

    我們是一個(gè)專(zhuān)門(mén)做IT培訓(xùn)機(jī)構(gòu)尚學(xué)堂,學(xué)習(xí)交流和資料分享都可以聯(lián)系我們,我們隨時(shí)等著你~~~~~~

    web前端未來(lái)發(fā)展前途大好

    隨著5G時(shí)代的到來(lái),之后在移動(dòng)互聯(lián)網(wǎng)領(lǐng)域?qū)?huì)出現(xiàn)新的開(kāi)發(fā)場(chǎng)景,包括自動(dòng)駕駛、車(chē)聯(lián)網(wǎng)、物聯(lián)網(wǎng)、人工智能、智能家居還有可穿戴設(shè)備等領(lǐng)域?qū)?lái)大量的前端開(kāi)發(fā)需求。有需求就會(huì)有市場(chǎng),所以2021年web前端還是會(huì)一如既往地“紅”下去。

    二、如何為python聊天機(jī)器人設(shè)計(jì)頁(yè)面

    為 Python 聊天機(jī)器人設(shè)計(jì)頁(yè)面的方式有很多,下面提供一種基本的方式,你可以根據(jù)自己的需求和技術(shù)水平進(jìn)行適當(dāng)?shù)母暮驼{(diào)整:

    1. 選擇一個(gè) Web 框架:常用的 Web 框架有 Flask 和 Django,它們都提供了強(qiáng)大的 Web 開(kāi)發(fā)功能和模板引擎,使得頁(yè)面設(shè)計(jì)和開(kāi)發(fā)更加高效。選擇一個(gè)最適合你的框架并進(jìn)行安裝和設(shè)置。

    2. 設(shè)計(jì)頁(yè)面布局和樣式:可以使用 HTML 和 CSS 實(shí)現(xiàn)頁(yè)面布局和樣式設(shè)計(jì),也可以選擇開(kāi)源的 CSS 框架,如 Bootstrap、Materialize 等,它們提供了更加美觀和易用的頁(yè)面組件和樣式。

    3. 與 Python 后端進(jìn)行通信:可以使用 AJAX 或 WebSocket 等技術(shù)與 Python 后端進(jìn)行通信,發(fā)送消息和接收響應(yīng),實(shí)現(xiàn)聊天機(jī)器人的交互和功能。

    4. 集成聊天機(jī)器人 API:可以選擇開(kāi)源的聊天機(jī)器人 API,如 ChatterBot、Dialogflow 等,在 Python 后端中調(diào)用這些 API 實(shí)現(xiàn)聊天機(jī)器人的自然語(yǔ)言處理和對(duì)話管理。同時(shí),也可以使用自己的聊天機(jī)器人模型和算法進(jìn)行集成和進(jìn)一步優(yōu)化。

    5. 測(cè)試和部署:在完成頁(yè)面設(shè)計(jì)和集成聊天機(jī)器人 API 后,進(jìn)行測(cè)試和部署,確保其正常工作和高可用性。部署方案可以選擇云服務(wù)平臺(tái),如 AWS、Azure、Google Cloud 等,或使用自己的服務(wù)器進(jìn)行部署。

    總之,為 Python 聊天機(jī)器人設(shè)計(jì)頁(yè)面需要進(jìn)行多方面的工作,包括前端頁(yè)面設(shè)計(jì)、后端 API 集成、測(cè)試和部署等。需要具備一定的 Web 開(kāi)發(fā)和 Python 編程經(jīng)驗(yàn),同時(shí)也需要了解聊天機(jī)器人相關(guān)的自然語(yǔ)言處理和對(duì)話管理技術(shù)。

    三、QA問(wèn)句解析的七種方法及優(yōu)化思路

    在 《淺談智能搜索和對(duì)話式OS》 中,提到過(guò),人機(jī)對(duì)話系統(tǒng)的常見(jiàn)場(chǎng)景有三種,分別為: 閑聊型(Chatbot) 、 問(wèn)答型(QA) 任務(wù)型(VPA) 。本篇文章所關(guān)注的解析方式主要適用于QA系統(tǒng)中的封閉域問(wèn)答,也即: 將用戶(hù)問(wèn)句解析為庫(kù)中存在的標(biāo)準(zhǔn)問(wèn)句 。

    這里講的七種方法均為我個(gè)人閱讀文獻(xiàn)后歸納整理而來(lái),并不都是成熟穩(wěn)定可以商業(yè)化的做法,目的只是提出思路以作參考。

    基于規(guī)則的方法通常在缺乏訓(xùn)練數(shù)據(jù)的情況下采用,由于與后面的基于統(tǒng)計(jì)的方法區(qū)別較大,所以記為第零種方法。

    基于規(guī)則的解析系統(tǒng)通常由兩部分構(gòu)成:一個(gè)是『規(guī)則庫(kù)』,解析規(guī)則通常為 CFG 上下文無(wú)關(guān)文法;另一個(gè)是『同義詞庫(kù)』,記錄了一些標(biāo)準(zhǔn)詞的常見(jiàn)同義詞。

    整個(gè)解析就是一個(gè)上下文無(wú)關(guān)文法歸約的過(guò)程。首先進(jìn)行自動(dòng)分詞,接著將用戶(hù)問(wèn)句中的詞依照『同義詞庫(kù)』歸約為標(biāo)準(zhǔn)詞,然后再將詞歸約后的問(wèn)句與『規(guī)則庫(kù)』中的解析規(guī)則比對(duì),一旦比對(duì)成功,即該條用戶(hù)問(wèn)句被成功歸約到該條解析規(guī)則所對(duì)應(yīng)的標(biāo)準(zhǔn)問(wèn)句上。

    舉個(gè)例子,同義詞庫(kù)中有這樣兩條記錄:『失敗:不上去、不進(jìn)去、不成功、錯(cuò)誤』『登錄:登陸、登錄』,規(guī)則庫(kù)中有這樣一條規(guī)則:『賬號(hào)登錄失?。篬賬號(hào)][登錄](méi)[失敗]』。

    有一條用戶(hù)問(wèn)句是這樣的『我賬號(hào)怎么登陸不上去了』。首先假定分詞正確,分詞結(jié)果為『我|賬號(hào)|怎么|登陸|不上去|了』;之后進(jìn)行詞歸約,歸約結(jié)果為『我賬號(hào)怎么登錄失敗了』;接著與規(guī)則『賬號(hào)登錄失敗:[賬號(hào)][登錄](méi)[失敗]』比對(duì),發(fā)現(xiàn)比對(duì)成功。該條用戶(hù)問(wèn)句被成功歸約為標(biāo)準(zhǔn)問(wèn)句『賬號(hào)登錄失敗』,我們將系統(tǒng)中『賬號(hào)登錄失敗』所對(duì)應(yīng)的標(biāo)準(zhǔn)答案提供給用戶(hù),完成交互流程。

    這樣做在一定程度上能夠解決問(wèn)題,但缺點(diǎn)也特別嚴(yán)重。首先『規(guī)則庫(kù)』與『同義詞庫(kù)』需要人工構(gòu)建,這需要巨大且長(zhǎng)期的人力資源投入。因?yàn)檎Z(yǔ)言的表達(dá)方式理論上是無(wú)限的,而能想到的規(guī)則和同義詞總是有限的;且隨著語(yǔ)言的發(fā)展,或是業(yè)務(wù)的變動(dòng),整個(gè)規(guī)則庫(kù)和同義詞庫(kù)的維護(hù)也需要持續(xù)的人力資源投入。

    其次,編寫(xiě)規(guī)則庫(kù)需要豐富的經(jīng)驗(yàn),對(duì)于人員素質(zhì)的要求極高。因?yàn)榻馕鲆?guī)則的抽象程度相當(dāng)高,在這樣高的抽象程度上,即便編寫(xiě)者具有較豐富的經(jīng)驗(yàn)(如果沒(méi)經(jīng)驗(yàn)會(huì)更糟),不同解析規(guī)則之間的沖突也是不可避免的,也即同一條用戶(hù)問(wèn)句會(huì)與多條標(biāo)準(zhǔn)問(wèn)句的解析規(guī)則比對(duì)成功,這種情況下的標(biāo)準(zhǔn)問(wèn)句選擇/評(píng)分問(wèn)題,又需要另一套系統(tǒng)來(lái)解決。

    換個(gè)角度,我們可以將依照用戶(hù)問(wèn)句找到標(biāo)準(zhǔn)問(wèn)句的過(guò)程看做是輸入 Query 得到 Document 的搜索過(guò)程。

    我們可以嘗試采用傳統(tǒng)搜索引擎中使用的檢索模型來(lái)進(jìn)行用戶(hù)問(wèn)句解析。 《淺談搜索引擎基礎(chǔ)(上)》 中提到,BM25 是目前效果最好的檢索模型,我們就以 BM25 模型為例來(lái)分析。

    BM25 模型的計(jì)算公式如下:

    BM25 模型計(jì)算公式融合了 4 個(gè)考慮因素: IDF 因子 、 文檔詞頻 、 文檔長(zhǎng)度因子 查詢(xún)?cè)~頻 ,并利用 3 個(gè)自由調(diào)節(jié)因子(k1、k2 和 b)對(duì)各種因子的權(quán)值進(jìn)行調(diào)整組合。

    其中,N 代表文檔總數(shù),n 代表出現(xiàn)對(duì)應(yīng)單詞的文檔個(gè)數(shù),f 指文檔中出現(xiàn)對(duì)應(yīng)單詞的詞頻,qf 是查詢(xún)語(yǔ)句中對(duì)應(yīng)單詞的詞頻,dl 是文檔長(zhǎng)度。

    利用 BM25 模型可以有三種思路,分別把標(biāo)準(zhǔn)問(wèn)句、標(biāo)準(zhǔn)問(wèn)句及標(biāo)準(zhǔn)答案、歷史中曾經(jīng)正確匹配過(guò)該標(biāo)準(zhǔn)問(wèn)句的用戶(hù)問(wèn)句集作為 Document,利用公式計(jì)算其與用戶(hù)問(wèn)句的相似度,然后利用相似度進(jìn)行排序,取出評(píng)分最高的標(biāo)準(zhǔn)問(wèn)句作為解析結(jié)果。

    對(duì)于這個(gè)思路我沒(méi)有做過(guò)實(shí)驗(yàn),不過(guò)我推測(cè),這種方法雖然節(jié)省了大量的人力,但在這種封閉域的 QA 系統(tǒng)中,其表現(xiàn)應(yīng)當(dāng)是不如上一種基于規(guī)則的方法,基于檢索模型的方法在開(kāi)放域中的表現(xiàn)會(huì)更好。

    此外,基于傳統(tǒng)檢索模型的方法會(huì)存在一個(gè)固有缺陷,就是檢索模型只能處理 Query 與 Document 有重合詞的情況,傳統(tǒng)檢索模型無(wú)法處理詞語(yǔ)的語(yǔ)義相關(guān)性。在上一種方法中,通過(guò)人工搭建的同義詞庫(kù),一定程度上解決了語(yǔ)義相關(guān)性的問(wèn)題。

    上文提到,完全基于檢索模型的方法無(wú)法處理詞語(yǔ)的語(yǔ)義相關(guān)性。

    為了在一定程度上解決這個(gè)問(wèn)題,我們可以利用 LDA/SMT 等方法通過(guò)語(yǔ)料挖掘詞之間的同義關(guān)系,為每個(gè)詞自動(dòng)構(gòu)建一個(gè)同義度高于閾值且大小合適的同義詞表。在代入檢索模型公式進(jìn)行計(jì)算的過(guò)程中,若文檔中發(fā)現(xiàn)所查找關(guān)鍵詞的同義詞,可以依據(jù)同義程度乘以一定權(quán)重后納入到關(guān)鍵詞的詞頻計(jì)算之中。

    《淺談智能搜索和對(duì)話式OS》 中有對(duì) LDA/SMT 的介紹。

    簡(jiǎn)單的說(shuō),LDA 可以合理的將單詞歸類(lèi)到不同的隱含主題之中;并且通過(guò)計(jì)算兩篇文章主題向量 θ 的 KL 散度(相對(duì)熵),可以得到兩篇文章的相似性。SMT 模型出自微軟之手,目的即是將翻譯模型引入傳統(tǒng)檢索模型,提高檢索模型對(duì)語(yǔ)義相關(guān)詞對(duì)的處理能力,該模型也曾被百度采用過(guò)以提高搜索引擎返回結(jié)果的質(zhì)量。

    word embedding 將詞表示為 Distributed Representation,也即低維向量空間中的一個(gè)詞向量,Distributed Representation 下的詞可以利用余弦距離來(lái)計(jì)算詞之間語(yǔ)義的相關(guān)關(guān)系。與 one-hot Representation 相對(duì)應(yīng),one-hot Representation 下的詞向量的維數(shù)與單詞表的維數(shù)相同,不同詞的詞向量之間均正交。傳統(tǒng)的詞集模型(SOW)和詞袋模型(BOW)采用的即是 one-hot Representation。

    我們可以采用深度學(xué)習(xí)的方法來(lái)得到詞 Distributed Representation 的詞向量。比如訓(xùn)練一個(gè)普通的神經(jīng)概率語(yǔ)言模型,就可以得到詞的詞向量,或者參考 word2vec 中的方式,訓(xùn)練 CBOW 或者 Skip-gram 模型。神經(jīng)概率語(yǔ)言模型、CBOW 以及 Skip-gram 的介紹在 《淺談智能搜索和對(duì)話式OS》 均有提及。

    借助百度這張圖來(lái)講,利用 DNN 建模的思路如下:

    我們需要使用一批 用戶(hù)問(wèn)句-標(biāo)準(zhǔn)問(wèn)句對(duì) 的正例和反例作為訓(xùn)練語(yǔ)料,借助上面的方式,同時(shí)將正例和反例進(jìn)行 word embedding 后送入 DNN 中,并采用 Pairwise ranking loss 的方式來(lái)建模正例和反例之間的語(yǔ)義差別。

    上一種基于 DNN 的方法,在一定程度上已經(jīng)可以解決詞的語(yǔ)義相關(guān)性的問(wèn)題,但對(duì)句子中的短距離依賴(lài)關(guān)系并沒(méi)有做恰當(dāng)?shù)奶幚?,比如無(wú)法區(qū)分『甲到乙』和『乙到甲』。

    根據(jù)百度的評(píng)測(cè)結(jié)果,CNN 在處理短距離依賴(lài)關(guān)系上擁有更好的表現(xiàn)。

    該圖出自李航博士 Convolutional Neural Network Architectures for Matching Natural Language Sentences 中的 ARC-1:

    其做法的基本思路是:將問(wèn)句中的每個(gè)詞,都做 word embedding,得到每個(gè)詞所對(duì)應(yīng)的固定長(zhǎng)度的詞向量,我們將問(wèn)句表示成一個(gè)二維矩陣,每一行代表問(wèn)句中相應(yīng)詞所對(duì)應(yīng)的詞向量。將這個(gè)二維矩陣進(jìn)行多次卷積池化(卷積核的寬度與詞向量維數(shù)相同,高度多為 2-5),最后得到一個(gè)一維特征向量,我們用 CNN 同時(shí)處理用戶(hù)問(wèn)句和標(biāo)準(zhǔn)問(wèn)句,得到用戶(hù)問(wèn)句和庫(kù)中標(biāo)準(zhǔn)問(wèn)句所對(duì)應(yīng)的特征向量。之后將這兩個(gè)向量拼接起來(lái)送入多層感知機(jī),由它來(lái)計(jì)算兩個(gè)問(wèn)句之間的匹配程度。

    另外,有人指出,直接將兩個(gè)特征向量拼接起來(lái)送入 MLP 會(huì)丟失邊界信息,所以我們同時(shí)將特征向量 a、特征向量 b 和 aTb 同時(shí)送入 MLP 來(lái)計(jì)算相似度。

    ARC-2 結(jié)構(gòu)同樣出自李航博士的上述論文:

    ARC-2 相較于 ARC-1 的改進(jìn)在于,ARC-2 嘗試讓兩個(gè)句子在得到像 ARC-1 結(jié)果那樣的高層抽象表示之前就進(jìn)行相互作用,不再先分別通過(guò) CNN 結(jié)構(gòu)得到各自高層抽象表示。

    在 ARC-1 模型中,一張 feature map 僅僅是一個(gè)列向量,或者說(shuō)是一個(gè)一維矩陣,若干個(gè)列向量并在一起形成了 ARC-1 示意圖中的模樣(二維),而在 ARC-2 中,一張 feature map 成為了一個(gè)二維矩陣,若干個(gè)二維矩陣疊在一起形成了 ARC-2 示意圖中的模樣(三維)。

    再之后的卷積、池化過(guò)程就與 CV 中 CNN 的卷積、池化過(guò)程類(lèi)似了。與上一種方法類(lèi)似的,在進(jìn)行 1D convolution 時(shí),涉及到兩個(gè)詞向量的連接,同樣可以采用之前提到的做法來(lái)避免邊界信息的丟失。

    同樣有人提出,在 ARC-2 結(jié)構(gòu)中,直接采用傳統(tǒng)的 word embedding 方法得到的詞向量組成句子作為輸入并不是最佳方案,最佳方案是采用已經(jīng)過(guò)了 LSTM 的 hidden state。

    我們可以采用 LSTM 結(jié)構(gòu)訓(xùn)練一個(gè) RNN 語(yǔ)言模型,如下圖(以普通 RNN 為例):

    從圖中可以發(fā)現(xiàn),當(dāng)輸出為『e』時(shí),hidden layer 向量中第三分量最大,而輸出為『l』時(shí),第一分量最大,輸出『o』時(shí),第二分量最大。我們可以將 RNN 的 hidden state 當(dāng)做 Distributed Representation 的詞向量來(lái)使用,將其作為 CNN(ARC-2)的輸入,經(jīng)測(cè)試可以得到更好的結(jié)果。

    一個(gè)可信度高的分詞結(jié)果是進(jìn)行后續(xù)解析步驟的基本前提。

    在 《淺談自然語(yǔ)言處理基礎(chǔ)(中)》 中,我介紹了一些經(jīng)典的分詞方法,不過(guò)都是些較早的研究成果。CRF方法是目前公認(rèn)的效果最好的分詞算法。

    CRF 方法的思想非常直接,就是將分詞問(wèn)題看作一個(gè)序列標(biāo)注問(wèn)題,為句子中的每個(gè)字標(biāo)注詞位:

    CRF 分詞的過(guò)程就是對(duì)詞位標(biāo)注后,將 B 和 E 之間的字,以及 S 單字構(gòu)成分詞。網(wǎng)上有很多公開(kāi)的基于 CRF 的分詞工具。

    至少存在四個(gè)角度可以在已有模型的基礎(chǔ)上進(jìn)一步提高解析質(zhì)量,包括:?jiǎn)柧錃w一化、用戶(hù)狀態(tài)、強(qiáng)化學(xué)習(xí)、多輪對(duì)話。

    問(wèn)句歸一化的目的是對(duì)用戶(hù)的輸入具有較好的容錯(cuò)性。

    簡(jiǎn)單的一些比如:簡(jiǎn)繁體歸一化、全角半角歸一化、標(biāo)點(diǎn)符號(hào)處理和大小寫(xiě)歸一化。復(fù)雜一些的比如漢語(yǔ)錯(cuò)別字的糾正。錯(cuò)別字自動(dòng)糾正技術(shù)的應(yīng)用非常廣泛,而且在提高系統(tǒng)用戶(hù)體驗(yàn)上能夠發(fā)揮很大的作用,可以說(shuō)性?xún)r(jià)比極高。

    錯(cuò)別字糾正通常的做法是訓(xùn)練噪聲信道模型。

    我們可以對(duì)用戶(hù)狀態(tài)提取特征,在訓(xùn)練和解析時(shí)將其作為附加信息一并作為神經(jīng)網(wǎng)絡(luò)的輸入。

    可以被考慮的用戶(hù)狀態(tài)至少包含:

    其次可以采用強(qiáng)化學(xué)習(xí)的方法,通過(guò)設(shè)計(jì)合理的獎(jiǎng)賞機(jī)制,讓解析系統(tǒng)在與環(huán)境互動(dòng)的過(guò)程中自主進(jìn)行策略更新。

    強(qiáng)化學(xué)習(xí)與普通的監(jiān)督學(xué)習(xí)方法相比存在兩個(gè)明顯的優(yōu)點(diǎn):一個(gè)是強(qiáng)化學(xué)習(xí)策略更新所需要的數(shù)據(jù)主要來(lái)源于與環(huán)境的交互/采樣,而不是昂貴的人工標(biāo)記數(shù)據(jù);另一個(gè)是強(qiáng)化學(xué)習(xí)所產(chǎn)生的策略是根據(jù)獎(jiǎng)賞機(jī)制自主迭代更新的,會(huì)有一些創(chuàng)新的做法,而不僅僅是模仿人類(lèi)提供的『標(biāo)準(zhǔn)』做法。

    QA 問(wèn)句解析中雖然不像游戲一樣擁有『策略創(chuàng)新玩法』這樣的概念,但仍然可以在解析優(yōu)化中幫助大量節(jié)省數(shù)據(jù)的人工標(biāo)記開(kāi)銷(xiāo)。

    應(yīng)用強(qiáng)化學(xué)習(xí)方法的核心問(wèn)題之一就是獎(jiǎng)賞機(jī)制的設(shè)計(jì),在 QA 的場(chǎng)景下設(shè)計(jì)獎(jiǎng)賞機(jī)制,至少可以考慮以下幾個(gè)角度:

    多輪對(duì)話技術(shù)可以進(jìn)一步提高與用戶(hù)對(duì)話的連貫性。

    我傾向于將多輪對(duì)話劃分為『封閉域』和『開(kāi)放域』兩個(gè)場(chǎng)景,不同場(chǎng)景的實(shí)現(xiàn)思路也應(yīng)該不同。

    封閉域場(chǎng)景多輪對(duì)話的特點(diǎn)是:系統(tǒng)能解決的問(wèn)題是一個(gè)有限集,多輪對(duì)話的目的是將用戶(hù)引導(dǎo)到我們可以解決的問(wèn)題上。

    而開(kāi)放域場(chǎng)景多輪對(duì)話的特點(diǎn)是:系統(tǒng)需要解決的問(wèn)題是一個(gè)無(wú)限集,多輪對(duì)話的目的是依照上下文更準(zhǔn)確的理解用戶(hù)的需求。

    在這樣的指導(dǎo)思想下,封閉域多輪對(duì)話的核心思路應(yīng)該是『填槽』,而開(kāi)放域多輪對(duì)話的核心思路是『上下文替換』和『主體補(bǔ)全』。

    《淺談智能搜索和對(duì)話式OS》 中介紹了百度利用 slot filling 技術(shù)來(lái)做 NLU,并利用『上下文替換』和『主體補(bǔ)全』來(lái)提高其 DuerOS 的對(duì)話能力的。

    而更進(jìn)一步的,填槽、上下文替換和主體補(bǔ)全的技術(shù)基礎(chǔ)都是『序列標(biāo)注』,這里給出百度的兩張 PPT:

    根據(jù)百度的 PPT,采用雙向 LSTM + CRF 做序列標(biāo)注,是一個(gè)商業(yè)上可行的方法。

    選擇合適的人工接入時(shí)機(jī)同樣是提高 QA 系統(tǒng)整體表現(xiàn)的方法之一,其核心問(wèn)題在于平衡用戶(hù)體驗(yàn)與投入成本。人工接入的越早,用戶(hù)體驗(yàn)越好,但成本也越高。

    這里簡(jiǎn)單提供螞蟻金服小螞答的做法:若系統(tǒng)連續(xù)提供給用戶(hù)三次相同的回答,顯示人工接入按鈕;若用戶(hù)連續(xù)詢(xún)問(wèn)兩次客服類(lèi)問(wèn)題(比如『我要人工』、『你們客服電話多少』),顯示人工接入按鈕。

    QA 系統(tǒng)的另一個(gè)重要組成部分是答案庫(kù)。

    答案錄入的優(yōu)化至少可以從三個(gè)角度來(lái)思考:

    答案形式的多樣性非常容易理解,比如小螞答就支持包括文本、鏈接、圖片、視頻在內(nèi)的多種答案形式。

    個(gè)性化問(wèn)題在上文解析優(yōu)化中已有涉及(考慮用戶(hù)狀態(tài)的解析優(yōu)化),上文的分析思路同樣可以應(yīng)用于答案錄入,我們可以對(duì)不同注冊(cè)時(shí)長(zhǎng)、付費(fèi)金額不同、進(jìn)入路徑不同等等的用戶(hù)提供不同的個(gè)性化答案。

    答案對(duì)用戶(hù)的幫助看起來(lái)比較抽象,但也很容易理解。通俗的,我個(gè)人以『地圖級(jí)』、『導(dǎo)航級(jí)』、『專(zhuān)車(chē)級(jí)』來(lái)為 QA 系統(tǒng)的答案進(jìn)行分級(jí):

    依照文章最初的人機(jī)對(duì)話系統(tǒng)場(chǎng)景分類(lèi),提供『專(zhuān)車(chē)級(jí)』答案的 QA 系統(tǒng),可以被稱(chēng)為 VPA 了。

    對(duì)于答案庫(kù)的優(yōu)化,在答案完備錄入(答案形式足夠豐富、針對(duì)不同用戶(hù)提供個(gè)性化的回答)的前提下,至少存在兩個(gè)優(yōu)化點(diǎn):

    上文解析優(yōu)化中強(qiáng)化學(xué)習(xí)方法獎(jiǎng)賞機(jī)制的設(shè)計(jì)思路也可以被用來(lái)發(fā)現(xiàn)答案庫(kù)中存在的問(wèn)題,因?yàn)榇蠖鄶?shù)時(shí)候我們還很難明確的區(qū)分用戶(hù)的負(fù)面反饋是針對(duì)解析系統(tǒng)還是答案本身。

    除了從用戶(hù)負(fù)面反饋中發(fā)現(xiàn)問(wèn)題,針對(duì)上面的兩個(gè)優(yōu)化點(diǎn),我們還應(yīng)該有一些預(yù)防機(jī)制來(lái)提前避免這些問(wèn)題的發(fā)生。

    比如第一點(diǎn)『答案庫(kù)中標(biāo)準(zhǔn)答案存在錯(cuò)誤』,如果不是錄入人員的素質(zhì)問(wèn)題,最大的可能性就來(lái)源于答案的時(shí)效性,也即我們提供給了用戶(hù)過(guò)期的答案。針對(duì)這個(gè)問(wèn)題,我們可以在錄入答案時(shí)特別添加『臨時(shí)』標(biāo)簽,以標(biāo)明該答案具有較強(qiáng)的時(shí)效性,需要及時(shí)更新。

    而針對(duì)第二點(diǎn)『答案庫(kù)中缺失某些問(wèn)題的答案』,最大的可能性來(lái)源于突發(fā)事件以及業(yè)務(wù)的變動(dòng)。比如系統(tǒng)服務(wù)宕機(jī)、系統(tǒng)上了新版本或者組織了一些運(yùn)營(yíng)活動(dòng),我們都應(yīng)該針對(duì)這些可能引發(fā)用戶(hù)疑惑的變動(dòng),提前準(zhǔn)備一些 FAQ 并錄入到答案庫(kù)之中。

    此外,當(dāng)我們錄入新問(wèn)題及其標(biāo)準(zhǔn)答案的時(shí)候,需要注意新錄入問(wèn)題與原解析系統(tǒng)的適配性,以避免出現(xiàn)新錄入的問(wèn)題較難被解析系統(tǒng)解析到的情況。可采用的方法比如在錄入新問(wèn)題的同時(shí),主動(dòng)錄入一些不同的問(wèn)法作為初始訓(xùn)練語(yǔ)料(網(wǎng)易七魚(yú)云客服的做法)。

    四、博彥科技這家公司怎么樣呀?知道的人可以幫忙解答一下嗎?

    我之前待過(guò)一段時(shí)間,博彥是做大數(shù)據(jù)解決方案的,他有好多的分公司,業(yè)務(wù)涵蓋金融、IT、還有大數(shù)據(jù)等等。工資的話也要比其他的公司高一點(diǎn)點(diǎn),壓力也沒(méi)有很大,很不錯(cuò)的一家公司。。有不明白的可以再問(wèn)我

    以上就是關(guān)于chatbot經(jīng)驗(yàn)相關(guān)問(wèn)題的回答。希望能幫到你,如有更多相關(guān)問(wèn)題,您也可以聯(lián)系我們的客服進(jìn)行咨詢(xún),客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。


    推薦閱讀:

    ChainChatapp

    ChatGPT能用來(lái)做什么

    ChatGPT成品賬號(hào)(成品帳號(hào))

    小紅書(shū)贊和收藏有什么用(小紅書(shū)贊與收藏)

    一天掙300-500的方法