正文

反向傳播神經(jīng)網(wǎng)絡(luò)模型（反向傳播神經(jīng)網(wǎng)絡(luò)模型有哪些）

發(fā)布時(shí)間：2023-04-07 10:33:47 稿源：創(chuàng)意嶺閱讀： 121

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于反向傳播神經(jīng)網(wǎng)絡(luò)模型的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、BP神經(jīng)網(wǎng)絡(luò)(誤差反傳網(wǎng)絡(luò))
2、神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6 - 反向傳播
3、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法
4、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法

反向傳播神經(jīng)網(wǎng)絡(luò)模型（反向傳播神經(jīng)網(wǎng)絡(luò)模型有哪些）

一、BP神經(jīng)網(wǎng)絡(luò)(誤差反傳網(wǎng)絡(luò))

雖然每個(gè)人工神經(jīng)元很簡(jiǎn)單，但是只要把多個(gè)人工

神經(jīng)元按一定方式連接起來就構(gòu)成了一個(gè)能處理復(fù)雜信息的神經(jīng)網(wǎng)絡(luò)。采用BP算法的多層前饋網(wǎng)絡(luò)是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)，稱之為BP神經(jīng)網(wǎng)絡(luò)。它的最大功能就是能映射復(fù)雜的非線性函數(shù)關(guān)系。

對(duì)于已知的模型空間和數(shù)據(jù)空間，我們知道某個(gè)模型和他對(duì)應(yīng)的數(shù)據(jù)，但是無法寫出它們之間的函數(shù)關(guān)系式，但是如果有大量的一一對(duì)應(yīng)的模型和數(shù)據(jù)樣本集合，利用BP神經(jīng)網(wǎng)絡(luò)可以模擬(映射)它們之間的函數(shù)關(guān)系。

一個(gè)三層BP網(wǎng)絡(luò)如圖8.11所示，分為輸入層、隱層、輸出層。它是最常用的BP網(wǎng)絡(luò)。理論分析證明三層網(wǎng)絡(luò)已經(jīng)能夠表達(dá)任意復(fù)雜的連續(xù)函數(shù)關(guān)系了。只有在映射不連續(xù)函數(shù)時(shí)(如鋸齒波)才需要兩個(gè)隱層^[8]。

圖8.11中，X=(x₁，…，x_i，…，x_n)^T為輸入向量，如加入x₀=-1，可以為隱層神經(jīng)元引入閥值;隱層輸出向量為:Y=(y₁，…，y_i，…，y_m)^T，如加入y₀=-1，可以為輸出層神經(jīng)元引入閥值;輸出層輸出向量為:O=(o₁，…，o_i，…，o_l)^T;輸入層到隱層之間的權(quán)值矩陣用V表示，V=(V₁，…，V_j，…，V_l)^T，其中列向量V_j表示隱層第j個(gè)神經(jīng)元的權(quán)值向量;隱層到輸出層之間的權(quán)值矩陣用W表示，W=(W₁，…，W_k，…，W_l)^T，

其中列向量W_k表示輸出層第k個(gè)神經(jīng)元的權(quán)值向量。

圖8.11 三層BP網(wǎng)絡(luò)^[8]

BP算法的基本思想是:預(yù)先給定一一對(duì)應(yīng)的輸入輸出樣本集。學(xué)習(xí)過程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)過各隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出(教師信號(hào))不符，則轉(zhuǎn)入誤差的反向傳播。將輸出誤差以某種形式通過隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有神經(jīng)元，獲得各層的誤差信號(hào)，用它們可以對(duì)各層的神經(jīng)元的權(quán)值進(jìn)行調(diào)整(關(guān)于如何修改權(quán)值參見韓立群著作^[8])，循環(huán)不斷地利用輸入輸出樣本集進(jìn)行權(quán)值調(diào)整，以使所有輸入樣本的輸出誤差都減小到滿意的精度。這個(gè)過程就稱為網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。當(dāng)網(wǎng)絡(luò)訓(xùn)練完畢后，它相當(dāng)于映射(表達(dá))了輸入輸出樣本之間的函數(shù)關(guān)系。

在地球物理勘探中，正演過程可以表示為如下函數(shù):

d=f(m) (8.31)

它的反函數(shù)為

m=f^-1(d) (8.32)

如果能夠獲得這個(gè)反函數(shù)，那么就解決了反演問題。一般來說，難以寫出這個(gè)反函數(shù)，但是我們可以用BP神經(jīng)網(wǎng)絡(luò)來映射這個(gè)反函數(shù)m=f^-1(d)。對(duì)于地球物理反問題，如果把觀測(cè)數(shù)據(jù)當(dāng)作輸入數(shù)據(jù)，模型參數(shù)當(dāng)作輸出數(shù)據(jù)，事先在模型空間隨機(jī)產(chǎn)生大量樣本進(jìn)行正演計(jì)算，獲得對(duì)應(yīng)的觀測(cè)數(shù)據(jù)樣本，利用它們對(duì)BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練，則訓(xùn)練好的網(wǎng)絡(luò)就相當(dāng)于是地球物理數(shù)據(jù)方程的反函數(shù)?？梢杂盟M(jìn)行反演，輸入觀測(cè)數(shù)據(jù)，網(wǎng)絡(luò)就會(huì)輸出它所對(duì)應(yīng)的模型。

BP神經(jīng)網(wǎng)絡(luò)在能夠進(jìn)行反演之前需要進(jìn)行學(xué)習(xí)訓(xùn)練。訓(xùn)練需要大量的樣本，產(chǎn)生這些樣本需要大量的正演計(jì)算，此外在學(xué)習(xí)訓(xùn)練過程也需要大量的時(shí)間。但是BP神經(jīng)網(wǎng)絡(luò)一旦訓(xùn)練完畢，在反演中的計(jì)算時(shí)間可以忽略。

要想使BP神經(jīng)網(wǎng)絡(luò)比較好地映射函數(shù)關(guān)系，需要有全面代表性的樣本，但是由于模型空間的無限性，難以獲得全面代表性的樣本集合。用這樣的樣本訓(xùn)練出來的BP網(wǎng)絡(luò)，只能反映樣本所在的較小范圍數(shù)據(jù)空間和較小范圍模型空間的函數(shù)關(guān)系。對(duì)于超出它們的觀測(cè)數(shù)據(jù)就無法正確反演。目前BP神經(jīng)網(wǎng)絡(luò)在一維反演有較多應(yīng)用，在二維、三維反演應(yīng)用較少，原因就是難以產(chǎn)生全面代表性的樣本空間。

二、神經(jīng)網(wǎng)絡(luò)基礎(chǔ)6 - 反向傳播

反向傳播是一種計(jì)算導(dǎo)數(shù)的方法，導(dǎo)數(shù)表達(dá)的是輸入的變化將在多大程度上影響輸出，舉個(gè)例子， y = x² 其中y 關(guān)于 x 的導(dǎo)可以數(shù)表示為:

當(dāng)x = 1 時(shí)，導(dǎo)數(shù)是2，說明:

學(xué)習(xí)反向傳播，要先了解一下正向傳播，舉個(gè)例子，假設(shè)你在在超市買了 2 個(gè) 100 元一個(gè)的蘋果，消費(fèi)稅是 10%，請(qǐng)計(jì)算支付金額，我們可以通過下面這個(gè) 計(jì)算圖 求出最終的結(jié)果。

圖中有兩個(gè) 乘法節(jié)點(diǎn)，邊上的數(shù)字從左到右流動(dòng)，當(dāng)數(shù)據(jù)流過乘法節(jié)點(diǎn)時(shí)，就會(huì)執(zhí)行乘法操作，然后把計(jì)算的結(jié)果放到節(jié)點(diǎn)右邊的邊上，這就是正向傳播的過程。

反向傳播就是倒過來，數(shù)據(jù)從最終的結(jié)果開始從右往左傳播，當(dāng)經(jīng)過一個(gè)節(jié)點(diǎn)時(shí)，數(shù)據(jù)會(huì)被轉(zhuǎn)換成這個(gè)節(jié)點(diǎn)代表的函數(shù)的導(dǎo)數(shù)，然后放到節(jié)點(diǎn)左邊的邊上繼續(xù)流動(dòng)，還是以買蘋果為例，反向傳播的數(shù)據(jù)如下圖所示：

其中加粗的邊代表了反向傳播，那邊上的數(shù)字是怎么算出來的呢？

首先看最右邊的數(shù)字1是如何算出來的，最右邊那條邊其實(shí)代表的函數(shù)是：

y = x，導(dǎo)數(shù) = 1，反向傳播時(shí)傳遞的是導(dǎo)數(shù)，所以最右邊的數(shù)字就是1。

最后一個(gè)乘法節(jié)點(diǎn)代表的函數(shù)是：z = x * y ，其中 x = 200, y = 1.1，按照反向傳播時(shí)乘法節(jié)點(diǎn)的規(guī)律，我們可以得出上面的邊是1.1，下面的邊是200，同理，我們也可以算出最左邊的兩條邊的數(shù)字。

從反向傳播的結(jié)果來看，蘋果的價(jià)格的導(dǎo)數(shù)是 2.2，蘋果的個(gè)數(shù)的導(dǎo)數(shù)是 110，消費(fèi)稅的導(dǎo)數(shù)是 200。這可以解釋為，如果消費(fèi)稅和蘋果的價(jià)格增加相同的值，則消費(fèi)稅將對(duì)最終價(jià)格產(chǎn)生 200 倍大小的影響，蘋果的價(jià)格將產(chǎn)生 2.2 倍大小的影響。為什么兩個(gè)因素的影響會(huì)相差那么大呢？因?yàn)檫@個(gè)例子中消費(fèi)稅和蘋果的價(jià)格的 單位不同 ，所以才形成了這樣的結(jié)果（消費(fèi)稅的 1 是 100% ，蘋果的價(jià)格的 1 是 1 元 ）。

三、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法

可以采用MATLAB軟件中的神經(jīng)網(wǎng)絡(luò)工具箱來實(shí)現(xiàn)BP神經(jīng)網(wǎng)絡(luò)算法。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程由前向計(jì)算過程、誤差計(jì)算和誤差反向傳播過程組成。雙含隱層BP神經(jīng)網(wǎng)絡(luò)的MATLAB程序，由輸入部分、計(jì)算部分、輸出部分組成，其中輸入部分包括網(wǎng)絡(luò)參數(shù)與訓(xùn)練樣本數(shù)據(jù)的輸入、初始化權(quán)系、求輸入輸出模式各分量的平均值及標(biāo)準(zhǔn)差并作相應(yīng)數(shù)據(jù)預(yù)處理、讀入測(cè)試集樣本數(shù)據(jù)并作相應(yīng)數(shù)據(jù)預(yù)處理；計(jì)算部分包括正向計(jì)算、反向傳播、計(jì)算各層權(quán)矩陣的增量、自適應(yīng)和動(dòng)量項(xiàng)修改各層權(quán)矩陣；輸出部分包括顯示網(wǎng)絡(luò)最終狀態(tài)及計(jì)算值與期望值之間的相對(duì)誤差、輸出測(cè)試集相應(yīng)結(jié)果、顯示訓(xùn)練，測(cè)試誤差曲線。

四、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法

類比來說類似于

幾個(gè)人站成一排

第一個(gè)人看一幅畫（輸入數(shù)據(jù)），描述給第二個(gè)人（隱層）……依此類推，到最后一個(gè)人（輸出）的時(shí)候，畫出來的畫肯定不能看了（誤差較大）。

反向傳播就是，把畫拿給最后一個(gè)人看（求取誤差），然后最后一個(gè)人就會(huì)告訴前面的人下次描述時(shí)需要注意哪里（權(quán)值修正）。

以上就是關(guān)于反向傳播神經(jīng)網(wǎng)絡(luò)模型相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。