正文

神經(jīng)網(wǎng)絡訓練過程（神經(jīng)網(wǎng)絡訓練過程中靠近輸出層）

發(fā)布時間：2023-04-22 02:03:01 稿源：創(chuàng)意嶺閱讀： 57

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于神經(jīng)網(wǎng)絡訓練過程的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準，寫出的就越詳細，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、從零開始用Python構(gòu)建神經(jīng)網(wǎng)絡
2、
3、
4、BP神經(jīng)網(wǎng)絡(誤差反傳網(wǎng)絡)

神經(jīng)網(wǎng)絡訓練過程（神經(jīng)網(wǎng)絡訓練過程中靠近輸出層）

一、從零開始用Python構(gòu)建神經(jīng)網(wǎng)絡

從零開始用Python構(gòu)建神經(jīng)網(wǎng)絡

動機：為了更加深入的理解深度學習，我們將使用 python 語言從頭搭建一個神經(jīng)網(wǎng)絡，而不是使用像 Tensorflow 那樣的封裝好的框架。我認為理解神經(jīng)網(wǎng)絡的內(nèi)部工作原理，對數(shù)據(jù)科學家來說至關(guān)重要。

這篇文章的內(nèi)容是我的所學，希望也能對你有所幫助。

神經(jīng)網(wǎng)絡是什么?

介紹神經(jīng)網(wǎng)絡的文章大多數(shù)都會將它和大腦進行類比。如果你沒有深入研究過大腦與神經(jīng)網(wǎng)絡的類比，那么將神經(jīng)網(wǎng)絡解釋為一種將給定輸入映射為期望輸出的數(shù)學關(guān)系會更容易理解。

神經(jīng)網(wǎng)絡包括以下組成部分

? 一個輸入層，x

? 任意數(shù)量的隱藏層

? 一個輸出層，?

? 每層之間有一組權(quán)值和偏置，W and b

? 為隱藏層選擇一種激活函數(shù)，σ。在教程中我們使用 Sigmoid 激活函數(shù)

下圖展示了 2 層神經(jīng)網(wǎng)絡的結(jié)構(gòu)(注意：我們在計算網(wǎng)絡層數(shù)時通常排除輸入層)

2 層神經(jīng)網(wǎng)絡的結(jié)構(gòu)

用 Python 可以很容易的構(gòu)建神經(jīng)網(wǎng)絡類

訓練神經(jīng)網(wǎng)絡

這個網(wǎng)絡的輸出 ? 為：

你可能會注意到，在上面的等式中，輸出 ? 是 W 和 b 函數(shù)。

因此 W 和 b 的值影響預測的準確率. 所以根據(jù)輸入數(shù)據(jù)對 W 和 b 調(diào)優(yōu)的過程就被成為訓練神經(jīng)網(wǎng)絡。

每步訓練迭代包含以下兩個部分:

? 計算預測結(jié)果 ?，這一步稱為前向傳播

? 更新 W 和 b,，這一步成為反向傳播

下面的順序圖展示了這個過程：

前向傳播

正如我們在上圖中看到的，前向傳播只是簡單的計算。對于一個基本的 2 層網(wǎng)絡來說，它的輸出是這樣的：

我們在 NeuralNetwork 類中增加一個計算前向傳播的函數(shù)。為了簡單起見我們假設偏置 b 為0：

但是我們還需要一個方法來評估預測結(jié)果的好壞(即預測值和真實值的誤差)。這就要用到損失函數(shù)。

損失函數(shù)

常用的損失函數(shù)有很多種，根據(jù)模型的需求來選擇。在本教程中，我們使用誤差平方和作為損失函數(shù)。

誤差平方和是求每個預測值和真實值之間的誤差再求和，這個誤差是他們的差值求平方以便我們觀察誤差的絕對值。

訓練的目標是找到一組 W 和 b，使得損失函數(shù)最好小，也即預測值和真實值之間的距離最小。

反向傳播

我們已經(jīng)度量出了預測的誤差(損失)，現(xiàn)在需要找到一種方法來傳播誤差，并以此更新權(quán)值和偏置。

為了知道如何適當?shù)恼{(diào)整權(quán)值和偏置，我們需要知道損失函數(shù)對權(quán)值 W 和偏置 b 的導數(shù)。

回想微積分中的概念，函數(shù)的導數(shù)就是函數(shù)的斜率。

梯度下降法

如果我們已經(jīng)求出了導數(shù)，我們就可以通過增加或減少導數(shù)值來更新權(quán)值 W 和偏置 b(參考上圖)。這種方式被稱為梯度下降法。

但是我們不能直接計算損失函數(shù)對權(quán)值和偏置的導數(shù)，因為在損失函數(shù)的等式中并沒有顯式的包含他們。因此，我們需要運用鏈式求導發(fā)在來幫助計算導數(shù)。

鏈式法則用于計算損失函數(shù)對 W 和 b 的導數(shù)。注意，為了簡單起見。我們只展示了假設網(wǎng)絡只有 1 層的偏導數(shù)。

這雖然很簡陋，但是我們依然能得到想要的結(jié)果—損失函數(shù)對權(quán)值 W 的導數(shù)(斜率)，因此我們可以相應的調(diào)整權(quán)值。

現(xiàn)在我們將反向傳播算法的函數(shù)添加到 Python 代碼中

為了更深入的理解微積分原理和反向傳播中的鏈式求導法則，我強烈推薦 3Blue1Brown 的如下教程：

Youtube：https://youtu.be/tIeHLnjs5U8

整合并完成一個實例

既然我們已經(jīng)有了包括前向傳播和反向傳播的完整 Python 代碼，那么就將其應用到一個例子上看看它是如何工作的吧。

神經(jīng)網(wǎng)絡可以通過學習得到函數(shù)的權(quán)重。而我們僅靠觀察是不太可能得到函數(shù)的權(quán)重的。

讓我們訓練神經(jīng)網(wǎng)絡進行 1500 次迭代，看看會發(fā)生什么。注意觀察下面每次迭代的損失函數(shù)，我們可以清楚地看到損失函數(shù)單調(diào)遞減到最小值。這與我們之前介紹的梯度下降法一致。

讓我們看看經(jīng)過 1500 次迭代后的神經(jīng)網(wǎng)絡的最終預測結(jié)果：

經(jīng)過 1500 次迭代訓練后的預測結(jié)果

我們成功了!我們應用前向和方向傳播算法成功的訓練了神經(jīng)網(wǎng)絡并且預測結(jié)果收斂于真實值。

注意預測值和真實值之間存在細微的誤差是允許的。這樣可以防止模型過擬合并且使得神經(jīng)網(wǎng)絡對于未知數(shù)據(jù)有著更強的泛化能力。

下一步是什么?

幸運的是我們的學習之旅還沒有結(jié)束，仍然有很多關(guān)于神經(jīng)網(wǎng)絡和深度學習的內(nèi)容需要學習。例如：

? 除了 Sigmoid 以外，還可以用哪些激活函數(shù)

? 在訓練網(wǎng)絡的時候應用學習率

? 在面對圖像分類任務的時候使用卷積神經(jīng)網(wǎng)絡

我很快會寫更多關(guān)于這個主題的內(nèi)容，敬請期待!

最后的想法

我自己也從零開始寫了很多神經(jīng)網(wǎng)絡的代碼

雖然可以使用諸如 Tensorflow 和 Keras 這樣的深度學習框架方便的搭建深層網(wǎng)絡而不需要完全理解其內(nèi)部工作原理。但是我覺得對于有追求的數(shù)據(jù)科學家來說，理解內(nèi)部原理是非常有益的。

這種練習對我自己來說已成成為重要的時間投入，希望也能對你有所幫助

二、

三、

四、BP神經(jīng)網(wǎng)絡(誤差反傳網(wǎng)絡)

雖然每個人工神經(jīng)元很簡單，但是只要把多個人工

神經(jīng)元按一定方式連接起來就構(gòu)成了一個能處理復雜信息的神經(jīng)網(wǎng)絡。采用BP算法的多層前饋網(wǎng)絡是目前應用最廣泛的神經(jīng)網(wǎng)絡，稱之為BP神經(jīng)網(wǎng)絡。它的最大功能就是能映射復雜的非線性函數(shù)關(guān)系。

對于已知的模型空間和數(shù)據(jù)空間，我們知道某個模型和他對應的數(shù)據(jù)，但是無法寫出它們之間的函數(shù)關(guān)系式，但是如果有大量的一一對應的模型和數(shù)據(jù)樣本集合，利用BP神經(jīng)網(wǎng)絡可以模擬(映射)它們之間的函數(shù)關(guān)系。

一個三層BP網(wǎng)絡如圖8.11所示，分為輸入層、隱層、輸出層。它是最常用的BP網(wǎng)絡。理論分析證明三層網(wǎng)絡已經(jīng)能夠表達任意復雜的連續(xù)函數(shù)關(guān)系了。只有在映射不連續(xù)函數(shù)時(如鋸齒波)才需要兩個隱層^[8]。

圖8.11中，X=(x₁，…，x_i，…，x_n)^T為輸入向量，如加入x₀=-1，可以為隱層神經(jīng)元引入閥值;隱層輸出向量為:Y=(y₁，…，y_i，…，y_m)^T，如加入y₀=-1，可以為輸出層神經(jīng)元引入閥值;輸出層輸出向量為:O=(o₁，…，o_i，…，o_l)^T;輸入層到隱層之間的權(quán)值矩陣用V表示，V=(V₁，…，V_j，…，V_l)^T，其中列向量V_j表示隱層第j個神經(jīng)元的權(quán)值向量;隱層到輸出層之間的權(quán)值矩陣用W表示，W=(W₁，…，W_k，…，W_l)^T，

其中列向量W_k表示輸出層第k個神經(jīng)元的權(quán)值向量。

圖8.11 三層BP網(wǎng)絡^[8]

BP算法的基本思想是:預先給定一一對應的輸入輸出樣本集。學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經(jīng)過各隱層逐層處理后，傳向輸出層。若輸出層的實際輸出與期望的輸出(教師信號)不符，則轉(zhuǎn)入誤差的反向傳播。將輸出誤差以某種形式通過隱層向輸入層逐層反傳，并將誤差分攤給各層的所有神經(jīng)元，獲得各層的誤差信號，用它們可以對各層的神經(jīng)元的權(quán)值進行調(diào)整(關(guān)于如何修改權(quán)值參見韓立群著作^[8])，循環(huán)不斷地利用輸入輸出樣本集進行權(quán)值調(diào)整，以使所有輸入樣本的輸出誤差都減小到滿意的精度。這個過程就稱為網(wǎng)絡的學習訓練過程。當網(wǎng)絡訓練完畢后，它相當于映射(表達)了輸入輸出樣本之間的函數(shù)關(guān)系。

在地球物理勘探中，正演過程可以表示為如下函數(shù):

d=f(m) (8.31)

它的反函數(shù)為

m=f^-1(d) (8.32)

如果能夠獲得這個反函數(shù)，那么就解決了反演問題。一般來說，難以寫出這個反函數(shù)，但是我們可以用BP神經(jīng)網(wǎng)絡來映射這個反函數(shù)m=f^-1(d)。對于地球物理反問題，如果把觀測數(shù)據(jù)當作輸入數(shù)據(jù)，模型參數(shù)當作輸出數(shù)據(jù)，事先在模型空間隨機產(chǎn)生大量樣本進行正演計算，獲得對應的觀測數(shù)據(jù)樣本，利用它們對BP網(wǎng)絡進行訓練，則訓練好的網(wǎng)絡就相當于是地球物理數(shù)據(jù)方程的反函數(shù)?？梢杂盟M行反演，輸入觀測數(shù)據(jù)，網(wǎng)絡就會輸出它所對應的模型。

BP神經(jīng)網(wǎng)絡在能夠進行反演之前需要進行學習訓練。訓練需要大量的樣本，產(chǎn)生這些樣本需要大量的正演計算，此外在學習訓練過程也需要大量的時間。但是BP神經(jīng)網(wǎng)絡一旦訓練完畢，在反演中的計算時間可以忽略。

要想使BP神經(jīng)網(wǎng)絡比較好地映射函數(shù)關(guān)系，需要有全面代表性的樣本，但是由于模型空間的無限性，難以獲得全面代表性的樣本集合。用這樣的樣本訓練出來的BP網(wǎng)絡，只能反映樣本所在的較小范圍數(shù)據(jù)空間和較小范圍模型空間的函數(shù)關(guān)系。對于超出它們的觀測數(shù)據(jù)就無法正確反演。目前BP神經(jīng)網(wǎng)絡在一維反演有較多應用，在二維、三維反演應用較少，原因就是難以產(chǎn)生全面代表性的樣本空間。

以上就是關(guān)于神經(jīng)網(wǎng)絡訓練過程相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。