神經(jīng)網(wǎng)絡(luò)的分類方式（神經(jīng)網(wǎng)絡(luò)的分類方式有）

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于神經(jīng)網(wǎng)絡(luò)的分類方式的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

• 1、神經(jīng)網(wǎng)絡(luò)（Neural Network）

• 2、神經(jīng)網(wǎng)絡(luò)及其分類

• 3、神經(jīng)網(wǎng)絡(luò)的分類：

• 4、Matlab—神經(jīng)網(wǎng)絡(luò)二分類

一、神經(jīng)網(wǎng)絡(luò)（Neural Network）

（1）結(jié)構(gòu)：許多樹突（dendrite）用于輸入，一個(gè)軸突 （axon）用于輸出。

（2）特性：興奮性和傳導(dǎo)性。興奮性是指當(dāng)信號(hào)量超過某個(gè)閾值時(shí)，細(xì)胞體就會(huì)被激活，產(chǎn)生電脈沖。傳導(dǎo)性是指電脈沖沿著軸突并通過突觸傳遞到其它神經(jīng)元。

（3）有兩種狀態(tài)的機(jī)器：激活時(shí)為“是”，不激活時(shí)為“否”。神經(jīng)細(xì)胞的狀態(tài)取決于從其他神經(jīng)細(xì)胞接收到的信號(hào)量，以及突觸的性質(zhì)（抑制或加強(qiáng)）。

（1）神經(jīng)元——不重要

① 神經(jīng)元是包含權(quán)重和偏置項(xiàng)的 函數(shù) ：接收數(shù)據(jù)后，執(zhí)行一些計(jì)算，然后使用激活函數(shù)將數(shù)據(jù)限制在一個(gè)范圍內(nèi)（多數(shù)情況下）。

② 單個(gè)神經(jīng)元：線性可分的情況下，本質(zhì)是一條直線， ，這條直線將數(shù)據(jù)劃分為兩類。而線性分類器本身就是一個(gè)單層神經(jīng)網(wǎng)絡(luò)。

③ 神經(jīng)網(wǎng)絡(luò)：非線性可分的情況下，神經(jīng)網(wǎng)絡(luò)通過多個(gè)隱層的方法來實(shí)現(xiàn)非線性的函數(shù)。

（2）權(quán)重/參數(shù)/連接（Weight）——最重要

每一個(gè)連接上都有一個(gè)權(quán)重。一個(gè)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法就是讓權(quán)重的值調(diào)整到最佳，以使得整個(gè)網(wǎng)絡(luò)的預(yù)測(cè)效果最好。

（3）偏置項(xiàng)（Bias Units）——必須

① 如果沒有偏置項(xiàng)，所有的函數(shù)都會(huì)經(jīng)過原點(diǎn)。

② 正則化偏置會(huì)導(dǎo)致欠擬合：若對(duì)偏置正則化，會(huì)導(dǎo)致激活變得更加簡(jiǎn)單，偏差就會(huì)上升，學(xué)習(xí)的能力就會(huì)下降。

③ 偏置的大小度量了神經(jīng)元產(chǎn)生激勵(lì)（激活）的難易程度。

（1）定義：也稱為轉(zhuǎn)換函數(shù)，是一種將輸入 (input) 轉(zhuǎn)成輸出 (output) 的函數(shù)。

（2）作用：一般直線擬合的精確度要比曲線差很多，引入激活函數(shù)能給神經(jīng)網(wǎng)絡(luò) 增加一些非線性 的特性。

（3）性質(zhì)：

① 非線性：導(dǎo)數(shù)不是常數(shù)，否則就退化成直線。對(duì)于一些畫一條直線仍然無法分開的問題，非線性可以把直線變彎，就能包羅萬象；

② 可微性：當(dāng)優(yōu)化方法是基于梯度的時(shí)候，處處可導(dǎo)為后向傳播算法提供了核心條件；

③ 輸出范圍：一般限定在[0,1]，使得神經(jīng)元對(duì)一些比較大的輸入會(huì)比較穩(wěn)定；

④ 非飽和性：飽和就是指，當(dāng)輸入比較大的時(shí)候輸出幾乎沒變化，會(huì)導(dǎo)致梯度消失；

⑤ 單調(diào)性：導(dǎo)數(shù)符號(hào)不變，輸出不會(huì)上躥下跳，讓神經(jīng)網(wǎng)絡(luò)訓(xùn)練容易收斂。

（1）線性函數(shù) (linear function)—— purelin()

（2）符號(hào)函數(shù) (sign function)—— hardlim() 

① 如果z值高于閾值，則激活設(shè)置為1或yes，神經(jīng)元將被激活。

② 如果z值低于閾值，則激活設(shè)置為0或no，神經(jīng)元不會(huì)被激活。

（3）對(duì)率函數(shù) (sigmoid function)—— logsig()

① 優(yōu)點(diǎn)：光滑S型曲線連續(xù)可導(dǎo)，函數(shù)閾值有上限。

② 缺點(diǎn)：❶ 函數(shù)飽和使梯度消失，兩端梯度幾乎為0，更新困難，做不深；

                ❷ 輸出不是0中心，將影響梯度下降的運(yùn)作，收斂異常慢；

                ❸ 冪運(yùn)算相對(duì)來講比較耗時(shí)

（4）雙曲正切函數(shù)(hyperbolic tangent function)—— tansig()

① 優(yōu)點(diǎn)：取值范圍0中心化，防止了梯度偏差

② 缺點(diǎn)：梯度消失現(xiàn)象依然存在，但相對(duì)于sigmoid函數(shù)問題較輕

（5）整流線性單元 ReLU 函數(shù)(rectified linear unit)

① 優(yōu)點(diǎn)：❶ 分段線性函數(shù)，它的非線性性很弱，因此網(wǎng)絡(luò)做得很深；

                ❷ 由于它的線性、非飽和性， 對(duì)于隨機(jī)梯度下降的收斂有巨大的加速作用；

② 缺點(diǎn)：❶ 當(dāng)x<0，梯度都變成0，參數(shù)無法更新，也導(dǎo)致了數(shù)據(jù)多樣化的丟失；

                ❷ 輸出不是0中心

（6）滲漏型整流線性單元激活函數(shù) Leaky ReLU 函數(shù)

① 優(yōu)點(diǎn)：❶ 是為解決“ReLU死亡”問題的嘗試，在計(jì)算導(dǎo)數(shù)時(shí)允許較小的梯度；

                ❷ 非飽和的公式，不包含指數(shù)運(yùn)算，計(jì)算速度快。

② 缺點(diǎn)：❶ 無法避免梯度爆炸問題； （沒有體現(xiàn)優(yōu)于ReLU）

                ❷ 神經(jīng)網(wǎng)絡(luò)不學(xué)習(xí) α 值。

（7）指數(shù)線性單元 ELU (Exponential Linear Units)

① 優(yōu)點(diǎn)：❶ 能避免“死亡 ReLU” 問題；

                ❷ 能得到負(fù)值輸出，這能幫助網(wǎng)絡(luò)向正確的方向推動(dòng)權(quán)重和偏置變化；

                ❸ 在計(jì)算梯度時(shí)能得到激活，而不是讓它們等于 0。

② 缺點(diǎn)：❶ 由于包含指數(shù)運(yùn)算，所以計(jì)算時(shí)間更長(zhǎng)；

                ❷ 無法避免梯度爆炸問題； （沒有體現(xiàn)優(yōu)于ReLU）

                ❸ 神經(jīng)網(wǎng)絡(luò)不學(xué)習(xí) α 值。

（8）Maxout（對(duì) ReLU 和 Leaky ReLU的一般化歸納）

① 優(yōu)點(diǎn)：❶ 擁有ReLU的所有優(yōu)點(diǎn)（線性和不飽和）

                ❷ 沒有ReLU的缺點(diǎn)（死亡的ReLU單元）

                ❸ 可以擬合任意凸函數(shù)

② 缺點(diǎn) ：參數(shù)數(shù)量增加了一倍。難訓(xùn)練，容易過擬合

（9）Swish

① 優(yōu)點(diǎn)：❶ 在負(fù)半軸也有一定的不飽和區(qū)，參數(shù)的利用率更大

                ❷ 無上界有下界、平滑、非單調(diào)

                ❸ 在深層模型上的效果優(yōu)于 ReLU

每個(gè)層都包含一定數(shù)量的單元（units）。增加層可增加神經(jīng)網(wǎng)絡(luò)輸出的非線性。

（1）輸入層：就是接收原始數(shù)據(jù)，然后往隱層送

（2）輸出層：神經(jīng)網(wǎng)絡(luò)的決策輸出

（3）隱藏層：神經(jīng)網(wǎng)絡(luò)的關(guān)鍵。把前一層的向量變成新的向量，讓數(shù)據(jù)變得線性可分。

（1）結(jié)構(gòu)：僅包含輸入層和輸出層，直接相連。

（2）作用：僅能表示 線性可分 函數(shù)或決策，且一定可以在有限的迭代次數(shù)中收斂。

（3）局限：可以建立與門、或門、非門等，但無法建立更為復(fù)雜的異或門（XOR），即兩個(gè)輸入相同時(shí)輸出1，否則輸出0。 （“AI winter”）

（1）目的：擬合某個(gè)函數(shù)      （兩層神經(jīng)網(wǎng)絡(luò)可以逼近任意連續(xù)函數(shù)）

（2）結(jié)構(gòu)：包含輸入層、隱藏層和輸出層 ，由于從輸入到輸出的過程中不存在與模型自身的反饋連接，因此被稱為“前饋”。    （層與層之間全連接）

（3）作用： 非線性 分類、聚類、預(yù)測(cè)等，通過訓(xùn)練，可以學(xué)習(xí)到數(shù)據(jù)中隱含的知識(shí)。

（4）局限：計(jì)算復(fù)雜、計(jì)算速度慢、容易陷入局部最優(yōu)解，通常要將它們與其他網(wǎng)絡(luò)結(jié)合形成新的網(wǎng)絡(luò)。

（5）前向傳播算法（Forward Propagation）

① 方法：從左至右逐級(jí)依賴的算法模型，即網(wǎng)絡(luò)如何根據(jù)輸入X得到輸出Y，最終的輸出值和樣本值作比較， 計(jì)算出誤差 。

② 目的：完成了一次正反向傳播，就完成了一次神經(jīng)網(wǎng)絡(luò)的訓(xùn)練迭代。通過輸出層的誤差，快速求解對(duì)每個(gè)ω、b的偏導(dǎo)，利用梯度下降法，使Loss越來越小。

② 局限：為使最終的誤差達(dá)到最小，要不斷修改參數(shù)值，但神經(jīng)網(wǎng)絡(luò)的每條連接線上都有不同權(quán)重參數(shù)，修改這些參數(shù)變得棘手。

（6）誤差反向傳播（Back Propagation）

① 原理：梯度下降法求局部極值

② 方法：從后往前，從輸出層開始計(jì)算 L 對(duì)當(dāng)前層的微分，獲得各層的誤差信號(hào)，此誤差信號(hào)即作為修正單元權(quán)值的依據(jù)。計(jì)算結(jié)束以后，所要的兩個(gè)參數(shù)矩陣的 梯度 就都有了。

③ 局限：如果激活函數(shù)是飽和的，帶來的缺陷就是系統(tǒng)迭代更新變慢，系統(tǒng)收斂就慢，當(dāng)然這是可以有辦法彌補(bǔ)的，一種方法是使用 交叉熵函數(shù) 作為損失函數(shù)。

（1）原理：隨著網(wǎng)絡(luò)的層數(shù)增加，每一層對(duì)于前一層次的抽象表示更深入。在神經(jīng)網(wǎng)絡(luò)中，每一層神經(jīng)元學(xué)習(xí)到的是前一層神經(jīng)元值的更抽象的表示。通過抽取更抽象的特征來對(duì)事物進(jìn)行區(qū)分，從而獲得更好的區(qū)分與分類能力。

（2）方法：ReLU函數(shù)在訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)時(shí)，更容易收斂，并且預(yù)測(cè)性能更好。

（3）優(yōu)點(diǎn)：① 易于構(gòu)建，表達(dá)能力強(qiáng)，基本單元便可擴(kuò)展為復(fù)雜的非線性函數(shù)

                      ② 并行性號(hào)，有利于在分布是系統(tǒng)上應(yīng)用

（4）局限：① 優(yōu)化算法只能獲得局部極值，性能與初始值相關(guān)

                      ② 調(diào)參理論性缺乏

                      ③ 不可解釋，與實(shí)際任務(wù)關(guān)聯(lián)性模糊

（1）原理：由手工設(shè)計(jì)卷積核變成自動(dòng)學(xué)習(xí)卷積核

（2）卷積（Convolutional layer）： 輸入與卷積核相乘再累加 （內(nèi)積、加權(quán)疊加）

① 公式：

② 目的：提取輸入的不同特征，得到維度很大的 特征圖（feature map）

③ 卷積核：需要訓(xùn)練的參數(shù)。一般為奇數(shù)維，有中心像素點(diǎn)，便于定位卷積核

④ 特點(diǎn)：局部感知、參數(shù)變少、權(quán)重共享、分層提取

（3）池化（Pooling Layer）：用更高層的抽象表達(dá)來表示主要特征，又稱“降采樣”

① 分類： 最大 （出現(xiàn)與否）、平均（保留整體）、隨機(jī)（避免過擬合）

② 目的：降維，不需要訓(xùn)練參數(shù)，得到新的、維度較小的特征

（4）步長(zhǎng)（stride）：若假設(shè)輸入大小是n∗n，卷積核的大小是f∗f，步長(zhǎng)是s，則最后的feature map的大小為o∗o，其中

（5）填充（zero-padding）

① Full模式：即從卷積核（fileter）和輸入剛相交開始做卷積，沒有元素的部分做補(bǔ)0操作。

② Valid模式：卷積核和輸入完全相交開始做卷積，這種模式不需要補(bǔ)0。

③ Same模式：當(dāng)卷積核的中心C和輸入開始相交時(shí)做卷積。沒有元素的部分做補(bǔ)0操作。

（7）激活函數(shù)：加入非線性特征

（8）全連接層（Fully-connected layer）

如果說卷積層、池化層和激活函數(shù)層等是將原始數(shù)據(jù)映射到隱層特征空間（決定計(jì)算速度），全連接層則起到將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間的作用（決定參數(shù)個(gè)數(shù)）。

參考：

[1]  神經(jīng)網(wǎng)絡(luò)（入門最詳細(xì)）_ruthy的博客-CSDN博客_神經(jīng)網(wǎng)絡(luò)算法入門

[2]  神經(jīng)網(wǎng)絡(luò)（容易被忽視的基礎(chǔ)知識(shí)） - Evan的文章 - 知乎

[3]  人工神經(jīng)網(wǎng)絡(luò)——王的機(jī)器

[4]  如何簡(jiǎn)單形象又有趣地講解神經(jīng)網(wǎng)絡(luò)是什么？ - 舒小曼的回答 - 知乎

[5]  神經(jīng)網(wǎng)絡(luò)15分鐘入門！足夠通俗易懂了吧 - Mr.括號(hào)的文章 - 知乎

[6]  神經(jīng)網(wǎng)絡(luò)——最易懂最清晰的一篇文章_illikang的博客-CSDN博客_神經(jīng)網(wǎng)絡(luò)

[7]  直覺化深度學(xué)習(xí)教程——什么是前向傳播——CSDN

[8]  “反向傳播算法”過程及公式推導(dǎo)（超直觀好懂的Backpropagation）_aift的專欄-CSDN

[9]  卷積、反卷積、池化、反池化——CSDN

[10]  浙大機(jī)器學(xué)習(xí)課程- bilibili.com

二、神經(jīng)網(wǎng)絡(luò)及其分類

前饋網(wǎng)絡(luò)中各個(gè)神經(jīng)元按接受信息的先后，分為不同的組，每一組可以看作一個(gè)神經(jīng)層，每一層中的神經(jīng)元接受前一層神經(jīng)元的輸出，并輸出到下一層神經(jīng)元。整個(gè)網(wǎng)絡(luò)中的信息是朝一個(gè)方向傳播，沒有反向的信息傳播（優(yōu)化算法 是什么反向傳播來著）

回答上章提出 是否每層激活函數(shù)一樣的問題，

答案是，是的。

每一層的輸出（活性值） 等于凈輸入 代入激活函數(shù) 以此來實(shí)現(xiàn) 非線性 結(jié)構(gòu) b就是偏置，也就是偏差 每一層都不一樣。

凈輸入 表示成向量，權(quán)重 表示成矩陣

diag 是個(gè)對(duì)角矩陣，也就是說，除了對(duì)角線，其余全為0

三、神經(jīng)網(wǎng)絡(luò)的分類：

選擇模式：這將取決于數(shù)據(jù)的表示和應(yīng)用。過于復(fù)雜的模型往往會(huì)導(dǎo)致問題的學(xué)習(xí)。

學(xué)習(xí)算法：在學(xué)習(xí)算法之間有無數(shù)的權(quán)衡。幾乎所有的算法為了一個(gè)特定的數(shù)據(jù)集訓(xùn)練將會(huì)很好地與正確的超參數(shù)合作。然而，選擇和調(diào)整的算法上看不見的數(shù)據(jù)訓(xùn)練需要顯著量的實(shí)驗(yàn)。

穩(wěn)健性：如果該模型中，成本函數(shù)和學(xué)習(xí)算法，適當(dāng)?shù)剡x擇所得到的神經(jīng)網(wǎng)絡(luò)可以是非常健壯的。有了正確的實(shí)施，人工神經(jīng)網(wǎng)絡(luò)，可以自然地應(yīng)用于在線學(xué)習(xí)和大型數(shù)據(jù)集的應(yīng)用程序。其簡(jiǎn)單的實(shí)現(xiàn)和表現(xiàn)在結(jié)構(gòu)上主要依賴本地的存在，使得在硬件快速，并行實(shí)現(xiàn)。

四、Matlab—神經(jīng)網(wǎng)絡(luò)二分類

%% 神經(jīng)網(wǎng)絡(luò)二分類問題

clc,clear,close all

%% 對(duì)照組指標(biāo)數(shù)據(jù) 0組

p1=[0.73 9.9 512.6 0.000488341 94.23

0.58 13.3 105.5 0.00028624 123.86

0.52 12.8 596.4 0.000898535 105.47

0.41 12.7 621.9 0.003519715 110.65

0.51 9 342 0.001070026 123.61

0.73 11.7 237.4 0.000592125 103.07

0.72 10.6 670.1 0.001646966 108.40

0.61 11.2 210.8 0.000714758 125.00

0.6 7.1 614.7 0.002473218 112.82

0.62 6 234.8 0.011008547 128.19

0.6 7.3 126.5 0.001716387 118.42

0.53 8 506.6 0.002412081 140.29

0.6 9.9 254.8 0.00047552 124.17

0.58 11.9 376.7 0.001550388 112.13

0.62 10.7 570.5 0.001077933 125.78

0.79 8.5 105.9 0.000389824 105.67

0.81 7.6 137.8 0.000960825 112.74

0.56 5.7 148.6 0.001310584 117.40

0.63 7.5 97 0.001244019 119.11

]; %歸為0

%% 實(shí)驗(yàn)組指標(biāo)數(shù)據(jù) 1組

p2=[0.88 14.1 168.9 0.00319027 104.30

0.67 7.2 141.2 0.000685297 90.61

0.9 9.4 298.5 0.004820393 90.46

0.68 10.8 70.3 0.000395073 98.36

1.25 9.2 1614.6 0.076472875 87.21

0.5 9.2 210.2 0.001139238 115.26

0.72 12.6 132.4 0.00102688 81.74

0.64 8.6 243.9 0.000489883 114.94

0.97 16.9 581.4 0.005763578 68.53

0.67 10.6 242.8 0.00101917 95.64

0.54 7 372.6 0.002005217 123.43

0.86 10.1 172.4 0.002088703 85.23

0.68 13.6 213.1 0.001856427 115.22

2.16 37.1 2206.6 0.027308957 33.12

1.02 21.5 75.3 0.010366863 70.40

0.73 11.8 100.8 0.000373529 109.38

3.14 22.1 1727.2 0.942625053 9.11

0.77 9.8 103.3 0.001319323 119.84

0.64 10.8 100.1 0.028400355 120.72

1.85 18.4 4761.6 0.232148915 31.60

0.84 7.7 93.3 0.001710846 96.96

1.3 9.8 410.1 0.570991575 74.78

]; %歸為1

%% 結(jié)果標(biāo)簽

flag = [ones(size(p1,1),1); zeros(size(p2,1),1)];

%% 神經(jīng)網(wǎng)絡(luò)

p=[p1;p2]';

pr=minmax(p);

goal=[ones(1,size(p1,1)),zeros(1,size(p2,1));zeros(1,size(p1,1)),ones(1,size(p2,1))];

% plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o')

net=newff(pr,[3,2],{'logsig','logsig'});  % 3個(gè)隱層，2種傳遞方式

net.trainParam.show = 10;

net.trainParam.lr = 0.05;

net.trainParam.goal = 1e-10;    % 容忍誤差

net.trainParam.epochs = 1000;  % 迭代次數(shù)

net = train(net,p,goal);

%% 訓(xùn)練結(jié)果

outcome = sim(net,p) ;%給p1和p2分類作用，分為0和1

train_predict(outcome(1,:) >= 0.5,1) = 1;

train_predict(outcome(1,:) <  0.5,1) = 0;

true = sum(1 - abs(flag - train_predict)) / size(flag,1)

%% 預(yù)測(cè)

%{

x = [55 0.89 2.89 1.16 1.03

461.7 0.97 1.13 1.37 0.47

148.3 0.49 1.56 0.71 0.66

]'; % 指標(biāo)數(shù)據(jù)

y = sim(net,x) %給待鑒定樣本分類

test_predict(y(1,:) >= 0.5,1) = 1;

test_predict(y(1,:) <  0.5,1) = 0;

%}

以上就是關(guān)于神經(jīng)網(wǎng)絡(luò)的分類方式相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。

推薦閱讀：

神經(jīng)網(wǎng)絡(luò)是線性分類器嗎（神經(jīng)網(wǎng)絡(luò)是線性分類器嗎為什么）

畫gpt神經(jīng)網(wǎng)絡(luò)（gin圖神經(jīng)網(wǎng)絡(luò)）

神經(jīng)網(wǎng)絡(luò)的分類方式（神經(jīng)網(wǎng)絡(luò)的分類方式有）

學(xué)校ip形象設(shè)計(jì)說明

網(wǎng)上那些約的是真的假的（網(wǎng)上那些約的安全嗎）