正文

神經(jīng)網(wǎng)絡是線性還是非線性（神經(jīng)網(wǎng)絡是線性還是非線性的）

發(fā)布時間：2023-04-18 17:50:41 稿源：創(chuàng)意嶺閱讀： 101

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于神經(jīng)網(wǎng)絡是線性還是非線性的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準，寫出的就越詳細，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、人工神經(jīng)網(wǎng)絡的基本內(nèi)容和特點不包括什么?
2、神經(jīng)網(wǎng)絡具體是什么？
3、神經(jīng)網(wǎng)絡原理及應用
4、人工神經(jīng)網(wǎng)絡的定義，詳細說明

神經(jīng)網(wǎng)絡是線性還是非線性（神經(jīng)網(wǎng)絡是線性還是非線性的）

一、人工神經(jīng)網(wǎng)絡的基本內(nèi)容和特點不包括什么?

非平穩(wěn)性。根據(jù)查詢?nèi)斯ど窠?jīng)網(wǎng)絡相關(guān)資料得知，人工神經(jīng)網(wǎng)絡的基本內(nèi)容和特點不包括非平穩(wěn)性，包括非線性，非局限性，非常定性，非凸性。人工神經(jīng)網(wǎng)絡是由大量處理單元互聯(lián)組成的非線性、自適應信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學研究成果的基礎上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡處理、記憶信息的方式進行信息處理。

二、神經(jīng)網(wǎng)絡具體是什么？

神經(jīng)網(wǎng)絡由大量的神經(jīng)元相互連接而成。每個神經(jīng)元接受線性組合的輸入后，最開始只是簡單的線性加權(quán)，后來給每個神經(jīng)元加上了非線性的激活函數(shù)，從而進行非線性變換后輸出。每兩個神經(jīng)元之間的連接代表加權(quán)值，稱之為權(quán)重（weight）。不同的權(quán)重和激活函數(shù)，則會導致神經(jīng)網(wǎng)絡不同的輸出。舉個手寫識別的例子，給定一個未知數(shù)字，讓神經(jīng)網(wǎng)絡識別是什么數(shù)字。此時的神經(jīng)網(wǎng)絡的輸入由一組被輸入圖像的像素所激活的輸入神經(jīng)元所定義。在通過非線性激活函數(shù)進行非線性變換后，神經(jīng)元被激活然后被傳遞到其他神經(jīng)元。重復這一過程，直到最后一個輸出神經(jīng)元被激活。從而識別當前數(shù)字是什么字。神經(jīng)網(wǎng)絡的每個神經(jīng)元如下

神經(jīng)網(wǎng)絡是線性還是非線性（神經(jīng)網(wǎng)絡是線性還是非線性的）

基本wx + b的形式，其中 x1、x2表示輸入向量 w1、w2為權(quán)重，幾個輸入則意味著有幾個權(quán)重，即每個輸入都被賦予一個權(quán)重 b為偏置bias g(z) 為激活函數(shù) a 為輸出如果只是上面這樣一說，估計以前沒接觸過的十有八九又必定迷糊了。事實上，上述簡單模型可以追溯到20世紀50/60年代的感知器，可以把感知器理解為一個根據(jù)不同因素、以及各個因素的重要性程度而做決策的模型。舉個例子，這周末北京有一草莓音樂節(jié)，那去不去呢？決定你是否去有二個因素，這二個因素可以對應二個輸入，分別用x1、x2表示。此外，這二個因素對做決策的影響程度不一樣，各自的影響程度用權(quán)重w1、w2表示。一般來說，音樂節(jié)的演唱嘉賓會非常影響你去不去，唱得好的前提下即便沒人陪同都可忍受，但如果唱得不好還不如你上臺唱呢。所以，我們可以如下表示： x1：是否有喜歡的演唱嘉賓。x1 = 1 你喜歡這些嘉賓，x1 = 0 你不喜歡這些嘉賓。嘉賓因素的權(quán)重w1 = 7 x2：是否有人陪你同去。x2 = 1 有人陪你同去，x2 = 0 沒人陪你同去。是否有人陪同的權(quán)重w2 = 3。這樣，咱們的決策模型便建立起來了：g(z) = g(w1x1 + w2x2 + b )，g表示激活函數(shù)，這里的b可以理解成為更好達到目標而做調(diào)整的偏置項。一開始為了簡單，人們把激活函數(shù)定義成一個線性函數(shù)，即對于結(jié)果做一個線性變化，比如一個簡單的線性激活函數(shù)是g(z) = z，輸出都是輸入的線性變換。后來實際應用中發(fā)現(xiàn)，線性激活函數(shù)太過局限，于是引入了非線性激活函數(shù)。

三、神經(jīng)網(wǎng)絡原理及應用

神經(jīng)網(wǎng)絡原理及應用

1. 什么是神經(jīng)網(wǎng)絡？

神經(jīng)網(wǎng)絡是一種模擬動物神經(jīng)網(wǎng)絡行為特征，進行分布式并行信息處理的算法。這種網(wǎng)絡依靠系統(tǒng)的復雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達到處理信息的目的。

人類的神經(jīng)網(wǎng)絡

2. 神經(jīng)網(wǎng)絡基礎知識

構(gòu)成：大量簡單的基礎元件——神經(jīng)元相互連接

工作原理：模擬生物的神經(jīng)處理信息的方式

功能：進行信息的并行處理和非線性轉(zhuǎn)化

特點：比較輕松地實現(xiàn)非線性映射過程，具有大規(guī)模的計算能力

神經(jīng)網(wǎng)絡的本質(zhì)：

神經(jīng)網(wǎng)絡的本質(zhì)就是利用計算機語言模擬人類大腦做決定的過程。

3. 生物神經(jīng)元結(jié)構(gòu)

4. 神經(jīng)元結(jié)構(gòu)模型

xj為輸入信號，θi為閾值，wij表示與神經(jīng)元連接的權(quán)值，yi表示輸出值

判斷xjwij是否大于閾值θi

5. 什么是閾值？

臨界值。

神經(jīng)網(wǎng)絡是模仿大腦的神經(jīng)元，當外界刺激達到一定的閾值時，神經(jīng)元才會受刺激，影響下一個神經(jīng)元。

6. 幾種代表性的網(wǎng)絡模型

單層前向神經(jīng)網(wǎng)絡——線性網(wǎng)絡

階躍網(wǎng)絡

多層前向神經(jīng)網(wǎng)絡（反推學習規(guī)則即BP神經(jīng)網(wǎng)絡）

Elman網(wǎng)絡、Hopfield網(wǎng)絡、雙向聯(lián)想記憶網(wǎng)絡、自組織競爭網(wǎng)絡等等

7. 神經(jīng)網(wǎng)絡能干什么？

運用這些網(wǎng)絡模型可實現(xiàn)函數(shù)逼近、數(shù)據(jù)聚類、模式分類、優(yōu)化計算等功能。因此，神經(jīng)網(wǎng)絡廣泛應用于人工智能、自動控制、機器人、統(tǒng)計學等領域的信息處理中。雖然神經(jīng)網(wǎng)絡的應用很廣，但是在具體的使用過程中到底應當選擇哪種網(wǎng)絡結(jié)構(gòu)比較合適是值得考慮的。這就需要我們對各種神經(jīng)網(wǎng)絡結(jié)構(gòu)有一個較全面的認識。

8. 神經(jīng)網(wǎng)絡應用

四、人工神經(jīng)網(wǎng)絡的定義，詳細說明

人工神經(jīng)網(wǎng)絡（Artificial Neural Networks, ANN），一種模范動物神經(jīng)網(wǎng)絡行為特征，進行分布式并行信息處理的算法數(shù)學模型。這種網(wǎng)絡依靠系統(tǒng)的復雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達到處理信息的目的。人工神經(jīng)網(wǎng)絡具有自學習和自適應的能力，可以通過預先提供的一批相互對應的輸入－輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結(jié)果，這種學習分析的過程被稱為“訓練”。（引自《環(huán)球科學》2007年第一期《神經(jīng)語言：老鼠胡須下的秘密》）

概念

由大量處理單元互聯(lián)組成的非線性、自適應信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學研究成果的基礎上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡處理、記憶信息的方式進行信息處理。

人工神經(jīng)網(wǎng)絡具有四個基本特征：

（1）非線性非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學上表現(xiàn)為一種非線性關(guān)系。具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡具有更好的性能，可以提高容錯性和存儲容量。

（2）非局限性一個神經(jīng)網(wǎng)絡通常由多個神經(jīng)元廣泛連接而成。一個系統(tǒng)的整體行為不僅取決于單個神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯(lián)想記憶是非局限性的典型例子。

（3）非常定性人工神經(jīng)網(wǎng)絡具有自適應、自組織、自學習能力。神經(jīng)網(wǎng)絡不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過程描寫動力系統(tǒng)的演化過程。

（4）非凸性一個系統(tǒng)的演化方向，在一定條件下將取決于某個特定的狀態(tài)函數(shù)。例如能量函數(shù)，它的極值相應于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導致系統(tǒng)演化的多樣性。

人工神經(jīng)網(wǎng)絡中，神經(jīng)元處理單元可表示不同的對象，例如特征、字母、概念，或者一些有意義的抽象模式。網(wǎng)絡中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數(shù)據(jù)；輸出單元實現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強度，信息的表示和處理體現(xiàn)在網(wǎng)絡處理單元的連接關(guān)系中。人工神經(jīng)網(wǎng)絡是一種非程序化、適應性、大腦風格的信息處理，其本質(zhì)是通過網(wǎng)絡的變換和動力學行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。它是涉及神經(jīng)科學、思維科學、人工智能、計算機科學等多個領域的交叉學科。

人工神經(jīng)網(wǎng)絡是并行分布式系統(tǒng)，采用了與傳統(tǒng)人工智能和信息處理技術(shù)完全不同的機理，克服了傳統(tǒng)的基于邏輯符號的人工智能在處理直覺、非結(jié)構(gòu)化信息方面的缺陷，具有自適應、自組織和實時學習的特點。

歷史沿革

1943年，心理學家W.S.McCulloch和數(shù)理邏輯學家W.Pitts建立了神經(jīng)網(wǎng)絡和數(shù)學模型，稱為MP模型。他們通過MP模型提出了神經(jīng)元的形式化數(shù)學描述和網(wǎng)絡結(jié)構(gòu)方法，證明了單個神經(jīng)元能執(zhí)行邏輯功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡研究的時代。1949年，心理學家提出了突觸聯(lián)系強度可變的設想。60年代，人工神經(jīng)網(wǎng)絡的到了進一步發(fā)展，更完善的神經(jīng)網(wǎng)絡模型被提出，其中包括感知器和自適應線性元件等。M.Minsky等仔細分析了以感知器為代表的神經(jīng)網(wǎng)絡系統(tǒng)的功能及局限后，于1969年出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題。他們的論點極大地影響了神經(jīng)網(wǎng)絡的研究，加之當時串行計算機和人工智能所取得的成就，掩蓋了發(fā)展新型計算機和人工智能新途徑的必要性和迫切性，使人工神經(jīng)網(wǎng)絡的研究處于低潮。在此期間，一些人工神經(jīng)網(wǎng)絡的研究者仍然致力于這一研究，提出了適應諧振理論（ART網(wǎng)）、自組織映射、認知機網(wǎng)絡，同時進行了神經(jīng)網(wǎng)絡數(shù)學理論的研究。以上研究為神經(jīng)網(wǎng)絡的研究和發(fā)展奠定了基礎。1982年，美國加州工學院物理學家J.J.Hopfield提出了Hopfield神經(jīng)網(wǎng)格模型，引入了“計算能量”概念，給出了網(wǎng)絡穩(wěn)定性判斷。 1984年，他又提出了連續(xù)時間Hopfield神經(jīng)網(wǎng)絡模型，為神經(jīng)計算機的研究做了開拓性的工作，開創(chuàng)了神經(jīng)網(wǎng)絡用于聯(lián)想記憶和優(yōu)化計算的新途徑，有力地推動了神經(jīng)網(wǎng)絡的研究，1985年，又有學者提出了波耳茲曼模型，在學習中采用統(tǒng)計熱力學模擬退火技術(shù)，保證整個系統(tǒng)趨于全局穩(wěn)定點。1986年進行認知微觀結(jié)構(gòu)地研究，提出了并行分布處理的理論。人工神經(jīng)網(wǎng)絡的研究受到了各個發(fā)達國家的重視，美國國會通過決議將1990年1月5日開始的十年定為“腦的十年”，國際研究組織號召它的成員國將“腦的十年”變?yōu)槿蛐袨椤Ｔ谌毡镜摹罢鎸嵤澜缬嬎悖≧WC）”項目中，人工智能的研究成了一個重要的組成部分。

基本內(nèi)容

人工神經(jīng)網(wǎng)絡模型主要考慮網(wǎng)絡連接的拓撲結(jié)構(gòu)、神經(jīng)元的特征、學習規(guī)則等。目前，已有近40種神經(jīng)網(wǎng)絡模型，其中有反傳網(wǎng)絡、感知器、自組織映射、Hopfield網(wǎng)絡、波耳茲曼機、適應諧振理論等。根據(jù)連接的拓撲結(jié)構(gòu)，神經(jīng)網(wǎng)絡模型可以分為：

（1）前向網(wǎng)絡網(wǎng)絡中各個神經(jīng)元接受前一級的輸入，并輸出到下一級，網(wǎng)絡中沒有反饋，可以用一個有向無環(huán)路圖表示。這種網(wǎng)絡實現(xiàn)信號從輸入空間到輸出空間的變換，它的信息處理能力來自于簡單非線性函數(shù)的多次復合。網(wǎng)絡結(jié)構(gòu)簡單，易于實現(xiàn)。反傳網(wǎng)絡是一種典型的前向網(wǎng)絡。

（2）反饋網(wǎng)絡網(wǎng)絡內(nèi)神經(jīng)元間有反饋，可以用一個無向的完備圖表示。這種神經(jīng)網(wǎng)絡的信息處理是狀態(tài)的變換，可以用動力學系統(tǒng)理論處理。系統(tǒng)的穩(wěn)定性與聯(lián)想記憶功能有密切關(guān)系。Hopfield網(wǎng)絡、波耳茲曼機均屬于這種類型。

學習是神經(jīng)網(wǎng)絡研究的一個重要內(nèi)容，它的適應性是通過學習實現(xiàn)的。根據(jù)環(huán)境的變化，對權(quán)值進行調(diào)整，改善系統(tǒng)的行為。由Hebb提出的Hebb學習規(guī)則為神經(jīng)網(wǎng)絡的學習算法奠定了基礎。Hebb規(guī)則認為學習過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)系強度隨著突觸前后神經(jīng)元的活動而變化。在此基礎上，人們提出了各種學習規(guī)則和算法，以適應不同網(wǎng)絡模型的需要。有效的學習算法，使得神經(jīng)網(wǎng)絡能夠通過連接權(quán)值的調(diào)整，構(gòu)造客觀世界的內(nèi)在表示，形成具有特色的信息處理方法，信息存儲和處理體現(xiàn)在網(wǎng)絡的連接中。

根據(jù)學習環(huán)境不同，神經(jīng)網(wǎng)絡的學習方式可分為監(jiān)督學習和非監(jiān)督學習。在監(jiān)督學習中，將訓練樣本的數(shù)據(jù)加到網(wǎng)絡輸入端，同時將相應的期望輸出與網(wǎng)絡輸出相比較，得到誤差信號，以此控制權(quán)值連接強度的調(diào)整，經(jīng)多次訓練后收斂到一個確定的權(quán)值。當樣本情況發(fā)生變化時，經(jīng)學習可以修改權(quán)值以適應新的環(huán)境。使用監(jiān)督學習的神經(jīng)網(wǎng)絡模型有反傳網(wǎng)絡、感知器等。非監(jiān)督學習時，事先不給定標準樣本，直接將網(wǎng)絡置于環(huán)境之中，學習階段與工作階段成為一體。此時，學習規(guī)律的變化服從連接權(quán)值的演變方程。非監(jiān)督學習最簡單的例子是Hebb學習規(guī)則。競爭學習規(guī)則是一個更復雜的非監(jiān)督學習的例子，它是根據(jù)已建立的聚類進行權(quán)值調(diào)整。自組織映射、適應諧振理論網(wǎng)絡等都是與競爭學習有關(guān)的典型模型。

研究神經(jīng)網(wǎng)絡的非線性動力學性質(zhì)，主要采用動力學系統(tǒng)理論、非線性規(guī)劃理論和統(tǒng)計理論，來分析神經(jīng)網(wǎng)絡的演化過程和吸引子的性質(zhì)，探索神經(jīng)網(wǎng)絡的協(xié)同行為和集體計算功能，了解神經(jīng)信息處理機制。為了探討神經(jīng)網(wǎng)絡在整體性和模糊性方面處理信息的可能，混沌理論的概念和方法將會發(fā)揮作用?；煦缡且粋€相當難以精確定義的數(shù)學概念。一般而言，“混沌”是指由確定性方程描述的動力學系統(tǒng)中表現(xiàn)出的非確定性行為，或稱之為確定的隨機性?！按_定性”是因為它由內(nèi)在的原因而不是外來的噪聲或干擾所產(chǎn)生，而“隨機性”是指其不規(guī)則的、不能預測的行為，只可能用統(tǒng)計的方法描述?；煦鐒恿W系統(tǒng)的主要特征是其狀態(tài)對初始條件的靈敏依賴性，混沌反映其內(nèi)在的隨機性?；煦缋碚撌侵该枋鼍哂谢煦缧袨榈姆蔷€性動力學系統(tǒng)的基本理論、概念、方法，它把動力學系統(tǒng)的復雜行為理解為其自身與其在同外界進行物質(zhì)、能量和信息交換過程中內(nèi)在的有結(jié)構(gòu)的行為，而不是外來的和偶然的行為，混沌狀態(tài)是一種定態(tài)。混沌動力學系統(tǒng)的定態(tài)包括：靜止、平穩(wěn)量、周期性、準同期性和混沌解?；煦畿壘€是整體上穩(wěn)定與局部不穩(wěn)定相結(jié)合的結(jié)果，稱之為奇異吸引子。一個奇異吸引子有如下一些特征：（1）奇異吸引子是一個吸引子，但它既不是不動點，也不是周期解；（2）奇異吸引子是不可分割的，即不能分為兩個以及兩個以上的吸引子；（3）它對初始值十分敏感，不同的初始值會導致極不相同的行為。

發(fā)展趨勢

人工神經(jīng)網(wǎng)絡特有的非線性適應性信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺，如模式、語音識別、非結(jié)構(gòu)化信息處理方面的缺陷，使之在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預測等領域得到成功應用。人工神經(jīng)網(wǎng)絡與其它傳統(tǒng)方法相結(jié)合，將推動人工智能和信息處理技術(shù)不斷發(fā)展。近年來，人工神經(jīng)網(wǎng)絡正向模擬人類認知的道路上更加深入發(fā)展，與模糊系統(tǒng)、遺傳算法、進化機制等結(jié)合，形成計算智能，成為人工智能的一個重要方向，將在實際應用中得到發(fā)展。將信息幾何應用于人工神經(jīng)網(wǎng)絡的研究，為人工神經(jīng)網(wǎng)絡的理論研究開辟了新的途徑。神經(jīng)計算機的研究發(fā)展很快，已有產(chǎn)品進入市場。光電結(jié)合的神經(jīng)計算機為人工神經(jīng)網(wǎng)絡的發(fā)展提供了良好條件。

以上就是關(guān)于神經(jīng)網(wǎng)絡是線性還是非線性相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。