-
讓品牌有溫度、有情感
專注品牌策劃15年
-
當前位置：首頁 > 創(chuàng)意學院 > 技術 > 專題列表 > 正文
神經網絡的三要素（神經網絡的三要素是什么）
發(fā)布時間：2023-04-10 18:41:38
稿源：
創(chuàng)意嶺 閱讀：
140
大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關于神經網絡的三要素的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。
開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等
只需要輸入關鍵詞，就能返回你想要的內容，越精準，寫出的就越詳細，有微信小程序端、在線網頁版、PC客戶端
創(chuàng)意嶺作為行業(yè)內優(yōu)秀的企業(yè)，服務客戶遍布全球各地，如需了解SEO相關業(yè)務請撥打電話175-8598-2043，或添加微信：1454722008
本文目錄:
一、神經網絡的基本原理是什么?
神經網絡的基本原理是：每個神經元把最初的輸入值乘以一定的權重，并加上其他輸入到這個神經元里的值（并結合其他信息值），最后算出一個總和，再經過神經元的偏差調整，最后用激勵函數把輸出值標準化。基本上，神經網絡是由一層一層的不同的計算單位連接起來的。我們把計算單位稱為神經元，這些網絡可以把數據處理分類，就是我們要的輸出。
神經網絡常見的工具：
以上內容參考：在眾多的神經網絡工具中，NeuroSolutions始終處于業(yè)界領先位置。它是一個可用于windows XP/7高度圖形化的神經網絡開發(fā)工具。其將模塊化，基于圖標的網絡設計界面，先進的學習程序和遺傳優(yōu)化進行了結合。該款可用于研究和解決現(xiàn)實世界的復雜問題的神經網絡設計工具在使用上幾乎無限制。
以上內容參考：百度百科-神經網絡
二、神經網絡的歷史是什么？
沃倫·麥卡洛克和沃爾特·皮茨（1943）基于數學和一種稱為閾值邏輯的算法創(chuàng)造了一種神經網絡的計算模型。這種模型使得神經網絡的研究分裂為兩種不同研究思路。一種主要關注大腦中的生物學過程，另一種主要關注神經網絡在人工智能里的應用。
一、赫布型學習
二十世紀40年代后期，心理學家唐納德·赫布根據神經可塑性的機制創(chuàng)造了一種對學習的假說，現(xiàn)在稱作赫布型學習。赫布型學習被認為是一種典型的非監(jiān)督式學習規(guī)則，它后來的變種是長期增強作用的早期模型。從1948年開始，研究人員將這種計算模型的思想應用到B型圖靈機上。
法利和韋斯利·A·克拉克（1954）首次使用計算機，當時稱作計算器，在MIT模擬了一個赫布網絡。納撒尼爾·羅切斯特（1956）等人模擬了一臺 IBM 704計算機上的抽象神經網絡的行為。
弗蘭克·羅森布拉特創(chuàng)造了感知機。這是一種模式識別算法，用簡單的加減法實現(xiàn)了兩層的計算機學習網絡。羅森布拉特也用數學符號描述了基本感知機里沒有的回路，例如異或回路。這種回路一直無法被神經網絡處理，直到保羅·韋伯斯(1975)創(chuàng)造了反向傳播算法。
在馬文·明斯基和西摩爾·派普特（1969）發(fā)表了一項關于機器學習的研究以后，神經網絡的研究停滯不前。他們發(fā)現(xiàn)了神經網絡的兩個關鍵問題。
第一是基本感知機無法處理異或回路。第二個重要的問題是電腦沒有足夠的能力來處理大型神經網絡所需要的很長的計算時間。直到計算機具有更強的計算能力之前，神經網絡的研究進展緩慢。
二、反向傳播算法與復興
后來出現(xiàn)的一個關鍵的進展是保羅·韋伯斯發(fā)明的反向傳播算法（Werbos 1975）。這個算法有效地解決了異或的問題，還有更普遍的訓練多層神經網絡的問題。
在二十世紀80年代中期，分布式并行處理（當時稱作聯(lián)結主義）流行起來。戴維·魯姆哈特和詹姆斯·麥克里蘭德的教材對于聯(lián)結主義在計算機模擬神經活動中的應用提供了全面的論述。
神經網絡傳統(tǒng)上被認為是大腦中的神經活動的簡化模型，雖然這個模型和大腦的生理結構之間的關聯(lián)存在爭議。人們不清楚人工神經網絡能多大程度地反映大腦的功能。
支持向量機和其他更簡單的方法（例如線性分類器）在機器學習領域的流行度逐漸超過了神經網絡，但是在2000年代后期出現(xiàn)的深度學習重新激發(fā)了人們對神經網絡的興趣。
三、2006年之后的進展
人們用CMOS創(chuàng)造了用于生物物理模擬和神經形態(tài)計算的計算設備。最新的研究顯示了用于大型主成分分析和卷積神經網絡的納米設備具有良好的前景。
如果成功的話，這會創(chuàng)造出一種新的神經計算設備，因為它依賴于學習而不是編程，并且它從根本上就是模擬的而不是數字化的，雖然它的第一個實例可能是數字化的CMOS設備。
在2009到2012年之間，Jürgen Schmidhuber在Swiss AI Lab IDSIA的研究小組研發(fā)的循環(huán)神經網絡和深前饋神經網絡贏得了8項關于模式識別和機器學習的國際比賽。
例如，Alex Graves et al.的雙向、多維的LSTM贏得了2009年ICDAR的3項關于連筆字識別的比賽，而且之前并不知道關于將要學習的3種語言的信息。
IDSIA的Dan Ciresan和同事根據這個方法編寫的基于GPU的實現(xiàn)贏得了多項模式識別的比賽，包括IJCNN 2011交通標志識別比賽等等。
他們的神經網絡也是第一個在重要的基準測試中（例如IJCNN 2012交通標志識別和NYU的揚·勒丘恩（Yann LeCun）的MNIST手寫數字問題）能達到或超過人類水平的人工模式識別器。
類似1980年Kunihiko Fukushima發(fā)明的neocognitron和視覺標準結構（由David H. Hubel和Torsten Wiesel在初級視皮層中發(fā)現(xiàn)的那些簡單而又復雜的細胞啟發(fā)）那樣有深度的、高度非線性的神經結構可以被多倫多大學杰弗里·辛頓實驗室的非監(jiān)督式學習方法所訓練。
2012年，神經網絡出現(xiàn)了快速的發(fā)展，主要原因在于計算技術的提高，使得很多復雜的運算變得成本低廉。以AlexNet為標志，大量的深度網絡開始出現(xiàn)。
2014年出現(xiàn)了殘差神經網絡，該網絡極大解放了神經網絡的深度限制，出現(xiàn)了深度學習的概念。
構成
典型的人工神經網絡具有以下三個部分：
1、結構（Architecture）結構指定了網絡中的變量和它們的拓撲關系。例如，神經網絡中的變量可以是神經元連接的權重（weights）和神經元的激勵值（activities of the neurons）。
2、激勵函數（Activation Rule）大部分神經網絡模型具有一個短時間尺度的動力學規(guī)則，來定義神經元如何根據其他神經元的活動來改變自己的激勵值。一般激勵函數依賴于網絡中的權重（即該網絡的參數）。
3、學習規(guī)則（Learning Rule）學習規(guī)則指定了網絡中的權重如何隨著時間推進而調整。這一般被看做是一種長時間尺度的動力學規(guī)則。一般情況下，學習規(guī)則依賴于神經元的激勵值。它也可能依賴于監(jiān)督者提供的目標值和當前權重的值。
例如，用于手寫識別的一個神經網絡，有一組輸入神經元。輸入神經元會被輸入圖像的數據所激發(fā)。在激勵值被加權并通過一個函數（由網絡的設計者確定）后，這些神經元的激勵值被傳遞到其他神經元。
這個過程不斷重復，直到輸出神經元被激發(fā)。最后，輸出神經元的激勵值決定了識別出來的是哪個字母。
三、神經網絡中的公共特征
神經網絡中的公共特征，神經網絡具有以下幾個特征：以分布式方式存儲信息；以并行協(xié)同方法處理信息；具有較強的自學習、自適應能力；具有較強的容錯能力；具有較強的非線性映射能力。
四、實現(xiàn)人工智能的三要素
數據——人工智能的糧食
實現(xiàn)人工智能的首要因素是數據，數據是一切智慧物體的學習資源，沒有了數據，任何智慧體都很難學習到知識。自從有記錄以來，人類 社會 發(fā)展了數千年，在這期間，人類 社會 不斷發(fā)展變化，從最早的原始 社會 到奴隸 社會 ，再到封建 社會 、資本主義 社會 、 社會 主義 社會 ，未來還會發(fā)展到共產主義 社會 ，在這漫長的發(fā)展過程中，都少不了數據做為人類 社會 發(fā)展的動力。
人類 社會 之所以發(fā)展的越來越高級文明，離不開學習知識，而知識的傳播流傳越快，則 社會 發(fā)展也越快，在封建 社會 以前，知識的傳播從口口相傳到甲骨文，再到竹簡記錄，就算是封建 社會 后期的紙質記錄，其知識的傳播速度也無法和今天的互聯(lián)網知識的傳播速度相提并論。
一般來說，知識的獲取來自兩種途徑，一種是通過他人的經驗而獲得的知識，也就是他人將知識整理成冊，然后供大家學習，這也是目前的主流學習方式；另一種就是通過自己的 探索 而獲得的知識，這種學習方式目前只存在高精尖領域的知識學習，由于在已有的開放 社會 資源中，找不到可以學習的知識，只有自我 探索 獲取。
無論哪種學習方式，都要通過學習載體來傳播知識，無論是面對面講述，實踐操作，還是書本記錄，或是電子刊物，亦或者影像資料等，這些都是學習載體，我們都可以稱其為數據，學習數據的質量從根本上影響了學習的效果，所以對于人類學習而言，找一個好的老師，有一本好的書籍都是非常重要的學習選擇。
既然人類的學習非常依賴于數據的質量，那么AI學習知識的時候，是否也會存在同樣的問題呢？答案當然是肯定的，不僅如此，而且AI學習知識的時候對于數據的依賴還要高于人類。人類相比目前的AI而言，是具有推理能力的，在學習某些具有關聯(lián)性知識的時候，通過推理聯(lián)想可以獲得更多的知識。從另一角度來講，在某種特定場景下，即使數據不夠完整全面，對于人類的學習影響也不會太大，因為人類會利用推理和想象來完成缺失的知識。而目前AI的推理能力還處于初級研究階段，更多的難題還等著業(yè)內技術人員來攻克。
由此可見，目前AI學習知識大部分基本都是依賴于數據的質量的，在這種情況下，連人工智能專家吳恩達都發(fā)出人工智能=80%數據+20%算法模型的感慨，可見人工智能的“糧食安全”問題還是非常緊迫的，如果“糧食”出現(xiàn)了質量安全問題，那么最終將會導致人工智能“生病”?？梢姅祿暮脡幕旧洗蟾怕实臎Q定了智能化的高低，有人會說，我可以通過提高算法模型來提高效果啊，不幸的是，在數據上稍微不注意造成了質量問題，需要在算法上歷盡千辛萬苦來提高效果，而且還不一定彌補得上，數據對于人工智能最終的發(fā)展結構可見一斑。
算力——人工智能的身體
算力是實現(xiàn)人工智能的另一個重要因素，算力在一定程度上體現(xiàn)了人工智能的速度和效率。一般來說算力越大，則實現(xiàn)更高級人工智能的可能性也更大。算力是依附于設備上的，所以一般談論算力，都是在說具體的設備，比如CPU、GPU、DPU、TPU、NPU、BPU等，都是屬于算力設備，只是他們有各自不同的能力而已。具體介紹可以閱讀 《CPU、GPU、DPU、TPU、NPU...傻傻分不清楚？實力掃盲——安排!》 一文，介紹相當全面，從APU到ZPU，各種PU全部介紹完了，掃盲是夠了。
算力設備除了上面的各種PU之外，每一種設備下面還會分不同的系列，比如英偉達的GPU在PC端有消費級的GeForce系列，專業(yè)制圖的 Quadro 系列、專業(yè)計算的 Tesla系列 等，而GeForce系列細分還可以分為GT、GTX、RTX等，當然每種子系列下還可以繼續(xù)細分，比如GTX下面有GTX1050、GTX1050Ti......GTX1080、GTX1080Ti，還有GTX Titan等更強大的系列，RTX下面也一樣包括了更詳細的等級劃分，具體選擇哪個系列要看具體使用場景而定，當然還和自身的消費實力相關，算力性能越強大也意味著更多的真金白銀。
下面是RTX20系列的各種顯卡的性能對比：
RTX30系列的各種顯卡的對比：
此外，英偉達還有嵌入式端的各種顯卡系列，比如適用于自主機器AI平臺的JetSon系列、DRIVE AGX系列、Clara AGX系列等，以及云端的一些計算資源。同樣每種系列還是做了進一步的細分，比如Jetson下面就根據其算力核心數就分成了Jetson Nano、Jetson TX2、Jetson Xavier NX、Jetson AGX Xavier等四款設備。
對于廠家而言，產品分的越細，越利于宣傳和推廣，對于消費者而言，可選擇性也大大增加，但是也對消費者的基本知識也有了要求，如果不清楚各種產品的差異，那么就很容易選擇錯誤，而現(xiàn)在的顯卡市場就是如此，需要一些專業(yè)的知識才能夠選對自己所需的顯卡類型。希望大家經過科普后都能夠選對自己的顯卡型號，是打 游戲 、制圖、還是計算，心里要有一個對應的系列型號才行，不然可要陷入選擇困難癥中了。
以目前人工智能主流技術深度學習為例，它的學習過程就是將需要學習的數據放在在算力設備上運行，經過神經網絡億萬次的計算和調整，得到一個最優(yōu)解的過程。如果把數據當成人工智能的“糧食”，那么算力就是撐起人工智能的“身體”，所有的吃進去的“糧食”都需要“身體”來消化，提取“營養(yǎng)”幫助成長。同樣，人工智能的數據也是需要經過算力來逐一運算，從而提取數據的特征來作為智能化程度的標志的。
算法——人工智能的大腦
算法是人工智能程序與非人工智能程序的核心區(qū)別，可以這么理解，就算有了數據、有了算力，但是如果沒有核心算力，也只能算是一個看起來比較高大上的資源庫而已，由于沒有算法的設計，相當于把一大堆的資源堆積了起來，而沒有有效的應用。而算法就是使得這對資源有效利用的思想和靈魂。
算法和前兩者比起來，算法更加的依賴于個人的思想，在同一家公司里，公司可以給每個算法工程師配備同樣的數據資料和算力資源，但是無法要求每個算法工程師設計出來的算法程序的一致性。而算法程序的不一致性，也導致了最終智能化的程度千差萬別。
相對于數據是依賴于大眾的貢獻，算力是依賴于機構組織的能力，而算法更加的依賴于個人，雖然很多公司是算法團隊，但是真正提出核算算法思想的也就是那么一兩個人，毫不夸張的說其他人都是幫助搬磚的，只是這種算法層面的搬磚相對純軟件工程的搬磚，技能要求要更高而已。這點和建筑設計一樣，很多著名的建筑設計，其思想都是來自于一個人或者兩個人，很少見到一個著名的設計其思想是由七八個人想出來的。
由于算法設計的獨特性，和數據與算力相比，在人工智能的三個要素中，算法對人工智能的影響更大，這是因為在平時的工作當中，只要大家花上時間和費用，基本都可以找到好一些的數據和算力設備，但是算法由于其獨特性，很多的算法是有專利或者沒有向外界開源的，這個時候的差異就要在算法上體現(xiàn)出來了。
現(xiàn)在的大學和培訓機構的人工智能專業(yè)，其學習方向也主要是以算法為主。因為數據是由大眾產生，又由一些互聯(lián)網大廠存儲的，一般個人很少會去做這一塊；而算力設備是由芯片公司控制著的；做為獨立的個人最能夠發(fā)揮效力的就在人工智能的算法方向了。培養(yǎng)優(yōu)秀的算法人才對于人工智能的發(fā)展至關重要。目前市場上關于圖像視覺、語音信號、自然語言、自動化等方向的算法工程師供不應求，薪資水平也是遠超其他互聯(lián)網軟件行業(yè)的崗位。
后記：
當前，國內人工智能發(fā)展正處于高速成長期，未來將會進入爆發(fā)期，無論從業(yè)者是處于人工智能的數據處理方向，還是人工智能的算力設備研發(fā)方向，或者是人工智能的算法研發(fā)方向，都將會迎來巨大的行業(yè)紅利和豐厚的回報。而人工智能算法方向又是學習回報比最高的一個方向，做為沒有背景的個人，是進入人工智能行業(yè)的最佳選擇 。
文/deep man
以上就是關于神經網絡的三要素相關問題的回答。希望能幫到你，如有更多相關問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內容。
推薦閱讀：
贛公網安備 50019002502384號
