Ⅰ 計算機思維的計算機思維邏輯分析
編者按：本文主要從從計算機語言的角度證明計算機不能象人的大腦那樣工作 ；從計算機硬體的角度證明計算機不能象人的大腦那樣工作 ；計算機不能象人的大腦那樣工作 ；計算機思維的神話產生的邏輯原因，對計算機思維邏輯分析進行講述。其中，主要包括：人類自然語言的特點 、計算機沒有主體，計算機語言沒有思想 、現有的計算機不可能象人的大腦那樣思維 、人類難以製造出象大腦神經細胞那樣復雜的計算機「元件」、人類沒有能力將類似於大腦神經細胞的「元件」裝配在一起 、計算機科學家沒有辦法將上述「裝配」方法說出來 、計算機科學家沒有能夠進行共同操作的形式化語言 、必須創造出具有「思想」的語言、很多計算機科學家之所以相信計算機能夠思維，是因為他們犯了如下的邏輯錯誤：一是把思維等同於語言思維，二是把計算機語言等同於人類自然語言、計算機能夠思維的神話就依靠如下的邏輯得以產生：人能夠思維，思維就是語言思維---任何能夠使用語言的事物也就能夠思維；計算機能夠使用計算機語言，計算機也能夠思維；計算機的工作過程就是信息處理的過程，大腦思維的過程也同樣是信息處理的過程，計算機能夠進行信息處理---計算機能夠象人的大腦那樣工作---計算機能夠思維，具體材料請詳見：
本文所說的「計算機思維」，指的是「計算機象人的大腦那樣的工作」。由於我們目前對人類大腦工作的原理還至少處於半無知的狀態，我們也就無法確切地界定什麼是思維。這樣，我們就只能換另外一種方式來討論 「計算機能不能思維」這個問題，即把「計算機能不能思維」這個問題改變「計算機能不能象人的大腦那樣工作」這樣的問題來討論。
從本世紀70年代開始就有不少的計算機科學家預言「能夠思維的計算機」很快就會問世。但是，到目前為止，即使全世界最高級的計算機也還始終只是一台按照人編制的程序工作的「機器」。 在現代機器剛剛發明出來之時，不少人希望能夠製造出一旦發動就不再需要新的能量、能夠永遠運轉不停的「永動機」。後來，科學家們能夠最終能從理論上證明「製造永動機」的不可能。我們現在雖然不能象科學家們證明「永動機不可能」那樣證明「計算機不能思維」。但至少可以從邏輯上對這個問題作出一個初步的判斷。
一、從計算機語言的角度證明計算機不能象人的大腦那樣工作
許多計算機科學認為將來的計算機能夠象人的大腦那樣思維的主要原因是因為人類使用語言思維，計算機也可以使用計算機語言。這樣，計算機最終能夠象人的大腦那樣思維。
在這里，贊同計算機能夠象人的大腦那樣思維的計算機科學家犯了如下邏輯上的錯誤：先把人類思維簡單地等同於語言思維，再把計算機語言簡單地等同於人類語言。這樣，人是用語言思維的，凡是能夠使用語言的「事物」---不管是人還是機器，都能夠「思維」。我們可以通過人類語言和計算機語言的對比來證明：在現有的計算機硬體水平上，無論採用什麼高級的計算機語言，計算機都不可能象人的大腦那樣思維。
1．人類自然語言的特點
人類自然語言既是交流的工具，又是認知的工具，同時也是思維的工具。由於人類自然語言同時要滿足這三種功能，它就必須達到如下要求：思想、方法、對象三者同時融於語言之中。這就是人類自然語言的「三位一體性」。如果沒有這種「三位一體性」， 人類自然語言對人類就失去了意義。試想，如果我們用語言交流，雙方卻不能通過語言知曉對方的思想和思維的對象以及方法；我們用語言認知，卻不能用語言把握對象、掌握方法和認知目的；我們用語言思維，我們卻不知用的什麼方法，思維的對象是什麼，用什麼觀念控制思維。在這樣的情況下，語言對人類還有什麼意義呢？與此相應，人類自然語言要同時滿足這三個功能，就必須是具有相當程度的不確定性。這也就人類自然語言的「說不準原理」，即在任何一種語境中，語詞所指稱的對象都只是相對確定的。
人類自然語言的這種「說不準」的特點決定了人類大腦思維過程的模糊性。現代神經生理學和神經心理學等學科的研究已經證明，人的大腦左、右半腦是有相當分工的。對於大多數人來說，語音語詞存儲在大腦的左頭腦，視覺表象或「圖景」存儲在大腦的右半腦。大腦思維過程的模糊性就是，人類大腦左半腦中的語詞與右半腦中的「圖景」是一種非常模糊的對應關系。這種模糊的對應關系使得人類大腦根本不可能象電腦那樣快速准確地「計算」。然而，正是這種模糊性給人類以極大的適應性，使得人類能夠在極端不同的環境條件下生存。人類自然語言具有極大的模糊性，但人類所處的自然環境具有一定程度的同一性，外部世界通過視覺進入人類大腦右半腦的信息具有一定程度的同一性和確定性，大腦右半腦處理這些外部信息的機制具有一定程度的同一性和確定性，大腦左半腦的語詞與其指稱的大腦右半腦的「圖景」也具有一定程度的同一性和確定性，人類在交流過程中使用的語詞對外部事物的指稱也具有一定程度的同一性和確定性。人類依靠這一定程度的同一性和確定性，通過相互交流達到一定程度的合作，通過在這種合作過程中不斷地試錯，進而有效地適應環境。這樣，人也就成為萬物之靈。
2．計算機沒有主體，計算機語言沒有思想
我們是否能在現有的集成電路的技術之上，「創造」出一種新的計算機語言，使計算機能夠象我們人類大腦那樣工作呢？這似乎是不可能的。計算機是沒有「主體」的。一個沒有主體的機器卻要使用必須有主體才能使用的語言，似乎從邏輯上也說不通過。現有的計算機的命令語句全部是祈使語句。而人類自然語言中，每一句話都包含著說話的主體，只是我們習慣地省略掉了這個主體。比如，我們對某人說「Copy the file.」時，全部語句是「I want you to the file.」在這里，「I」是主體，「you」是「I」祈使的對象，「to the file」是「I」祈使的對象的行為。而在計算機語言中，「I」是我們操作計算機的人，「you」則是計算機，「to the file」則是計算機的行為。我們通過對計算機語言的分析，也可以看出，計算機是沒有主體的。在我們還沒有創造出具有主體性的計算機之前，我們不可能為計算機「創造」出一種能夠使用必須具有主體性才能使用的語言。
計算機之所以能夠比人類大腦更加快速准確地「計算」，正是在計算機克服了人類自然語言上述「三位一體性」的「缺陷」。計算機能夠快速、准確地「計算」的最基本的原因，就是硬體與軟體的分離、程序與數據的分離。這實際上也就是將我們人類自然語言中的思想與方法、方法與對象、思想與對象實行了分離。由於這些分離，使得計算機的程序語言中的命令與數據，都能非常精確地指稱計算機內存裡面的確定區域。這樣，計算機「計算」的時候，就不會象人類大腦那樣，左半腦中的一個語詞指稱的是一個幾乎難以確切地劃分出「邊界」的右半腦中的圖景，而是一塊有著確定「地址」的內存區域。這樣，計算機就能夠達到快速准確地「計算」了。
計算機語言沒有思想。計算機語言的「思想」存在於編製程序的人的大腦之中，這就將使計算機語言的思想與方法分離了。計算機的程序語言是一種高度形式化的語言，這種語言與它要處理的對象是嚴格分離的。而計算機語言所要處理的對象，僅僅是數據。即使我們稱現在的計算機能夠處理「圖象」和「聲音」，它也是把這些圖象和聲音變成了數據之後進行處理的。這樣，計算機語言又達到了方法與對象的分離。由於計算機語言沒有思想，當然就談不上思想與對象的分離。而我們之所以能夠有效地利用計算機，其中最關鍵的一條也就是我們把需要計算機處理的信息變成了「數據」。這同樣使得我們的思想---我們不同的人之間的關於世界的看法與對象分離了。
因為，數據一旦採集之後，就成為一種「客觀」的東西，無論我們用什麼樣的觀點看待和處理這些數據，但是，數據本身卻不會變化了。由於計算機語言能夠達到幫助我們人類在處理信息的過程中使思想與方法、方法與對象、思想與對象三者之間達到非常有效的分離，計算機也就能夠為我們做很多的工作。而這一點，則正是計算機的優勢。
3．現有的計算機不可能象人的大腦那樣思維
通過從計算機語言的角度對計算機的功能的分析，我們可以知道，我們能夠使用計算機語言使計算機好好地為我們工作，正是因為計算機語言幫助我們克服了人類自然語言「三位一體」的「缺陷」，使人類自然語言中的思想與方法、方法與對象、思想與對象在計算機語言中產生了較高程度的分離。計算機及計算機網路能夠在我們生活中起到那樣巨大的作用，最基本的原因就是硬體和軟體的分離、程序和數據的分離。硬體和軟體的分離並不僅僅只是在計算機技術之中，現代任何工程技術就實行了這種分離。現代大工業機器生產，其硬體和軟體都實行了分離。否則，人們不可能在全世界各地生產元部件，然後再在產品的需要地組裝。今天，人們可以在全世界各地生產計算機的各種元件和部分，也是由於人們共同使用的是高度形式化的數字邏輯和機器語言。而程序和數據的分離，則是計算機信息處理技術中的一項最重要的革新，計算機網路充分利用了這種技術，使得人們可以在世界各地相對獨立地編製程序和收集數據。而這些程序和數據卻可以通過網路使各種不同的計算機共同享用。
從上面的證明中可以看出，計算機能夠達高速、准確地「計算」，其關鍵原因就在於計算機沒有主體，計算機語言沒有思想。這就使得不同的人們能夠有效地利用計算機使人類的思維過程中將思想、方法和對象分離開來。由於這種分離作用，不同地區的、不同民族的、不同語言的人們可以在計算機網路上共享信息資源。
在計算機語言的思想、對象和方法的分離的基礎上，計算機語言中的命令、變數和常量與計算機存貯器裡面的一定的區域有著嚴格的指稱關系，這樣，計算機就能夠快速、准確地定址和計算。盡管現代高級計算機的「計算」速度及其准確性令我們吃驚，但是，由於計算機是一台沒有主體的機器，計算機語言是一種沒有思想的語言，要這種使用沒有思想的語言的沒有主體的機器象人的大腦那樣思維是根本不可能的。並且，我們不可能創造出一種具有「思想」的計算機語言，讓沒有主體的計算機使用。這似乎在邏輯上是始終講不通的。就象人類教動物學說話至少有幾百年的歷史了，但目前還沒有成功的一例。動物之所以不能象人一樣的說話和思維，就是無論如何，它們是沒有主體的。計算機的內部結構比動物的大腦不知簡單多少倍，讓這樣簡單的、沒有主體的機器使用人類這樣復雜的語言、象人的大腦那樣工作，簡直是不可思議的。
二、從計算機硬體的角度證明計算機不能象人的大腦那樣工作
既然我們不能讓沒有主體的計算機使用具有思想的語言，那麼，我們是否可以在不久的將來製造出某種具有主體的計算機，使其能夠使用某種具有思想的語言，象我們的大腦那樣工作呢？從邏輯上來說，這似乎也是不可能的。因為，「主體性」的產生是一種極其復雜的自組織過程。要製造出一種具有高度自組織過程的計算機，似乎也是不可能的。
1．人類難以製造出象大腦神經細胞那樣復雜的計算機「元件」
如果我們要製造出一台具有高度「自組織「過程的計算機，首先就必須使這種計算機的「元件」具有某種「獨立性」。目前人類的製造技術雖然達到了極其高級的水平，但是，要製造出象大腦神經細胞那樣的「元件」還是非常困難的公務員之家。盡管目前的神經網路計算機或生物技術似乎有了一些「起色」，但與人類神經細胞相比，差距還是十分大的。人類大腦的神經細胞是生命進化幾十萬年甚至幾百萬年的產物。到目前為止，人類還只是了解到其運行機制的極其有限的內容。
2．人類沒有能力將類似於大腦神經細胞的「元件」裝配在一起
即使人類能夠製造出象大腦神經細胞那樣復雜的元件，人類有沒有技術將其「裝配」得象大腦神經網路那樣工作。目前的計算機能夠這樣快速地工作，其根本原因是因為計算機的集成電路中的各種各樣的「開關」的連結沒有人的大腦神經細胞之間通過神經末梢連結那樣復雜。如果計算機技術發展的程度達到了能夠把現在的一個個的「開關」變成象人的大腦中的一個個的「神經細胞」一樣的機制，人類也可無法將這些神經細胞連結在一起有效地工作。因為，這些「神經細胞」有了某種「獨立性」，其「行為」也就具有了相當程度的「任意性」，計算機科學家也就再也無法讓它們象現在的集成電路中的「開關」那樣按「規律」活動了。人類神經細胞連結成神經網路，是人類生命進化幾十萬年甚至幾百萬年的結果。在這個進化過程之中，神經細胞通過其神經末梢的電子躍遷、離子藕合的過程經過了長期的環境適應和內部調適。這個過程是極其復雜的，並且仍然還在進化。就目前人類的知識和技術，以及人類智力的有限性，要想人工製造出象人類大腦神經網路這樣的「造化之物」是極其困難的。
3．計算機科學家沒有辦法將上述「裝配」方法說出來
即使個別的計算機科學家碰巧想出了某種能夠將這些復雜的元件連結在一起的方法，這個計算機科學家也難以將這種方法「說」出來。現代科學技術能夠產生巨大的作用，關鍵的願意是因為科學傢具有「科學」這種共同語言。科學家能夠通過學習和使用這種共同的語言進行合作。某個計算機科學家或許能夠通過自己的反復操作、或偶然的機遇將某些類似於大腦神經細胞的「元件」連結在一起，使其正常「工作」。但是，如果這個科學不能使用共同語言將這種方法表述出來，其他的科學家也就難以學習這種方法。這就如同中國古代的「小人」們創造出無數世界領先的技術，但由於中國古代的文字語言只供「君子」論「道」而不論「器」，中國古代也就沒有一種有效的語言將這些技術轉化為人類可能普遍享用的科學。
4．計算機科學家沒有能夠進行共同操作的形式化語言
即使個別的計算機科學家「發明」了能夠說出這種方法的「私人語言」，計算機科學家也難以用其作為交流的工具。科學技術的發展依賴於共同的語言，但是，這種語言還必須高度形式化的語言。如果某個科學家能夠用自己的「私人語言」表述這個過程，其他的科學家或許能在一定的程度上理解某個科學家
所說的，但是，這種語言並沒有高度的形式化，科學家難以用這種語言進行某些可重復性的操作，科學家也同樣難以使用這種方法。現代計算機的研究和製造是在無數的計算機專家分工合作的基礎上進行的。這種分工合作的基礎，從硬體的角度來說，就是計算機專家能夠合作標準的計算機機器語言---實際上就是數字電子線路語言。從軟體的角度來說，就是可以共同使用的高級程序語言。如果沒有這兩種高度形式化的語言，計算機的研究和製造、計算機的推廣和使用都是不可能的。
通過上面的說明，我們可以知道：第一，人類難以製造出象大腦神經細胞那樣復雜的計算機「元件」；第二，即使製造出這樣復雜的元件，人類難以將其有效地「裝配」在一起，讓它們正常的「工作」；第三，即使某些科學家能夠在經驗上想出某些辦法讓將這些元件裝配在一起「正常」的工作，但這些科學家無法將這種方法「說」出來，第四，即使這些科學家用「私人語言」將這種方法「說」了出來，但由於這種語言不可能形式化，其他的科學家也難以理解。由於這四個方面的原因，要從計算機硬體的方面來製造出「象人的大腦那樣思維」的計算機似乎也是不可能的。
三、計算機不能象人的大腦那樣工作
通過上面從計算機語言和計算機硬體兩個角度的論證，我們知道，要使計算機能夠象人類大腦那樣思維，必須具備如下條件。
第一，必須製造出具有「主體」的計算機。
第二，必須創造出具有「思想」的語言。
第三，必須使這種具有「主體」的計算機接受這種有「思想」的語言。
要滿足第一個條件，就必須製造出具有一定「獨立性」和「任意性」的計算機「元件」。人類要製造出這種具有一定「獨立性」和「任意性」的「元件」的可能性是非常之小的。因為人類大腦神經細胞是生命進化的產物，其復雜程度是現在的集成電路僅僅用「開關」來控制電子流動難以比擬的，也是人類難以在實驗室內控制生產的。並且，即使製造出具有某種「獨立性」和「任意性」的元件，人類就不可能讓它們按人類的「意志」裝配在一起。因為使用語言包括人類自然語言和科學語言說明復雜系統具有如下困境：僅僅描述單個「元件」的行為，並不能說明整體的行為；描述整體的行為，就只能是極為近似的。用這種極其近似的語言描述這種新的類似於神經網路的整體狀況還勉強，要用這種語言製造計算機，則幾乎是不可能的。這樣，人類製造出某種具有「主體」的計算機的希望是非常眇茫的。製造計算機是一個復雜的合作過程，在這個合作的過程，沒有形式化的共同語言，合作就無法進行。
前面我們已經說明，在現有的計算機技術條件下，僅僅使用軟體的方法即依靠計算機語言的發展是不可能計算機象人類大腦那樣思維的。這樣，即使我們的計算機技術發展到了能夠滿足上述第一個條件的水平，我們也難以為這些計算機「創造」出一種有思想的語言。
即使我們同時滿足了製造出了一部有主體的計算機，創造出了一種有思想的語言，我們也不可能將作為硬體的計算機和作為軟體的語言有效地結合在一起。如果這些機器具有了「主體性」，他們自己就會「創造」自己的語言，它們怎麼還會接受人類為它安排的語言呢？
這樣，我們可以說，就人類的智力和技術水平，要使計算機能夠象人類大腦那樣工作雖然難以說是不可能的，但確實是極其困難的。
四、計算機思維的神話產生的邏輯原因
很多計算機科學家之所以相信計算機能夠思維，是因為他們犯了如下的邏輯錯誤：一是把思維等同於語言思維，二是把計算機語言等同於人類自然語言。由於這兩個等同，計算機科學家自然就會產生第三個等同：把計算機信息處理的過程等同於大腦思維過程。
我們要對某些超越了人類認知能力的事物作出解釋，一般採用的是用某種神秘的「實在」來解釋它。由於我們對自然和社會運轉的規律所知甚少，我們就用「上帝」、「天道」之類的東西解釋自然和社會所發生的一切。由於我們對我們的「精神」所知甚少，我們用「靈魂」解釋我們的「精神」。由於我們對我們的歷史還所知甚少，我們就用「文明」或「文化」來解釋我們的歷史。雖然計算機是由人按照一定的自然規律製造出來的，但由於其內部工作過程的復雜性和層次性，普通人要了解計算機的工作原理也是非常困難的。計算機科學家可以用專業術語將計算機的工作原理和工作過程解釋得清清楚楚，但是，這些解釋對普通人來說，無異於「天書」。這樣，科學家和專業技術人員就必須用「擬人化」的方法和語言解釋計算機的工作過程。然而，面對一個由人按照一定的規律製造出來的計算機，計算機科學家不可能再用「靈魂」、「精靈」之類的話語來予以說明：計算機科學家不可能說計算機之所以工作是因為其內部有一個「小精靈」。在這種情況下，選用什麼樣的話語來解釋計算機的工作過程呢？「思維」就是一個最恰當的術語。如果我們說計算機能夠思維，任何人都會「理解」這個工作過程，盡管普通人幾乎沒有對「思維」做過什麼研究，但任何人都時時刻刻在思維。使用「思維」這個術語解釋計算機的工作過程，科學家和普通人之間就有了「共同語言」。從使用「思維」這個術語解釋計算機的工作過程開始，計算機能夠思維的神話也就開始產生了。或者說，當計算機科學家開始用「思維」這個術語解釋計算機的工作過程，相當一部分計算機科學家也就開始相信計算機能夠思維，計算機科學家也就開始製造「計算機能夠思維」的神話。
對於計算機科學家，什麼是思維呢？計算機科學家一想到思維，自然就會想到語言。無論誰都知道，我們的有意識的思維是利用語言進行的。一想到語言，馬上就把計算機程序語言與人類自然語言等同起來。這樣，如下的結論就會自然產生：思維就是語言思維，計算機使用語言處理信息，人使用語言進行思維，計算機也就能夠象人一樣思維。
很多計算機科學家之所以產生相信「計算機能夠思維」，其重要原因之一是通過計算機工作過程和大腦工作過程的「形式上的」對比，發現了某種共同的東西。這種共同的東西就是所謂的「信息處理」。計算機能夠「接受」信息，「儲存」信息、處理信息、輸出信息。而我們人則同樣可以接受信息---聽、看、閱讀等，儲存信息---記憶，處理信息---思考，輸出信息---說、選擇性地看、作出反應、閱讀等。這也就是說，大腦工作過程與計算機工作過程有著某種形式上的可比性。本來，類比是人類把握外部世界的一種重要方式
，形式化的類比更人類思維的一種最重要的方式。利用大腦工作與計算機工作的類比，得出某種形式上的一致性，並用這種一致性做為探索大腦奧秘的某種手段，這一切都無可非議。但是，僅僅因為計算機處理信息的方式和人對外部世界的感受和反應的方式具有某種形式上的可比性就把計算機信息處理的過程和大腦的思維過程看作相同的東西，首先就犯了一個邏輯上的重大錯誤。
前面我們已經說明了人類自然語言與計算機語言的差別。我們說語言是思維的工具，並不是說語言就是思維。而我們之所以經常產生語言就是思維的錯誤結論，正是因為前面所說的語言的「三位一體」性---即我們的思維過程中的思維、方法、對象都融合在語言之中。然而，在計算機語言中，這種三位一體性得到了嚴格的分離。這樣，計算機就不可能象人類大腦那樣思維。同時，這也是計算機能夠在「計算」方面比人類大腦迅速准確得多的原因。
計算機能夠思維的神話就依靠如下的邏輯得以產生：人能夠思維，思維就是語言思維---任何能夠使用語言的事物也就能夠思維；計算機能夠使用計算機語言，計算機也能夠思維；計算機的工作過程就是信息處理的過程，大腦思維的過程也同樣是信息處理的過程，計算機能夠進行信息處理---計算機能夠象人的大腦那樣工作---計算機能夠思維。
我們的大腦還是一個十分神秘的東西。正是由於這種神秘，我們在進行科學研究的過程中，就必須時刻留心這種神秘性帶來的不利作用。因為，稍不留神，我們就會得出荒謬的結論。把思維等同於語言、把計算機語言等同於人類自然語言、再把計算機信息處理等同於大腦思維，這就自然會得出計算機能夠思維的結論。當我們把思維與語言區別開來，了解了計算機語言與人類自然語言的巨大差異，了解到計算機信息處理與大腦思維之間的巨大差異，我們就不會盲目信從「計算機能夠思維」這個神話了。
參考文獻：
Ⅱ 人工神經網路綜述
文章主要分為：
一、人工神經網路的概念；
二、人工神經網路的發展歷史；
三、人工神經網路的特點；
四、人工神經網路的結構。
。。
人工神經網路（Artificial Neural Network，ANN）簡稱神經網路(NN)，是基於生物學中神經網路的基本原理，在理解和抽象了人腦結構和外界刺激響應機制後，以網路拓撲知識為理論基礎，模擬人腦的神經系統對復雜信息的處理機制的一種數學模型。該模型以並行分布的處理能力、高容錯性、智能化和自學習等能力為特徵，將信息的加工和存儲結合在一起，以其獨特的知識表示方式和智能化的自適應學習能力，引起各學科領域的關注。它實際上是一個有大量簡單元件相互連接而成的復雜網路，具有高度的非線性，能夠進行復雜的邏輯操作和非線性關系實現的系統。
神經網路是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激活函數（activation function）。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重（weight），神經網路就是通過這種方式來模擬人類的記憶。網路的輸出則取決於網路的結構、網路的連接方式、權重和激活函數。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。神經網路的構築理念是受到生物的神經網路運作啟發而產生的。人工神經網路則是把對生物神經網路的認識與數學統計模型相結合，藉助數學統計工具來實現。另一方面在人工智慧學的人工感知領域，我們通過數學統計學的方法，使神經網路能夠具備類似於人的決定能力和簡單的判斷能力，這種方法是對傳統邏輯學演算的進一步延伸。
人工神經網路中，神經元處理單元可表示不同的對象，例如特徵、字母、概念，或者一些有意義的抽象模式。網路中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數據；輸出單元實現系統處理結果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度，信息的表示和處理體現在網路處理單元的連接關系中。人工神經網路是一種非程序化、適應性、大腦風格的信息處理，其本質是通過網路的變換和動力學行為得到一種並行分布式的信息處理功能，並在不同程度和層次上模仿人腦神經系統的信息處理功能。
神經網路，是一種應用類似於大腦神經突觸連接結構進行信息處理的數學模型，它是在人類對自身大腦組織結合和思維機制的認識理解基礎之上模擬出來的，它是根植於神經科學、數學、思維科學、人工智慧、統計學、物理學、計算機科學以及工程科學的一門技術。
在介紹神經網路的發展歷史之前，首先介紹一下神經網路的概念。神經網路主要是指一種仿造人腦設計的簡化的計算模型，這種模型中包含了大量的用於計算的神經元，這些神經元之間會通過一些帶有權重的連邊以一種層次化的方式組織在一起。每一層的神經元之間可以進行大規模的並行計算，層與層之間進行消息的傳遞。
下圖展示了整個神經網路的發展歷程：
神經網路的發展有悠久的歷史。其發展過程大致可以概括為如下4個階段。
(1)、M-P神經網路模型：20世紀40年代，人們就開始了對神經網路的研究。1943 年，美國心理學家麥克洛奇（Mcculloch）和數學家皮茲（Pitts）提出了M-P模型，此模型比較簡單，但是意義重大。在模型中，通過把神經元看作個功能邏輯器件來實現演算法，從此開創了神經網路模型的理論研究。
(2)、Hebb規則：1949 年，心理學家赫布（Hebb）出版了《The Organization of Behavior》（行為組織學），他在書中提出了突觸連接強度可變的假設。這個假設認為學習過程最終發生在神經元之間的突觸部位，突觸的連接強度隨之突觸前後神經元的活動而變化。這一假設發展成為後來神經網路中非常著名的Hebb規則。這一法則告訴人們，神經元之間突觸的聯系強度是可變的，這種可變性是學習和記憶的基礎。Hebb法則為構造有學習功能的神經網路模型奠定了基礎。
(3)、感知器模型：1957 年，羅森勃拉特（Rosenblatt）以M-P 模型為基礎，提出了感知器（Perceptron）模型。感知器模型具有現代神經網路的基本原則，並且它的結構非常符合神經生理學。這是一個具有連續可調權值矢量的MP神經網路模型，經過訓練可以達到對一定的輸入矢量模式進行分類和識別的目的，它雖然比較簡單，卻是第一個真正意義上的神經網路。Rosenblatt 證明了兩層感知器能夠對輸入進行分類，他還提出了帶隱層處理元件的三層感知器這一重要的研究方向。Rosenblatt 的神經網路模型包含了一些現代神經計算機的基本原理，從而形成神經網路方法和技術的重大突破。
(4)、ADALINE網路模型： 1959年，美國著名工程師威德羅（B.Widrow）和霍夫（M.Hoff）等人提出了自適應線性元件(Adaptive linear element，簡稱Adaline)和Widrow-Hoff學習規則（又稱最小均方差演算法或稱δ規則）的神經網路訓練方法，並將其應用於實際工程，成為第一個用於解決實際問題的人工神經網路，促進了神經網路的研究應用和發展。ADALINE網路模型是一種連續取值的自適應線性神經元網路模型，可以用於自適應系統。
人工智慧的創始人之一Minsky和Papert對以感知器為代表的網路系統的功能及局限性從數學上做了深入研究，於1969年發表了轟動一時《Perceptrons》一書，指出簡單的線性感知器的功能是有限的，它無法解決線性不可分的兩類樣本的分類問題，如簡單的線性感知器不可能實現「異或」的邏輯關系等。這一論斷給當時人工神經元網路的研究帶來沉重的打擊。開始了神經網路發展史上長達10年的低潮期。
(1)、自組織神經網路SOM模型：1972年，芬蘭的KohonenT.教授，提出了自組織神經網路SOM(Self-Organizing feature map)。後來的神經網路主要是根據KohonenT.的工作來實現的。SOM網路是一類無導師學習網路，主要用於模式識別﹑語音識別及分類問題。它採用一種「勝者為王」的競爭學習演算法，與先前提出的感知器有很大的不同，同時它的學習訓練方式是無指導訓練，是一種自組織網路。這種學習訓練方式往往是在不知道有哪些分類類型存在時，用作提取分類信息的一種訓練。
(2)、自適應共振理論ART：1976年，美國Grossberg教授提出了著名的自適應共振理論ART(Adaptive Resonance Theory)，其學習過程具有自組織和自穩定的特徵。
(1)、Hopfield模型：1982年，美國物理學家霍普菲爾德（Hopfield）提出了一種離散神經網路，即離散Hopfield網路，從而有力地推動了神經網路的研究。在網路中，它首次將李雅普諾夫（Lyapunov）函數引入其中，後來的研究學者也將Lyapunov函數稱為能量函數。證明了網路的穩定性。1984年，Hopfield 又提出了一種連續神經網路，將網路中神經元的激活函數由離散型改為連續型。1985 年，Hopfield和Tank利用Hopfield神經網路解決了著名的旅行推銷商問題（Travelling Salesman Problem）。Hopfield神經網路是一組非線性微分方程。Hopfield的模型不僅對人工神經網路信息存儲和提取功能進行了非線性數學概括，提出了動力方程和學習方程，還對網路演算法提供了重要公式和參數，使人工神經網路的構造和學習有了理論指導，在Hopfield模型的影響下，大量學者又激發起研究神經網路的熱情，積極投身於這一學術領域中。因為Hopfield 神經網路在眾多方面具有巨大潛力，所以人們對神經網路的研究十分地重視，更多的人開始了研究神經網路，極大地推動了神經網路的發展。
(2)、Boltzmann機模型：1983年，Kirkpatrick等人認識到模擬退火演算法可用於NP完全組合優化問題的求解，這種模擬高溫物體退火過程來找尋全局最優解的方法最早由Metropli等人1953年提出的。1984年，Hinton與年輕學者Sejnowski等合作提出了大規模並行網路學習機，並明確提出隱單元的概念，這種學習機後來被稱為Boltzmann機。
Hinton和Sejnowsky利用統計物理學的感念和方法，首次提出的多層網路的學習演算法，稱為Boltzmann 機模型。
(3)、BP神經網路模型：1986年，儒默哈特（D.E.Ru melhart）等人在多層神經網路模型的基礎上，提出了多層神經網路權值修正的反向傳播學習演算法----BP演算法（Error Back-Propagation），解決了多層前向神經網路的學習問題，證明了多層神經網路具有很強的學習能力，它可以完成許多學習任務，解決許多實際問題。
(4)、並行分布處理理論：1986年，由Rumelhart和McCkekkand主編的《Parallel Distributed Processing：Exploration in the Microstructures of Cognition》，該書中，他們建立了並行分布處理理論，主要致力於認知的微觀研究，同時對具有非線性連續轉移函數的多層前饋網路的誤差反向傳播演算法即BP演算法進行了詳盡的分析，解決了長期以來沒有權值調整有效演算法的難題。可以求解感知機所不能解決的問題，回答了《Perceptrons》一書中關於神經網路局限性的問題，從實踐上證實了人工神經網路有很強的運算能力。
(5)、細胞神經網路模型：1988年，Chua和Yang提出了細胞神經網路（CNN）模型，它是一個細胞自動機特性的大規模非線性計算機模擬系統。Kosko建立了雙向聯想存儲模型（BAM），它具有非監督學習能力。
(6)、Darwinism模型：Edelman提出的Darwinism模型在90年代初產生了很大的影響，他建立了一種神經網路系統理論。
(7)、1988年，Linsker對感知機網路提出了新的自組織理論，並在Shanon資訊理論的基礎上形成了最大互信息理論，從而點燃了基於NN的信息應用理論的光芒。
(8)、1988年，Broomhead和Lowe用徑向基函數(Radialbasis function, RBF)提出分層網路的設計方法，從而將NN的設計與數值分析和線性適應濾波相掛鉤。
(9)、1991年，Haken把協同引入神經網路，在他的理論框架中，他認為，認知過程是自發的，並斷言模式識別過程即是模式形成過程。
(10)、1994年，廖曉昕關於細胞神經網路的數學理論與基礎的提出，帶來了這個領域新的進展。通過拓廣神經網路的激活函數類，給出了更一般的時滯細胞神經網路(DCNN)、Hopfield神經網路（HNN）、雙向聯想記憶網路（BAM）模型。
(11)、90年代初，Vapnik等提出了支持向量機(Supportvector machines, SVM)和VC(Vapnik-Chervonenkis)維數的概念。
經過多年的發展，已有上百種的神經網路模型被提出。
深度學習(Deep Learning,DL)由Hinton等人於2006年提出，是機器學習的一個新領域。深度學習本質上是構建含有多隱層的機器學習架構模型，通過大規模數據進行訓練，得到大量更具代表性的特徵信息。深度學習演算法打破了傳統神經網路對層數的限制，可根據設計者需要選擇網路層數。
突觸是神經元之間相互連接的介面部分，即一個神經元的神經末梢與另一個神經元的樹突相接觸的交界面，位於神經元的神經末梢尾端。突觸是軸突的終端。
大腦可視作為1000多億神經元組成的神經網路。神經元的信息傳遞和處理是一種電化學活動．樹突由於電化學作用接受外界的刺激，通過胞體內的活動體現為軸突電位，當軸突電位達到一定的值則形成神經脈沖或動作電位；再通過軸突末梢傳遞給其它的神經元．從控制論的觀點來看；這一過程可以看作一個多輸入單輸出非線性系統的動態過程。
神經元的功能特性：（1）時空整合功能；（2）神經元的動態極化性；（3）興奮與抑制狀態；（4）結構的可塑性；（5）脈沖與電位信號的轉換；（6）突觸延期和不應期；（7）學習、遺忘和疲勞。
神經網路從兩個方面模擬大腦：
(1)、神經網路獲取的知識是從外界環境中學習得來的。
(2)、內部神經元的連接強度，即突觸權值，用於儲存獲取的知識。
神經網路系統由能夠處理人類大腦不同部分之間信息傳遞的由大量神經元連接形成的拓撲結構組成，依賴於這些龐大的神經元數目和它們之間的聯系，人類的大腦能夠收到輸入的信息的刺激由分布式並行處理的神經元相互連接進行非線性映射處理，從而實現復雜的信息處理和推理任務。
對於某個處理單元（神經元）來說，假設來自其他處理單元（神經元）i的信息為Xi，它們與本處理單元的互相作用強度即連接權值為Wi, i=0,1,…,n-1,處理單元的內部閾值為θ。那麼本處理單元（神經元）的輸入為：
，而處理單元的輸出為：
式中，xi為第i個元素的輸入，wi為第i個處理單元與本處理單元的互聯權重即神經元連接權值。f稱為激活函數或作用函數，它決定節點（神經元）的輸出。θ表示隱含層神經節點的閾值。
神經網路的主要工作是建立模型和確定權值，一般有前向型和反饋型兩種網路結構。通常神經網路的學習和訓練需要一組輸入數據和輸出數據對，選擇網路模型和傳遞、訓練函數後，神經網路計算得到輸出結果，根據實際輸出和期望輸出之間的誤差進行權值的修正，在網路進行判斷的時候就只有輸入數據而沒有預期的輸出結果。神經網路一個相當重要的能力是其網路能通過它的神經元權值和閾值的不斷調整從環境中進行學習，直到網路的輸出誤差達到預期的結果，就認為網路訓練結束。
對於這樣一種多輸入、單輸出的基本單元可以進一步從生物化學、電生物學、數學等方面給出描述其功能的模型。利用大量神經元相互連接組成的人工神經網路，將顯示出人腦的若干特徵，人工神經網路也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重wij值，以適應周圍環境的要求。同一網路因學習方式及內容不同可具有不同的功能。人工神經網路是一個具有學習能力的系統，可以發展知識，以至超過設計者原有的知識水平。通常，它的學習(或訓練)方式可分為兩種，一種是有監督(supervised)或稱有導師的學習，這時利用給定的樣本標准進行分類或模仿；另一種是無監督(unsupervised)學習或稱無導師學習，這時，只規定學習方式或某些規則，而具體的學習內容隨系統所處環境(即輸入信號情況)而異，系統可以自動發現環境特徵和規律性，具有更近似於人腦的功能。
在人工神經網路設計及應用研究中，通常需要考慮三個方面的內容，即神經元激活函數、神經元之間的連接形式和網路的學習(訓練)。
Ⅲ 人工神經網路（ANN）簡述
我們從下面四點認識人工神經網路（ANN: Artificial Neutral Network）：神經元結構、神經元的激活函數、神經網路拓撲結構、神經網路選擇權值和學習演算法。
1. 神經元：
我們先來看一組對比圖就能了解是怎樣從生物神經元建模為人工神經元。
下面分別講述:
生物神經元的組成包括細胞體、樹突、軸突、突觸。樹突可以看作輸入端，接收從其他細胞傳遞過來的電信號；軸突可以看作輸出端，傳遞電荷給其他細胞；突觸可手瞎以看作I/O介面，連接神經元，單個神經元可以和上千個神經元連接。細胞體內有膜電位，從外界傳遞過來的電流使膜電位發生變化，並且不斷累加，當膜電位升高到超過一個閾值時，神經元被激活，產生一個脈沖，傳遞到下一個神經元。
為了更形象理解神經元傳遞信號過程，把一個神經元比作一個水桶。水桶下側連著多根水管（樹突），水管既可以把桶里的水排出去（抑制性），又可以將其他水桶的水輸進來（興奮性），水管的粗細不同，對桶中水的影響程度不同（權重），水管對水桶水位（膜電位）的改變就是水桶內水位的改變，當桶中水達到一定高度時，就能通過另一條管道（軸突）排出去。
按照這個原理，科學家提出了M-P模型（取自兩個提出者的姓名首字母），M-P模型是對生物神經元的建模，作為人工神經網路中的一個神經元。
由MP模型的示意圖，我們可以看到與生物神經元的相似之處，x_i表示多個輸入，W_ij表示每個輸入的權值，其正負模擬了生物神經元中突出的興奮和抑制；sigma表示將全部輸入信號進行累加整合，f為激活函數，O為輸出。下圖可以看到生物神經元和MP模型的類比：
往後誕生的各種神經元模型都是由MP模型演變過來。
2. 激活函數
激活函數可以看作濾波器，接收外界各種各樣的信號，通過調整函數，輸出期望值。ANN通常採用三類激活函數:閾值穗州函數、分段函數、雙極性連續函數（sigmoid，tanh）：
3. 學習演算法
神經網路的學習也稱為訓練，通過神經網路所在環境的刺激作用調整神經網路的自由參數（如連接權值），使神經網路以一種新的方式對外部環境做出反應的一個過程。每個神經網路都有一個激活函數y=f(x)，訓練過程就是通過給定的海量x數據和y數據，擬合出激活函數f。學習過程分為有導師學習和無導師學習，有導師學習是給定猜薯蔽期望輸出，通過對權值的調整使實際輸出逼近期望輸出；無導師學習給定表示方法質量的測量尺度，根據該尺度來優化參數。常見的有Hebb學習、糾錯學習、基於記憶學習、隨機學習、競爭學習。
4. 神經網路拓撲結構
常見的拓撲結構有單層前向網路、多層前向網路、反饋網路，隨機神經網路、競爭神經網路。
5. 神經網路的發展
（不能貼公式不好解釋啊 -_-!）sigma是誤差信號，yita是學習率，net是輸入之和，V是輸入層到隱含層的權重矩陣，W是隱含層到輸出層的權重矩陣。
之後還有幾種
隨著計算機硬體計算能力越來越強，用來訓練的數據越來越多，神經網路變得越來越復雜。在人工智慧領域常聽到DNN（深度神經網路）、CNN（卷積神經網路）、RNN（遞歸神經網路）。其中，DNN是總稱，指層數非常多的網路，通常有二十幾層，具體可以是CNN或RNN等網路結構。
參考資料 ：