A. 循環神經網路（RNN）淺析
RNN是兩種神經網路模型的縮寫，一種是遞歸神經網路（Recursive Neural Network），一種是循環神經網路（Recurrent Neural Network）。雖然這兩種神經網路有著千絲萬縷的聯系，但是本文主要討論的是第二種神經網路模型——循環神經網路（Recurrent Neural Network）。
循環神經網路是指一個隨著時間的推移，重復發生的結構。在自然語言處理（NLP），語音圖像等多個領域均有非常廣泛的應用。RNN網路和其他網路最大的不同就在於RNN能夠實現某種「記憶功能」，是進行時間序列分析時最好的選擇。如同人類能夠憑借自己過往的記憶更好地認識這個世界一樣。RNN也實現了類似於人腦的這一機制，對所處理過的信息留存有一定的記憶，而不像其他類型的神經網路並不能對處理過的信息留存記憶。
循環神經網路的原理並不十分復雜，本節主要從原理上分析RNN的結構和功能，不涉及RNN的數學推導和證明，整個網路只有簡單的輸入輸出和網路狀態參數。一個典型的RNN神經網路如圖所示：
由上圖可以看出：一個典型的RNN網路包含一個輸入x，一個輸出h和一個神經網路單元A。和普通的神經網路不同的是，RNN網路的神經網路單元A不僅僅與輸入和輸出存在聯系，其與自身也存在一個迴路。這種網路結構就揭示了RNN的實質：上一個時刻的網路狀態信息將會作用於下一個時刻的網路狀態。如果上圖的網路結構仍不夠清晰，RNN網路還能夠以時間序列展開成如下形式：
等號右邊是RNN的展開形式。由於RNN一般用來處理序列信息，因此下文說明時都以時間序列來舉例，解釋。等號右邊的等價RNN網路中最初始的輸入是x0，輸出是h0，這代表著0時刻RNN網路的輸入為x0，輸出為h0，網路神經元在0時刻的狀態保存在A中。當下一個時刻1到來時，此時網路神經元的狀態不僅僅由1時刻的輸入x1決定，也由0時刻的神經元狀態決定。以後的情況都以此類推，直到時間序列的末尾t時刻。
上面的過程可以用一個簡單的例子來論證：假設現在有一句話「I want to play basketball」，由於自然語言本身就是一個時間序列，較早的語言會與較後的語言存在某種聯系，例如剛才的句子中「play」這個動詞意味著後面一定會有一個名詞，而這個名詞具體是什麼可能需要更遙遠的語境來決定，因此一句話也可以作為RNN的輸入。回到剛才的那句話，這句話中的5個單詞是以時序出現的，我們現在將這五個單詞編碼後依次輸入到RNN中。首先是單詞「I」，它作為時序上第一個出現的單詞被用作x0輸入，擁有一個h0輸出，並且改變了初始神經元A的狀態。單詞「want」作為時序上第二個出現的單詞作為x1輸入，這時RNN的輸出和神經元狀態將不僅僅由x1決定，也將由上一時刻的神經元狀態或者說上一時刻的輸入x0決定。之後的情況以此類推，直到上述句子輸入到最後一個單詞「basketball」。
接下來我們需要關注RNN的神經元結構：
上圖依然是一個RNN神經網路的時序展開模型，中間t時刻的網路模型揭示了RNN的結構。可以看到，原始的RNN網路的內部結構非常簡單。神經元A在t時刻的狀態僅僅是t-1時刻神經元狀態與t時刻網路輸入的雙曲正切函數的值，這個值不僅僅作為該時刻網路的輸出，也作為該時刻網路的狀態被傳入到下一個時刻的網路狀態中，這個過程叫做RNN的正向傳播（forward propagation）。註：雙曲正切函數的解析式如下：
雙曲正切函數的求導如下：
雙曲正切函數的圖像如下所示：
這里就帶來一個問題：為什麼RNN網路的激活函數要選用雙曲正切而不是sigmod呢？（RNN的激活函數除了雙曲正切，RELU函數也用的非常多）原因在於RNN網路在求解時涉及時間序列上的大量求導運算，使用sigmod函數容易出現梯度消失，且sigmod的導數形式較為復雜。事實上，即使使用雙曲正切函數，傳統的RNN網路依然存在梯度消失問題，無法「記憶」長時間序列上的信息，這個bug直到LSTM上引入了單元狀態後才算較好地解決。
這一節主要介紹與RNN相關的數學推導，由於RNN是一個時序模型，因此其求解過程可能和一般的神經網路不太相同。首先需要介紹一下RNN完整的結構圖，上一節給出的RNN結構圖省去了很多內部參數，僅僅作為一個概念模型給出。
上圖表明了RNN網路的完整拓撲結構，從圖中我們可以看到RNN網路中的參數情況。在這里我們只分析t時刻網路的行為與數學推導。t時刻網路迎來一個輸入xt，網路此時刻的神經元狀態st用如下式子表達：
t時刻的網路狀態st不僅僅要輸入到下一個時刻t+1的網路狀態中去，還要作為該時刻的網路輸出。當然，st不能直接輸出，在輸出之前還要再乘上一個系數V，而且為了誤差逆傳播時的方便通常還要對輸出進行歸一化處理，也就是對輸出進行softmax化。因此，t時刻網路的輸出ot表達為如下形式：
為了表達方便，筆者將上述兩個公式做如下變換：
以上，就是RNN網路的數學表達了，接下來我們需要求解這個模型。在論述具體解法之前首先需要明確兩個問題：優化目標函數是什麼？待優化的量是什麼？
只有在明確了這兩個問題之後才能對模型進行具體的推導和求解。關於第一個問題，筆者選取模型的損失函數作為優化目標；關於第二個問題，我們從RNN的結構圖中不難發現：只要我們得到了模型的U，V，W這三個參數就能完全確定模型的狀態。因此該優化問題的優化變數就是RNN的這三個參數。順便說一句，RNN模型的U，V，W三個參數是全局共享的，也就是說不同時刻的模型參數是完全一致的，這個特性使RNN得參數變得稍微少了一些。
不做過多的討論，RNN的損失函數選用交叉熵（Cross Entropy），這是機器學習中使用最廣泛的損失函數之一了，其通常的表達式如下所示：
上面式子是交叉熵的標量形式，y_i是真實的標簽值，y_i*是模型給出的預測值，最外面之所以有一個累加符號是因為模型輸出的一般都是一個多維的向量，只有把n維損失都加和才能得到真實的損失值。交叉熵在應用於RNN時需要做一些改變：首先，RNN的輸出是向量形式，沒有必要將所有維度都加在一起，直接把損失值用向量表達就可以了；其次，由於RNN模型處理的是序列問題，因此其模型損失不能只是一個時刻的損失，應該包含全部N個時刻的損失。
故RNN模型在t時刻的損失函數寫成如下形式：
全部N個時刻的損失函數（全局損失）表達為如下形式：
需要說明的是：yt是t時刻輸入的真實標簽值，ot為模型的預測值，N代表全部N個時刻。下文中為了書寫方便，將Loss簡記為L。在結束本小節之前，最後補充一個softmax函數的求導公式：
由於RNN模型與時間序列有關，因此不能直接使用BP（back propagation）演算法。針對RNN問題的特殊情況，提出了BPTT演算法。BPTT的全稱是「隨時間變化的反向傳播演算法」（back propagation through time）。這個方法的基礎仍然是常規的鏈式求導法則，接下來開始具體推導。雖然RNN的全局損失是與全部N個時刻有關的，但為了簡單筆者在推導時只關注t時刻的損失函數。
首先求出t時刻下損失函數關於o_t*的微分：
求出損失函數關於參數V的微分：
因此，全局損失關於參數V的微分為：
求出t時刻的損失函數關於關於st*的微分：
求出t時刻的損失函數關於s_t-1*的微分：
求出t時刻損失函數關於參數U的偏微分。注意：由於是時間序列模型，因此t時刻關於U的微分與前t-1個時刻都有關，在具體計算時可以限定最遠回溯到前n個時刻，但在推導時需要將前t-1個時刻全部帶入：
因此，全局損失關於U的偏微分為：
求t時刻損失函數關於參數W的偏微分，和上面相同的道理，在這里仍然要計算全部前t-1時刻的情況：
因此，全局損失關於參數W的微分結果為：
至此，全局損失函數關於三個主要參數的微分都已經得到了。整理如下：
接下來進一步化簡上述微分表達式，化簡的主要方向為t時刻的損失函數關於ot的微分以及關於st*的微分。已知t時刻損失函數的表達式，求關於ot的微分：
softmax函數求導：
因此：
又因為：
且：
有了上面的數學推導，我們可以得到全局損失關於U，V，W三個參數的梯度公式：
由於參數U和W的微分公式不僅僅與t時刻有關，還與前面的t-1個時刻都有關，因此無法寫出直接的計算公式。不過上面已經給出了t時刻的損失函數關於s_t-1的微分遞推公式，想來求解這個式子也是十分簡單的，在這里就不贅述了。
以上就是關於BPTT演算法的全部數學推導。從最終結果可以看出三個公式的偏微分結果非常簡單，在具體的優化過程中可以直接帶入進行計算。對於這種優化問題來說，最常用的方法就是梯度下降法。針對本文涉及的RNN問題，可以構造出三個參數的梯度更新公式：
依靠上述梯度更新公式就能夠迭代求解三個參數，直到三個參數的值發生收斂。
這是筆者第一次嘗試推導RNN的數學模型，在推導過程中遇到了非常多的bug。非常感謝互聯網上的一些公開資料和博客，給了我非常大的幫助和指引。接下來筆者將嘗試實現一個單隱層的RNN模型用於實現一個語義預測模型。
B. 一文看懂四種基本的神經網路架構
原文鏈接：
http://blackblog.tech/2018/02/23/Eight-Neural-Network/
更多干貨就在我的個人博客 http://blackblog.tech 歡迎關注
剛剛入門神經網路，往往會對眾多的神經網路架構感到困惑，神經網路看起來復雜多樣，但是這么多架構無非也就是三類，前饋神經網路，循環網路，對稱連接網路，本文將介紹四種常見的神經網路，分別是CNN，RNN，DBN，GAN。通過這四種基本的神經網路架構，我們來對神經網路進行一定的了解。
神經網路是機器學習中的一種模型，是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
一般來說，神經網路的架構可以分為三類：
前饋神經網路：
這是實際應用中最常見的神經網路類型。第一層是輸入，最後一層是輸出。如果有多個隱藏層，我們稱之為「深度」神經網路。他們計算出一系列改變樣本相似性的變換。各層神經元的活動是前一層活動的非線性函數。
循環網路：
循環網路在他們的連接圖中定向了循環，這意味著你可以按照箭頭回到你開始的地方。他們可以有復雜的動態，使其很難訓練。他們更具有生物真實性。
循環網路的目的使用來處理序列數據。在傳統的神經網路模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網路對於很多問題卻無能無力。例如，你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。
循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。
對稱連接網路：
對稱連接網路有點像循環網路，但是單元之間的連接是對稱的（它們在兩個方向上權重相同）。比起循環網路，對稱連接網路更容易分析。這個網路中有更多的限制，因為它們遵守能量函數定律。沒有隱藏單元的對稱連接網路被稱為「Hopfield 網路」。有隱藏單元的對稱連接的網路被稱為玻爾茲曼機。
其實之前的帖子講過一些關於感知機的內容，這里再復述一下。
首先還是這張圖
這是一個M-P神經元
一個神經元有n個輸入，每一個輸入對應一個權值w，神經元內會對輸入與權重做乘法後求和，求和的結果與偏置做差，最終將結果放入激活函數中，由激活函數給出最後的輸出，輸出往往是二進制的，0 狀態代表抑制，1 狀態代表激活。
可以把感知機看作是 n 維實例空間中的超平面決策面，對於超平面一側的樣本，感知器輸出 1，對於另一側的實例輸出 0，這個決策超平面方程是 w⋅x=0。 那些可以被某一個超平面分割的正反樣例集合稱為線性可分(linearly separable)樣例集合，它們就可以使用圖中的感知機表示。
與、或、非問題都是線性可分的問題，使用一個有兩輸入的感知機能容易地表示，而異或並不是一個線性可分的問題，所以使用單層感知機是不行的，這時候就要使用多層感知機來解決疑惑問題了。
如果我們要訓練一個感知機，應該怎麼辦呢？
我們會從隨機的權值開始，反復地應用這個感知機到每個訓練樣例，只要它誤分類樣例就修改感知機的權值。重復這個過程，直到感知機正確分類所有的樣例。每一步根據感知機訓練法則來修改權值，也就是修改與輸入 xi 對應的權 wi，法則如下：
這里 t 是當前訓練樣例的目標輸出，o 是感知機的輸出，η 是一個正的常數稱為學習速率。學習速率的作用是緩和每一步調整權的程度，它通常被設為一個小的數值（例如 0.1），而且有時會使其隨著權調整次數的增加而衰減。
多層感知機，或者說是多層神經網路無非就是在輸入層與輸出層之間加了多個隱藏層而已，後續的CNN，DBN等神經網路只不過是將重新設計了每一層的類型。感知機可以說是神經網路的基礎，後續更為復雜的神經網路都離不開最簡單的感知機的模型，
談到機器學習，我們往往還會跟上一個詞語，叫做模式識別，但是真實環境中的模式識別往往會出現各種問題。比如：
圖像分割：真實場景中總是摻雜著其它物體。很難判斷哪些部分屬於同一個對象。對象的某些部分可以隱藏在其他對象的後面。
物體光照：像素的強度被光照強烈影響。
圖像變形：物體可以以各種非仿射方式變形。例如，手寫也可以有一個大的圓圈或只是一個尖頭。
情景支持：物體所屬類別通常由它們的使用方式來定義。例如，椅子是為了讓人們坐在上面而設計的，因此它們具有各種各樣的物理形狀。
卷積神經網路與普通神經網路的區別在於，卷積神經網路包含了一個由卷積層和子采樣層構成的特徵抽取器。在卷積神經網路的卷積層中，一個神經元只與部分鄰層神經元連接。在CNN的一個卷積層中，通常包含若干個特徵平面(featureMap)，每個特徵平面由一些矩形排列的的神經元組成，同一特徵平面的神經元共享權值，這里共享的權值就是卷積核。卷積核一般以隨機小數矩陣的形式初始化，在網路的訓練過程中卷積核將學習得到合理的權值。共享權值（卷積核）帶來的直接好處是減少網路各層之間的連接，同時又降低了過擬合的風險。子采樣也叫做池化（pooling），通常有均值子采樣（mean pooling）和最大值子采樣（max pooling）兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡化了模型復雜度，減少了模型的參數。
卷積神經網路由三部分構成。第一部分是輸入層。第二部分由n個卷積層和池化層的組合組成。第三部分由一個全連結的多層感知機分類器構成。
這里舉AlexNet為例：
·輸入：224×224大小的圖片，3通道
·第一層卷積：11×11大小的卷積核96個，每個GPU上48個。
·第一層max-pooling：2×2的核。
·第二層卷積：5×5卷積核256個，每個GPU上128個。
·第二層max-pooling：2×2的核。
·第三層卷積：與上一層是全連接，3*3的卷積核384個。分到兩個GPU上個192個。
·第四層卷積：3×3的卷積核384個，兩個GPU各192個。該層與上一層連接沒有經過pooling層。
·第五層卷積：3×3的卷積核256個，兩個GPU上個128個。
·第五層max-pooling：2×2的核。
·第一層全連接：4096維，將第五層max-pooling的輸出連接成為一個一維向量，作為該層的輸入。
·第二層全連接：4096維
·Softmax層：輸出為1000，輸出的每一維都是圖片屬於該類別的概率。
卷積神經網路在模式識別領域有著重要應用，當然這里只是對卷積神經網路做了最簡單的講解，卷積神經網路中仍然有很多知識，比如局部感受野，權值共享，多卷積核等內容，後續有機會再進行講解。
傳統的神經網路對於很多問題難以處理，比如你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。RNN之所以稱為循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。理論上，RNN能夠對任何長度的序列數據進行處理。
這是一個簡單的RNN的結構，可以看到隱藏層自己是可以跟自己進行連接的。
那麼RNN為什麼隱藏層能夠看到上一刻的隱藏層的輸出呢，其實我們把這個網路展開來開就很清晰了。
從上面的公式我們可以看出，循環層和全連接層的區別就是循環層多了一個權重矩陣 W。
如果反復把式2帶入到式1，我們將得到：
在講DBN之前，我們需要對DBN的基本組成單位有一定的了解，那就是RBM，受限玻爾茲曼機。
首先什麼是玻爾茲曼機？
[圖片上傳失敗...(image-d36b31-1519636788074)]
如圖所示為一個玻爾茲曼機，其藍色節點為隱層，白色節點為輸入層。
玻爾茲曼機和遞歸神經網路相比，區別體現在以下幾點：
1、遞歸神經網路本質是學習一個函數，因此有輸入和輸出層的概念，而玻爾茲曼機的用處在於學習一組數據的「內在表示」，因此其沒有輸出層的概念。
2、遞歸神經網路各節點鏈接為有向環，而玻爾茲曼機各節點連接成無向完全圖。
而受限玻爾茲曼機是什麼呢？
最簡單的來說就是加入了限制，這個限制就是將完全圖變成了二分圖。即由一個顯層和一個隱層構成，顯層與隱層的神經元之間為雙向全連接。
h表示隱藏層，v表示顯層
在RBM中，任意兩個相連的神經元之間有一個權值w表示其連接強度，每個神經元自身有一個偏置系數b（對顯層神經元）和c（對隱層神經元）來表示其自身權重。
具體的公式推導在這里就不展示了
DBN是一個概率生成模型，與傳統的判別模型的神經網路相對，生成模型是建立一個觀察數據和標簽之間的聯合分布，對P(Observation|Label)和 P(Label|Observation)都做了評估，而判別模型僅僅而已評估了後者，也就是P(Label|Observation)。
DBN由多個限制玻爾茲曼機（Restricted Boltzmann Machines）層組成，一個典型的神經網路類型如圖所示。這些網路被「限制」為一個可視層和一個隱層，層間存在連接，但層內的單元間不存在連接。隱層單元被訓練去捕捉在可視層表現出來的高階數據的相關性。
生成對抗網路其實在之前的帖子中做過講解，這里在說明一下。
生成對抗網路的目標在於生成，我們傳統的網路結構往往都是判別模型，即判斷一個樣本的真實性。而生成模型能夠根據所提供的樣本生成類似的新樣本，注意這些樣本是由計算機學習而來的。
GAN一般由兩個網路組成，生成模型網路，判別模型網路。
生成模型 G 捕捉樣本數據的分布，用服從某一分布（均勻分布，高斯分布等）的雜訊 z 生成一個類似真實訓練數據的樣本，追求效果是越像真實樣本越好；判別模型 D 是一個二分類器，估計一個樣本來自於訓練數據（而非生成數據）的概率，如果樣本來自於真實的訓練數據，D 輸出大概率，否則，D 輸出小概率。
舉個例子：生成網路 G 好比假幣製造團伙，專門製造假幣，判別網路 D 好比警察，專門檢測使用的貨幣是真幣還是假幣，G 的目標是想方設法生成和真幣一樣的貨幣，使得 D 判別不出來，D 的目標是想方設法檢測出來 G 生成的假幣。
傳統的判別網路：
生成對抗網路：
下面展示一個cDCGAN的例子（前面帖子中寫過的）
生成網路
判別網路
最終結果，使用MNIST作為初始樣本，通過學習後生成的數字，可以看到學習的效果還是不錯的。
本文非常簡單的介紹了四種神經網路的架構，CNN，RNN，DBN，GAN。當然也僅僅是簡單的介紹，並沒有深層次講解其內涵。這四種神經網路的架構十分常見，應用也十分廣泛。當然關於神經網路的知識，不可能幾篇帖子就講解完，這里知識講解一些基礎知識，幫助大家快速入（zhuang）門（bi）。後面的帖子將對深度自動編碼器，Hopfield 網路長短期記憶網路（LSTM）進行講解。
C. 人工智慧CNN卷積神經網路如何共享權值
首先權值共享就是濾波器共享，濾波器的參數是固定的，即是用相同的濾波器去掃一遍圖像，提取一次特徵特徵，得到feature map。在卷積網路中，學好了一個濾波器，就相當於掌握了一種特徵，這個濾波器在圖像中滑動，進行特徵提取，然後所有進行這樣操作的區域都會被採集到這種特徵，就好比上面的水平線。
D. 如何理解人工智慧神經網路中的權值共享問題
權值(權重)共享這個詞是由LeNet5模型提出來的。以CNN為例，在對一張圖偏進行卷積的過程中，使用的是同一個卷積核的參數。比如一個3×3×1的卷積核，這個卷積核內9個的參數被整張圖共享，而不會因為圖像內位置的不同而改變卷積核內的權系數。說的再直白一些，就是用一個卷積核不改變其內權系數的情況下卷積處理整張圖片(當然CNN中每一層不會只有一個卷積核的，這樣說只是為了方便解釋而已)。
E. 循環神經網路
花書中關於RNN的內容記錄於 https://www.jianshu.com/p/206090600f13 。
在前饋神經網路中，信息的傳遞是單向的，這種限制雖然使得網路變得更容易學習，但在一定程度上也減弱了神經網路模型的能力。在生物神經網路中，神經元之間的連接關系要復雜的多。 前饋神經網路可以看作是一個復雜的函數，每次輸入都是獨立的，即網路的輸出只依賴於當前的輸入。但是在很多現實任務中，網路的輸入不僅和當前時刻的輸入相關，也和其過去一段時間的輸出相關 。因此，前饋網路難以處理時序數據，比如視頻、語音、文本等。時序數據的長度一般是不固定的，而前饋神經網路要求輸入和輸出的維數都是固定的，不能任意改變。因此，當處理這一類和時序相關的問題時，就需要一種能力更強的模型。
循環神經網路（Recurrent Neural Network，RNN）是一類具有短期記憶能力的神經網路。在循環神經網路中，神經元不但可以接受其它神經元的信息，也可以接受自身的信息，形成具有環路的網路結構。 和前饋神經網路相比，循環神經網路更加符合生物神經網路的結構。循環神經網路已經被廣泛應用在語音識別、語言模型以及自然語言生成等任務上。循環神經網路的參數學習可以通過 隨時間反向傳播演算法 來學習。
為了處理這些時序數據並利用其歷史信息，我們需要讓網路具有短期記憶能力。而前饋網路是一個靜態網路，不具備這種記憶能力。
一種簡單的利用歷史信息的方法是建立一個額外的延時單元，用來存儲網路的歷史信息（可以包括輸入、輸出、隱狀態等）。比較有代表性的模型是延時神經網路。
延時神經網路是在前饋網路中的非輸出層都添加一個延時器，記錄最近幾次神經元的輸出。在第 個時刻，第 層神經元和第 層神經元的最近 次輸出相關，即：
延時神經網路在時間維度上共享權值，以降低參數數量。因此對於序列輸入來講，延時神經網路就相當於卷積神經網路 。
自回歸模型（Autoregressive Model，AR） 是統計學上常用的一類時間序列模型，用一個變數 的歷史信息來預測自己：
其中 為超參數， 為參數， 為第 個時刻的雜訊，方差 和時間無關。
有外部輸入的非線性自回歸模型（Nonlinear Autoregressive with ExogenousInputs Model，NARX） 是自回歸模型的擴展，在每個時刻 都有一個外部輸入 ，產生一個輸出 。NARX通過一個延時器記錄最近幾次的外部輸入和輸出，第 個時刻的輸出 為：
其中 表示非線性函數，可以是一個前饋網路， 和 為超參數。
循環神經網路通過使用帶自反饋的神經元，能夠處理任意長度的時序數據。
給定一個輸入序列 ，循環神經網路通過下面
公式更新帶反饋邊的隱藏層的活性值 ：
其中 ， 為一個非線性函數，也可以是一個前饋網路。
從數學上講，上式可以看成一個動力系統。動力系統（Dynamical System）是一個數學上的概念，指 系統狀態按照一定的規律隨時間變化的系統 。具體地講，動力系統是使用一個函數來描述一個給定空間（如某個物理系統的狀態空間）中所有點隨時間的變化情況。因此， 隱藏層的活性值 在很多文獻上也稱為狀態（State）或隱狀態（Hidden States） 。理論上，循環神經網路可以近似任意的非線性動力系統。
簡單循環網路（Simple Recurrent Network，SRN）是一個非常簡單的循環神經網路，只有一個隱藏層的神經網路。
在一個兩層的前饋神經網路中，連接存在相鄰的層與層之間，隱藏層的節點之間是無連接的。而 簡單循環網路增加了從隱藏層到隱藏層的反饋連接 。
假設在時刻 時，網路的輸入為 ，隱藏層狀態（即隱藏層神經元活性值） 不僅和當前時刻的輸入 相關，也和上一個時刻的隱藏層狀態 相關：
其中 為隱藏層的凈輸入， 是非線性激活函數，通常為Logistic函數或Tanh函數， 為狀態-狀態權重矩陣， 為狀態-輸入權重矩陣， 為偏置。上面兩式也經常直接寫為：
如果我們把每個時刻的狀態都看作是前饋神經網路的一層的話，循環神經網路可以看作是在時間維度上權值共享的神經網路 。下圖給出了按時間展開的循環神經網路。
由於循環神經網路具有短期記憶能力，相當於存儲裝置，因此其計算能力十分強大。 前饋神經網路可以模擬任何連續函數，而循環神經網路可以模擬任何程序。
定義一個完全連接的循環神經網路，其輸入為 ，輸出為 ：
其中 為隱狀態， 為非線性激活函數， 和 為網路參數。
這樣一個完全連接的循環神經網路可以近似解決所有的可計算問題 。
循環神經網路可以應用到很多不同類型的機器學習任務。根據這些任務的特點可以分為以下幾種模式： 序列到類別模式、同步的序列到序列模式、非同步的序列到序列模式 。
序列到類別模式主要用於序列數據的分類問題：輸入為序列，輸出為類別。比如在文本分類中，輸入數據為單詞的序列，輸出為該文本的類別。
假設一個樣本 為一個長度為 的序列，輸出為一個類別 。我們可以將樣本 按不同時刻輸入到循環神經網路中，並得到不同時刻的隱藏狀態 。我們可以將 看作整個序列的最終表示（或特徵），並輸入給分類器 進行分類：
其中 可以是簡單的線性分類器（比如Logistic 回歸）或復雜的分類器（比如多層前饋神經網路）
除了將最後時刻的狀態作為序列表示之外，我們還可以對整個序列的所有狀態進行平均，並用這個平均狀態來作為整個序列的表示：
同步的序列到序列模式 主要用於序列標注（Sequence Labeling）任務，即每一時刻都有輸入和輸出，輸入序列和輸出序列的長度相同 。比如詞性標注（Partof-Speech Tagging）中，每一個單詞都需要標注其對應的詞性標簽。
輸入為序列 ，輸出為序列 。樣本 按不同時刻輸入到循環神經網路中，並得到不同時刻的隱狀態 。每個時刻的隱狀態 代表當前和歷史的信息，並輸入給分類器 得到當前時刻的標簽 。
非同步的序列到序列模式也稱為 編碼器-解碼器（Encoder-Decoder）模型，即輸入序列和輸出序列不需要有嚴格的對應關系，也不需要保持相同的長度。 比如在機器翻譯中，輸入為源語言的單詞序列，輸出為目標語言的單詞序列。
在非同步的序列到序列模式中，輸入為長度為 的序列 ，輸出為長度為 的序列 。經常通過 先編碼後解碼 的方式來實現。先將樣本 按不同時刻輸入到一個循環神經網路（編碼器）中，並得到其編碼 。然後再使用另一個循環神經網路（解碼器）中，得到輸出序列 。為了建立輸出序列之間的依賴關系，在解碼器中通常使用非線性的自回歸模型。
其中 分別為用作編碼器和解碼器的循環神經網路， 為分類器， 為預測輸出 的向量表示。
循環神經網路的參數可以通過梯度下降方法來進行學習。給定一個訓練樣本 ，其中 為長度是 的輸入序列， 是長度為 的標簽序列。即在每個時刻 ，都有一個監督信息 ，我們定義時刻 的損失函數為：
其中 為第 時刻的輸出， 為可微分的損失函數，比如交叉熵。那麼整個序列上損失函數為：
整個序列的損失函數 關於參數 的梯度為：
即每個時刻損失 對參數 的偏導數之和。
循環神經網路中存在一個遞歸調用的函數 ，因此其計算參數梯度的方式和前饋神經網路不太相同。在循環神經網路中主要有兩種計算梯度的方式： 隨時間反向傳播（BPTT）和實時循環學習（RTRL）演算法。
隨時間反向傳播（Backpropagation Through Time，BPTT） 演算法的主要思想是通過類似前饋神經網路的錯誤反向傳播演算法來進行計算梯度。
BPTT演算法將循環神經網路看作是一個展開的多層前饋網路，其中「每一層」對應循環網路中的「每個時刻」。在「展開」的前饋網路中，所有層的參數是共享的，因此參數的真實梯度是將所有「展開層」的參數梯度之和 。
因為參數 和隱藏層在每個時刻 的凈輸入 有關，因此第 時刻的損失函數 關於參數 的梯度為：
其中 表示「直接」偏導數，即公式 中保持 不變，對 求偏導數，得到：
其中 為第 時刻隱狀態的第 維； 除了第 個值為 外，其餘都為 的行向量。
定義誤差項 為第 時刻的損失對第 時刻隱藏神經層的凈輸入 的導數，則：
從而：
寫成矩陣形式為：
由此得到整個序列的損失函數 關於參數 的梯度：
同理可得， 關於權重 和偏置 的梯度為：
在BPTT演算法中，參數的梯度需要在一個完整的「前向」計算和「反向」計算後才能得到並進行參數更新。如下圖所示。
與反向傳播的BPTT演算法不同的是，實時循環學習（Real-Time Recurrent Learning）是通過前向傳播的方式來計算梯度。
假設循環神經網路中第 時刻的狀態 為：
其關於參數 的偏導數為：
RTRL演算法從第1 個時刻開始，除了計算循環神經網路的隱狀態之外，還依次前向計算偏導數 。
兩種學習演算法比較：
RTRL演算法和BPTT演算法都是基於梯度下降的演算法，分別通過前向模式和反向模式應用鏈式法則來計算梯度。 在循環神經網路中，一般網路輸出維度遠低於輸入維度，因此BPTT演算法的計算量會更小，但BPTT演算法需要保存所有時刻的中間梯度，空間復雜度較高。RTRL演算法不需要梯度回傳，因此非常適合於需要在線學習或無限序列的任務中 。
循環神經網路在學習過程中的主要問題是由於 梯度消失或爆炸問題 ，很難建模長時間間隔（Long Range）的狀態之間的依賴關系。
在BPTT演算法中，我們有：
如果定義 ，則：
若 ，當 時， ，會造成系統不穩定，稱為梯度爆炸問題；相反，若 ，當 時， ，會出現和深度前饋神經網路類似的梯度消失問題。
雖然簡單循環網路理論上可以建立長時間間隔的狀態之間的依賴關系，但是由於梯度爆炸或消失問題，實際上只能學習到短期的依賴關系。這樣，如果t時刻的輸出 依賴於 時刻的輸入 ，當間隔 比較大時，簡單神經網路很難建模這種長距離的依賴關系，稱為 長程依賴問題（Long-Term dependencies Problem） 。
一般而言，循環網路的梯度爆炸問題比較容易解決，一般 通過權重衰減或梯度截斷來避免。 權重衰減是通過給參數增加 或 范數的正則化項來限制參數的取值范圍，從而使得 。梯度截斷是另一種有效的啟發式方法，當梯度的模大於一定閾值時，就將它截斷成為一個較小的數。
梯度消失是循環網路的主要問題。除了使用一些優化技巧外，更有效的方式就是改變模型，比如讓 ，同時使用 ，即：
其中 是一個非線性函數， 為參數。
上式中， 和 之間為線性依賴關系，且權重系數為1，這樣就不存在梯度爆炸或消失問題。但是，這種改變也丟失了神經元在反饋邊上的非線性激活的性質，因此也降低了模型的表示能力。
為了避免這個缺點，我們可以採用一種更加有效的改進策略：
這樣 和 之間為既有線性關系，也有非線性關系，並且可以緩解梯度消失問題。但這種改進依然存在兩個問題：
為了解決這兩個問題，可以通過引入 門控機制 來進一步改進模型。
為了改善循環神經網路的長程依賴問題，一種非常好的解決方案是引入門控機制來控制信息的累積速度，包括 有選擇地加入新的信息，並有選擇地遺忘之前累積的信息 。這一類網路可以稱為基於門控的循環神經網路（Gated RNN）。本節中，主要介紹兩種基於門控的循環神經網路： 長短期記憶網路和門控循環單元網路。
長短期記憶（Long Short-Term Memory，LSTM）網路 是循環神經網路的一個變體，可以有效地解決簡單循環神經網路的梯度爆炸或消失問題。
在 基礎上，LSTM網路主要改進在以下兩個方面：
其中 和 三個門（gate）來控制信息傳遞的路徑； 為向量元素乘積； 為上一時刻的記憶單元； 是通過非線性函數得到的候選狀態：
在每個時刻 ，LSTM網路的內部狀態 記錄了到當前時刻為止的歷史信息。
在數字電路中，門（Gate）為一個二值變數{0, 1}，0代表關閉狀態，不許任何信息通過；1代表開放狀態，允許所有信息通過。LSTM網路中的「門」是一種「軟」門，取值在(0, 1) 之間，表示 以一定的比例運行信息通過 。LSTM網路中三個門的作用為：
（1）遺忘門 控制上一個時刻的內部狀態 需要遺忘多少信息。
（2）輸入門 控制當前時刻的候選狀態 有多少信息需要保存。
（3）輸出門
F. 如何理解卷積神經網路中的權值共享
所謂的權值共享就是說，給一張輸入圖片，用一個filter去掃這張圖，filter裡面的數就叫權重，這張圖每個位置是被同樣的filter掃的，所以權重是一樣的，也就是共享。 這么說可能還不太明白，如果你能理解什麼叫全連接神經網路的話，那麼從一個盡量減少參數個數的角度去理解就可以了。 對於一張輸入圖片，大小為W*H，如果使用全連接網路，生成一張X*Y的feature map，需要W*H*X*Y個參數，如果原圖長寬是10^2級別的，而且XY大小和WH差不多的話，那麼這樣一層網路需要的參數個數是10^8~10^12級別。 這么多參數肯定是不行的，那麼我們就想辦法減少參數的個數對於輸出層feature map上的每一個像素，他與原圖片的每一個像素都有連接，每一個鏈接都需要一個參數。但注意到圖像一般都是局部相關的，那麼如果輸出層的每一個像素只和輸入層圖片的一個局部相連，那麼需要參數的個數就會大大減少。假設輸出層每個像素只與輸入圖片上F*F的一個小方塊有連接，也就是說輸出層的這個像素值，只是通過原圖的這個F*F的小方形中的像素值計算而來，那麼對於輸出層的每個像素，需要的參數個數就從原來的W*H減小到了F*F。如果對於原圖片的每一個F*F的方框都需要計算這樣一個輸出值，那麼需要的參數只是W*H*F*F，如果原圖長寬是10^2級別，而F在10以內的話，那麼需要的參數的個數只有10^5~10^6級別，相比於原來的10^8~10^12小了很多很多。
G. 神經網路：卷積神經網路（CNN）
神經網路 最早是由心理學家和神經學家提出的，旨在尋求開發和測試神經的計算模擬。
粗略地說， 神經網路 是一組連接的 輸入/輸出單元 ，其中每個連接都與一個 權 相關聯。在學習階段，通過調整權值，使得神經網路的預測准確性逐步提高。由於單元之間的連接，神經網路學習又稱 連接者學習。
神經網路是以模擬人腦神經元的數學模型為基礎而建立的，它由一系列神經元組成，單元之間彼此連接。從信息處理角度看，神經元可以看作是一個多輸入單輸出的信息處理單元，根據神經元的特性和功能，可以把神經元抽象成一個簡單的數學模型。
神經網路有三個要素： 拓撲結構、連接方式、學習規則
神經網路的拓撲結構 ：神經網路的單元通常按照層次排列，根據網路的層次數，可以將神經網路分為單層神經網路、兩層神經網路、三層神經網路等。結構簡單的神經網路，在學習時收斂的速度快，但准確度低。
神經網路的層數和每層的單元數由問題的復雜程度而定。問題越復雜，神經網路的層數就越多。例如，兩層神經網路常用來解決線性問題，而多層網路就可以解決多元非線性問題
神經網路的連接 ：包括層次之間的連接和每一層內部的連接，連接的強度用權來表示。
根據層次之間的連接方式，分為：
1）前饋式網路：連接是單向的，上層單元的輸出是下層單元的輸入，如反向傳播網路，Kohonen網路
2）反饋式網路：除了單項的連接外，還把最後一層單元的輸出作為第一層單元的輸入，如Hopfield網路
根據連接的范圍，分為：
1）全連接神經網路：每個單元和相鄰層上的所有單元相連
2）局部連接網路：每個單元只和相鄰層上的部分單元相連
神經網路的學習
根據學習方法分：
感知器：有監督的學習方法，訓練樣本的類別是已知的，並在學習的過程中指導模型的訓練
認知器：無監督的學習方法，訓練樣本類別未知，各單元通過競爭學習。
根據學習時間分：
離線網路：學習過程和使用過程是獨立的
在線網路：學習過程和使用過程是同時進行的
根據學習規則分：
相關學習網路：根據連接間的激活水平改變權系數
糾錯學習網路：根據輸出單元的外部反饋改變權系數
自組織學習網路：對輸入進行自適應地學習
摘自《數學之美》對人工神經網路的通俗理解：
神經網路種類很多，常用的有如下四種：
1）Hopfield網路，典型的反饋網路，結構單層，有相同的單元組成
2）反向傳播網路，前饋網路，結構多層，採用最小均方差的糾錯學習規則，常用於語言識別和分類等問題
3）Kohonen網路：典型的自組織網路，由輸入層和輸出層構成，全連接
4）ART網路：自組織網路
深度神經網路：
Convolutional Neural Networks(CNN)卷積神經網路
Recurrent neural Network(RNN)循環神經網路
Deep Belief Networks(DBN)深度信念網路
深度學習是指多層神經網路上運用各種機器學習演算法解決圖像，文本等各種問題的演算法集合。深度學習從大類上可以歸入神經網路，不過在具體實現上有許多變化。
深度學習的核心是特徵學習，旨在通過分層網路獲取分層次的特徵信息，從而解決以往需要人工設計特徵的重要難題。
Machine Learning vs. Deep Learning
神經網路（主要是感知器）經常用於 分類
神經網路的分類知識體現在網路連接上，被隱式地存儲在連接的權值中。
神經網路的學習就是通過迭代演算法，對權值逐步修改的優化過程，學習的目標就是通過改變權值使訓練集的樣本都能被正確分類。
神經網路特別適用於下列情況的分類問題：
1) 數據量比較小，缺少足夠的樣本建立模型
2) 數據的結構難以用傳統的統計方法來描述
3) 分類模型難以表示為傳統的統計模型
缺點：
1) 需要很長的訓練時間，因而對於有足夠長訓練時間的應用更合適。
2) 需要大量的參數，這些通常主要靠經驗確定，如網路拓撲或「結構」。
3) 可解釋性差 。該特點使得神經網路在數據挖掘的初期並不看好。
優點：
1) 分類的准確度高
2)並行分布處理能力強
3)分布存儲及學習能力高
4)對噪音數據有很強的魯棒性和容錯能力
最流行的基於神經網路的分類演算法是80年代提出的 後向傳播演算法 。後向傳播演算法在多路前饋神經網路上學習。
定義網路拓撲
在開始訓練之前，用戶必須說明輸入層的單元數、隱藏層數（如果多於一層）、每一隱藏層的單元數和輸出層的單元數，以確定網路拓撲。
對訓練樣本中每個屬性的值進行規格化將有助於加快學習過程。通常，對輸入值規格化，使得它們落入0.0和1.0之間。
離散值屬性可以重新編碼，使得每個域值一個輸入單元。例如，如果屬性A的定義域為(a0,a1,a2)，則可以分配三個輸入單元表示A。即，我們可以用I0 ,I1 ,I2作為輸入單元。每個單元初始化為0。如果A = a0，則I0置為1；如果A = a1，I1置1；如此下去。
一個輸出單元可以用來表示兩個類（值1代表一個類，而值0代表另一個）。如果多於兩個類，則每個類使用一個輸出單元。
隱藏層單元數設多少個「最好」 ，沒有明確的規則。
網路設計是一個實驗過程，並可能影響准確性。權的初值也可能影響准確性。如果某個經過訓練的網路的准確率太低，則通常需要採用不同的網路拓撲或使用不同的初始權值，重復進行訓練。
後向傳播演算法學習過程：
迭代地處理一組訓練樣本，將每個樣本的網路預測與實際的類標號比較。
每次迭代後，修改權值，使得網路預測和實際類之間的均方差最小。
這種修改「後向」進行。即，由輸出層，經由每個隱藏層，到第一個隱藏層（因此稱作後向傳播）。盡管不能保證，一般地，權將最終收斂，學習過程停止。
演算法終止條件：訓練集中被正確分類的樣本達到一定的比例，或者權系數趨近穩定。
後向傳播演算法分為如下幾步：
1) 初始化權
網路的權通常被初始化為很小的隨機數（例如，范圍從-1.0到1.0，或從-0.5到0.5）。
每個單元都設有一個偏置（bias），偏置也被初始化為小隨機數。
2) 向前傳播輸入
對於每一個樣本X，重復下面兩步：
向前傳播輸入，向後傳播誤差
計算各層每個單元的輸入和輸出。輸入層：輸出=輸入=樣本X的屬性；即，對於單元j，Oj = Ij = Xj。隱藏層和輸出層：輸入=前一層的輸出的線性組合,即，對於單元j， Ij =wij Oi + θj，輸出=
3) 向後傳播誤差
計算各層每個單元的誤差。
輸出層單元j，誤差：
Oj是單元j的實際輸出，而Tj是j的真正輸出。
隱藏層單元j，誤差：
wjk是由j到下一層中單元k的連接的權，Errk是單元k的誤差
更新 權 和 偏差 ，以反映傳播的誤差。
權由下式更新：
其中，△wij是權wij的改變。l是學習率，通常取0和1之間的值。
偏置由下式更新：
其中，△θj是偏置θj的改變。
Example
人類視覺原理：
深度學習的許多研究成果，離不開對大腦認知原理的研究，尤其是視覺原理的研究。1981 年的諾貝爾醫學獎，頒發給了 David Hubel（出生於加拿大的美國神經生物學家） 和Torsten Wiesel，以及Roger Sperry。前兩位的主要貢獻，是「發現了視覺系統的信息處理」， 可視皮層是分級的 。
人類的視覺原理如下：從原始信號攝入開始（瞳孔攝入像素Pixels），接著做初步處理（大腦皮層某些細胞發現邊緣和方向），然後抽象（大腦判定，眼前的物體的形狀，是圓形的），然後進一步抽象（大腦進一步判定該物體是只氣球）。
對於不同的物體，人類視覺也是通過這樣逐層分級，來進行認知的：
在最底層特徵基本上是類似的，就是各種邊緣，越往上，越能提取出此類物體的一些特徵（輪子、眼睛、軀乾等），到最上層，不同的高級特徵最終組合成相應的圖像，從而能夠讓人類准確的區分不同的物體。
可以很自然的想到：可以不可以模仿人類大腦的這個特點，構造多層的神經網路，較低層的識別初級的圖像特徵，若干底層特徵組成更上一層特徵，最終通過多個層級的組合，最終在頂層做出分類呢？答案是肯定的，這也是許多深度學習演算法（包括CNN）的靈感來源。
卷積神經網路是一種多層神經網路，擅長處理圖像特別是大圖像的相關機器學習問題。卷積網路通過一系列方法，成功將數據量龐大的圖像識別問題不斷降維，最終使其能夠被訓練。
CNN最早由Yann LeCun提出並應用在手寫字體識別上。LeCun提出的網路稱為LeNet，其網路結構如下：
這是一個最典型的卷積網路，由 卷積層、池化層、全連接層 組成。其中卷積層與池化層配合，組成多個卷積組，逐層提取特徵，最終通過若干個全連接層完成分類。
CNN通過卷積來模擬特徵區分，並且通過卷積的權值共享及池化，來降低網路參數的數量級，最後通過傳統神經網路完成分類等任務。
降低參數量級：如果使用傳統神經網路方式，對一張圖片進行分類，那麼，把圖片的每個像素都連接到隱藏層節點上，對於一張1000x1000像素的圖片，如果有1M隱藏層單元，一共有10^12個參數，這顯然是不能接受的。
但是在CNN里，可以大大減少參數個數，基於以下兩個假設：
1）最底層特徵都是局部性的，也就是說，用10x10這樣大小的過濾器就能表示邊緣等底層特徵
2）圖像上不同小片段，以及不同圖像上的小片段的特徵是類似的，也就是說，能用同樣的一組分類器來描述各種各樣不同的圖像
基於以上兩個假設，就能把第一層網路結構簡化
用100個10x10的小過濾器，就能夠描述整幅圖片上的底層特徵。
卷積運算的定義如下圖所示：
如上圖所示，一個5x5的圖像，用一個3x3的 卷積核 ：
101
010
101
來對圖像進行卷積操作（可以理解為有一個滑動窗口，把卷積核與對應的圖像像素做乘積然後求和），得到了3x3的卷積結果。
這個過程可以理解為使用一個過濾器（卷積核）來過濾圖像的各個小區域，從而得到這些小區域的特徵值。在實際訓練過程中， 卷積核的值是在學習過程中學到的。
在具體應用中，往往有多個卷積核，可以認為， 每個卷積核代表了一種圖像模式 ，如果某個圖像塊與此卷積核卷積出的值大，則認為此圖像塊十分接近於此卷積核。如果設計了6個卷積核，可以理解為這個圖像上有6種底層紋理模式，也就是用6種基礎模式就能描繪出一副圖像。以下就是24種不同的卷積核的示例：
池化 的過程如下圖所示：
可以看到，原始圖片是20x20的，對其進行采樣，采樣窗口為10x10，最終將其采樣成為一個2x2大小的特徵圖。
之所以這么做，是因為即使做完了卷積，圖像仍然很大（因為卷積核比較小），所以為了降低數據維度，就進行采樣。
即使減少了許多數據，特徵的統計屬性仍能夠描述圖像，而且由於降低了數據維度，有效地避免了過擬合。
在實際應用中，分為最大值采樣（Max-Pooling）與平均值采樣（Mean-Pooling）。
LeNet網路結構：
注意，上圖中S2與C3的連接方式並不是全連接，而是部分連接。最後，通過全連接層C5、F6得到10個輸出，對應10個數字的概率。
卷積神經網路的訓練過程與傳統神經網路類似，也是參照了反向傳播演算法
第一階段，向前傳播階段：
a）從樣本集中取一個樣本(X,Yp)，將X輸入網路；
b）計算相應的實際輸出Op
第二階段，向後傳播階段
a）計算實際輸出Op與相應的理想輸出Yp的差；
b）按極小化誤差的方法反向傳播調整權矩陣。