A. 卷積神經網路CNN(Convolutional Neural Network)
上圖計算過程為，首先我們可以將右邊進行卷積的可以稱為過濾器也可以叫做核，覆蓋到左邊第一個區域，然後分別按照對應位置相乘再相加，3*1+1*1+2*1+0*0+0*0+0*0+1*(-1)+8*(-1)+2*(-1)=-5;
按照上述的計算方法逐步按右移一個步長（步長可以設定為1,2，...等），然後按往下移，逐漸計算相應的值，得出最終的值。
如上圖顯示，對於第一個圖像矩陣對應的圖，一邊是白色，一邊是黑色，那麼中間就會存在一個垂直的邊緣，我們可以選擇一個垂直邊緣檢測過濾器，如乘法右邊的矩陣，那麼兩者做卷積後得出的圖會顯示如等號右邊的結果矩陣對應的灰度圖中間會有一個白色的中間帶，也就是檢測出來的邊緣，那為什麼感覺中間邊緣帶會比較寬呢？而不是很細的一個局域呢？原因是我們輸入的圖像只有6*6，過於小了，如果我們選擇輸出更大的尺寸的圖，那麼結果來說就是相對的一個細的邊緣檢測帶，也就將我們的垂直邊緣特徵提取出來了。
上述都是人工選擇過濾器的參數，隨著神經網路的發展我們可以利用反向傳播演算法來學習過濾器的參數
我們可以將卷積的顧慮器的數值變成一個參數，通過反向傳播演算法去學習，這樣學到的過濾器或者說卷積核就能夠識別到很多的特徵，而不是依靠手工選擇過濾器。
- padding 操作，卷積經常會出現兩個問題：
1.每經過一次卷積圖像都會縮小，如果卷積層很多的話，後面的圖像就縮的很小了；
2.邊緣像素利用次數只有一次，很明顯少於位於中間的像素，因此會損失邊緣圖像信息。
為了解決上述的問題，我們可以在圖像邊緣填充像素，也就是 padding 操作了。
如果我們設置在圖像邊緣填充的像素數為p，那麼經過卷積後的圖像是：(n+2p-f+1)x(n+2p-f+1).
如何去選擇p呢
通常有兩種選擇：
-Valid:也就是說不填充操作(no padding),因此如果我們有nxn的圖像，fxf的過濾器，那麼我們進行卷積nxn fxf=(n-f+1)x(n-f+1)的輸出圖像；
-Same:也就是填充後是輸出圖像的大小的與輸入相同，同樣就有(n+2p)x(n+2p) fxf=nxn,那麼可以算,n+2p-f+1=n,得到p=(f-1)/2。
通常對於過濾器的選擇有一個默認的准則就是選擇過濾器的尺寸是奇數的過濾器。
- 卷積步長設置(Strided COnvolution)
卷積步長也就是我們進行卷積操作時，過濾器每次移動的步長，上面我們介紹的卷積操作步長默認都是1，也就是說每次移動過濾器時我們是向右移動一格，或者向下移動一格。
但是我們可以對卷積進行步長的設置，也就是我們能夠對卷積移動的格數進行設置。同樣假如我們的圖像是nxn,過濾器是fxf，padding設置是p，步長strided設置為s,那麼我們進行卷積操作後輸出的圖像為((n+2p-f)/s+1)x((n+2p-f)/s+1),那麼這樣就會出現一個問題，如果計算結果不是整數怎麼辦？
一般是選擇向下取整，也就是說明，只有當我們的過濾器完全在圖像上能夠覆蓋時才對它進行計算，這是一個慣例。
實際上上述所述的操作在嚴格數學角度來說不是卷積的定義，卷積的定義上我們計算的時候在移動步長之前也就是對應元素相乘之前是需要對卷積核或者說我們的過濾器進行鏡像操作的，經過鏡像操作後再把對應元素進行相乘這才是嚴格意義上的卷積操作，在數學角度上來說這個操作不算嚴格的卷積操作應該是屬於互相關操作，但是在深度學習領域中，大家按照慣例都省略了反轉操作，也把這個操作叫做卷積操作
我們知道彩色圖像有RGB三個通道，因此對於輸入來說是一個三維的輸入，那麼對三維輸入的圖像如何進行卷積操作呢？
例子，如上圖我們輸入圖像假設為6×6×3，3代表有RGB三個通道channel,或者可以叫depth深度，過濾器的選擇為3×3×3，其中需要規定的是，顧慮器的channel必須與輸入圖像的channel相同，長寬沒有限制，那麼計算過程是，我們將過濾器的立體覆蓋在輸入，這樣對應的27個數對應相乘後相加得到一個數，對應到我們的輸出，因此這樣的方式進行卷積後我們得出的輸出層為4×4×1。如果我們有多個過濾器，比如我們分別用兩個過濾器一個提取垂直特徵，一個提取水平特徵，那麼輸出圖4×4×2 。也就是代表我們輸出的深度或者說通道與過濾器的個數是相等的。
第l層的卷積標記如下：
加入我們的過濾器是3×3×3規格的，如果我們設定10個過濾器，那麼需要學習的參數總數為每個過濾器為27個參數然後加上一個偏差bias那麼每個過濾器的參數為28個，所以十個過濾器的參數為280個。從這里也就可以看出，不管我們輸入的圖片大小是多大，我們都只需要計算這些參數，因此參數共享也就很容易理解了。
為了縮減模型的大小，提高計算速度，同時提高所提取特徵的魯棒性，我們經常會使用池化層。池化層的計算方式與卷積類似，只是我們需要對每一個通道都進行池化操作。
池化的方式一般有兩種：Max Pooling和Average Pooling。
上面為Max Pooling，那麼計算方法與卷積類似，首先設定超參數比如過濾器的大小與步長，然後覆蓋到對應格子上面，用最大值取代其值作為輸出的結果，例如上圖為過濾器選擇2×2，步長選擇為2，因此輸出就是2×2的維度，每個輸出格子都是過濾器對應維度上輸入的最大值。如果為平均池化，那麼就是選擇其間的平均值作為輸出的值。
因此從上面的過程我們看到，通過池化操作能夠縮小模型，同時能讓特徵值更加明顯，也就提高了提取特徵的魯棒性。
B. bp神經網路的缺點
1)局部極小化問題：從數學角度看，傳統的BP神經網路為一種局部搜索的優化方法，它要解決的是一個復雜非線性化問題，網路的權值是通過沿局部改善的方向逐漸進行調整的，這樣會使演算法陷入局部極值，權值收斂到局部極小點，從而導致網路訓練失敗。加上BP神經網路對初始網路權重非常敏感，以不同的權重初始化網路，其往往會收斂於不同的局部極小，這也是很多學者每次訓練得到不同結果的根本原因。
2)BP神經網路演算法的收斂速度慢：由於BP神經網路演算法本質上為梯度下降法，它所要優化的目標函數是非常復雜的，因此，必然會出現「鋸齒形現象」，這使得BP演算法低效；又由於優化的目標函數很復雜，它必然會在神經元輸出接近0或1的情況下，出現一些平坦區，在這些區域內，權值誤差改變很小，使訓練過程幾乎停頓。
3)BP神經網路結構選擇不一：BP神經網路結構的選擇至今尚無一種統一而完整的理論指導，一般只能由經驗選定。網路結構選擇過大，訓練中效率不高，可能出現過擬合現象，造成網路性能低，容錯性下降，若選擇過小，則又會造成網路可能不收斂。而網路的結構直接影響銀盯網路的逼近能力及推廣性質。因此，應用中如何選擇合適的網路結構是一個重要的問題。
4)應用實例與網路規模的矛盾問題：BP神經網路難以解決應用問題的實例規模和網路規模間的矛盾問題，其涉及兆搏帆到網路容量的可能性與可行性的關系問題，即學習復雜性問題。
5)BP神經網族雹絡預測能力和訓練能力的矛盾問題：預測能力也稱泛化能力或者推廣能力，而訓練能力也稱逼近能力或者學習能力。一般情況下，訓練能力差時，預測能力也差。