1、全连接神经网络解析：对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权。
2、全连接的神经网络示意图：
3、“全连接”是一种不错的模式，但是网络很大的时候，训练速度回很慢。部分连接就是认为的切断某两个节点直接的连接，这样训练时计算量大大减小。
‘贰’ 第一代图卷积网络：图的频域网络与深度局部连接网络
本文需要的前置知识：傅里叶变换与谱图理论基础
链接：
① 傅里叶级数与傅里叶变换
② 图神经网络中的谱图理论基础
CNN在机器学习领域内的一些问题上取得了比较成功的效果，这主要得益于它处理的底层数据通常有一个坐标网格结构（在1，2，3维度上），因此这些数据就存在平移不变性（ translational equivariance/invariance）。图像、语音、视频就属于这一类数据。由于网络不具备平移不变性（网络中的每个节点的邻居数量是不固定的），因此在网络上直接应用CNN是比较困难的。
对于常规的网格数据，CNN能够利用以下几个很好地结合在一起的结构来大大减少系统中的参数数量：
①平移结构（translation structure），使用滤波器在数据的网格结构上平移处理数据，从而实现参数共享，并没有使用线性映射；
②网格上的度量，使用紧凑支持滤波器（compactly supported filters），紧凑支持滤波器是指与输入数据大小无关的滤波器，它的大小可能远小于输入数据的大小；
③网格的多尺度二元聚类（multiscale dyadic clustering），是指CNN应用了跨步卷积（stride convolution）和池化（pooling）来进行下采样（subsampling）。
如果网格数据有 个坐标，数据的维度为 （举例来说，图片的坐标数就是像素点数，维度就是图片的通道数，彩色图为 ，灰度图为 ），如果使用有 的输出节点的全连接网络就需要 个参数，相当于 的参数复杂度。使用任意的滤波器（也就是①）而非全连接网路能将参数复杂度降低到 ，使用网格上的度量结构（也就是②）来构建局部连接网络也可以。而如果两种一起使用能够将复杂度降低到 ，这里的 代表数据feature map的数量， 代表卷积核的数量，此时复杂度与 无关。最后使用网格的多尺度二元聚类（也就是③）可以进一步降低复杂度。
然而某些数据并不具备上述几何结构，比如表面张力或温度、从一个气象台网络中观测到的数据、来自社交网络或协同过滤的数据，这些数据都不能直接应用CNN。虽然CNN可以应用于多层，但是在特征维度上没有假设任何几何属性，导致一个4-D tensor只能沿其空间坐标进行卷积，即对于一个4-D的tensor而言，其有 四个维度，典型的CNN只能对 三个维度（即空间维度）进行卷积操作（通过3D convolution 操作），而不能对 维度（特征维度）进行操作。
网络提供了低维网格数据的一种泛化的框架，也就是GCN是CNN在domain上的推广，推广的方式是通过推广卷积的概念。在本文中将会讨论将深度卷积应用于网络数据的方法。本文一共提供两种架构。第一种为空域架构（spatial construction），这种架构能够对网络数据应用上述②和③，应用它们可以构建网络数据的局部连接网络，参数复杂度为 而非 。另一种架构称为频域架构（spectral construction），能够在傅里叶域内应用卷积。频域架构对于每一个feature map最多需要 的参数复杂度，也可以构建参数数量与 无关的架构。这两种架构都可以应用高效的前向传播并且能够应用在有多个坐标的数据的数据集上。
网络数据将由一个加权图 来表示， 是一个离散的节点集合，大小为 ， 是一个对称半正定矩阵，也就是加权邻接矩阵。将CNN泛化到网络数据的最直接想法是应用多尺度的、层级的局部感受野。
在网络上可以轻松的定义局部性（locality）的概念。边的权重决定了节点的局部性，举例来说，可以设置一个阈值 来决定一个节点的邻居节点集合：
我们可以将注意力限制在稀疏的滤波器上，这些滤波器通过节点的邻居节点集合来定义感受野，以此来构建局部连接网络，这样可以将参数量降低为 ，这里的 代表平均邻居节点数量。
CNN通过池化和下采样来降低网格的大小，这一操作也就是网格的多尺度聚类（ multiscale clustering）：为每个cluster输入多个特征，输出一个特征。在图上被证明更为有效的聚类方法仍然有待研究，在本文中选择了一种比较朴素的聚类方法。如下图所示，下图中有两层聚类，灰色的点为数据中的无向图节点，然后进行聚类得到下一层带颜色的节点，然后再对这些带颜色的节点进行聚类，第一层为12个节点，第二层6个节点，第三层3个节点：
本文提出的空域架构也叫做深度局部连接网络（Deep Locally Connected Networks）。在这个架构中使用了网络的多尺度聚类，事实上这里的尺度可以认为是下采样的层数，在这里我们考虑 个尺度，实际上也就是说这个架构由 个卷积层，每个卷积层后面都有一个池化层（也就是进行一次聚类），因此这个架构中总共有 层，每层包括一个个卷积层和一个池化层。
我们设置 ，也就是输入层的节点集合，可以认为是第0层，每一层的节点集合记作 ，这里 ， 可以认为是将 聚成 个簇的一个划分，因此 就表示第 层的节点个数，有 。另外定义 的节点的邻居节点集合的表示：
注意这里 的下标虽然为 ，但它代表的是第 的节点集合 的每个节点的邻域的表示，里面的每个 都是一个集合。
有了上述定义现在我们可以定义网络的第 层。假设输入信号是 上的实值信号，以 来代表第 层的卷积核的数量，也代表了第 层feature map的数量和信号的维度（类比CNN，卷积核的数量等于feature map的数量，也就是卷积后的信号特征的维度）。每一层都会将 上的 维的信号转换成 上的 维的信号，这一过程会权衡空间分辨率和新创建的特征坐标，也就是说，虽然经过每一层的节点数量降低了，但是卷积核的数量会逐层增加以保证特征的维度会增加，也就是说每层有两个结果：
①空间分辨率降低（loses spatial resolution），即空间点数减少；
②滤波器数目增加（increases the number of filters），即每个点特征数 增加。
第 层的输入用 来表示，这里的 是一个 的矩阵， 可以认为是一个列向量， 也就相当于第 个feature map的信号。那么第 层的输出 就被定义为：
这里的 代表第 层的第 个卷积核对第 层的第 个feature map进行卷积的部分，注意由于图的节点的邻居分布情况不同，所以卷积核不像CNN那样是共享的。这里的 是一个 的稀疏矩阵，矩阵的第 行的非零值都只会存在于 所指定的第 个节点的邻居节点位置。 代表非线性激活函数。 代表对卷积的结果进行之前所述的池化操作来降低节点的数量， 相当于聚类的结果，是一个 的稀疏矩阵，每一行指示一个簇的分布，如果采用平均池化，那么 的一个例子（ ）可以是：
整个过程可以用下图来表示：
另外通过以下过程构建第 层的 和 ：
这里 的计算过程是指：由于 中的节点来自 中的节点的聚类，所以 之间的权重是 和 对应的聚类之前的 中节点之间所有权重的累加。 是对 的聚类，图聚类的方法是多种多样的，可以自行选取，这里的方法是采用 的 - covering，使用核函数 的 的 - covering是一个划分 ，满足：
以 代表平均节点数量，那么第 层用来学习的参数量为：
实践中通常有 ， 是下采样因子，满足 。
这种架构的优点在于不需要很强的前提假设，只需要图具备邻域结构即可，甚至不需要很好的embedding向量。但是缺点在于没办法进行参数共享，对于每一层的每一个节点都要有单独的参数进行卷积而不能像CNN那样使用同一个卷积核在数据网格上进行平移。
在这里，以 代表图的度矩阵， 代表图的加权邻接矩阵，常用的图的拉普拉斯矩阵有三种：
①Combinatorial Laplacian，也就是普通形式的拉普拉斯矩阵：
其中的元素为：
②Symmetric normalized Laplacian，也就是对称归一化的拉普拉斯矩阵：
其中的元素为：
③Random walk normalized Laplacian，也就是随机游走归一化拉普拉斯矩阵：
其中的元素为：
为简便起见，本文应用的是第①种。对于一个固定的加权邻接矩阵 ，不同的节点信号列向量 （也就是说网络有 个节点）有不同的平滑性（smoothness）度量 ，在节点 处的平滑性度量为：
所有信号的平滑性度量为：
其实 也就是 ，关于拉普拉斯矩阵与信号平滑性的关系已经在本文开头给出的文章链接里介绍过了，这里不再赘述。
有了上面的公式我们可以得出最平滑的信号 其实是一个归一化的全 向量：
事实上 空间中最平滑的 个相互正交的单位向量其实就是 的特征向量：
每个特征向量 的平滑性度量的值其实也就是特征值 ，这一点只需要代入计算一下就可以得出，拉普拉斯矩阵的谱分解为 ，这里的 为特征值构成的对角矩阵， 为特征向量构成的正交矩阵， 的每一列都是一个特征向量，那么 计算一下就可以得到等于特征值 ，因此最平滑的信号向量就是特征值最小的特征向量，拉普拉斯矩阵的特征值就代表了特征向量的平滑度。
上面提到的一组特征向量其实就是 空间的一组基，前面的文章里说过图傅里叶变换其实就是将信号向量投影到拉普拉斯矩阵的各个特征向量上：
特征值的大小表示平滑程度，它对应传统傅里叶变换中的频率，频率高表示短时间内变动多，和这里的相邻节点变动大（变动越大越不平滑）能对应起来。因此图傅里叶变换就是在将一个图信号分解到不同平滑程度的图信号上，就像传统傅里叶变换将函数分解到不同频率的函数上一样。
一个任意信号向量 分解到所有的特征向量上对应的每个系数用 （ ，这些系数也就是图傅里叶变换后的系数）表示， 可以表示为 ，也就是 ，那么 的平滑性度量的值可以用这些系数和特征值表示：
两个函数 和 进行卷积可以应用卷积定理，用公式表达卷积定理就是：
应用卷积定理可以在频域上进行图的卷积操作，具体的方法是将滤波器 和图信号 都通过图傅里叶变换转换到频域然后计算转换后的结果的乘积（哈达玛积，也就是向量对应元素相乘），然后将相乘的结果再通过图傅里叶逆变换转换回空域，整个过程如下：
这里将 组织成对角矩阵 ， 也就是神经网络要学习的参数。
在这里我们仍然使用 来代表网络的第 层， ， 仍然代表卷积核的数量。这种架构的卷积的过程主要依照卷积定理，首先来描述卷积的过程，之后再描述如何进行下采样，因此现在假设第 层和第 层的节点数都是 ，那么第 层的输入 就是一个 的矩阵，输出 就是一个 的矩阵。第 层的计算过程可以表示为：
这里的 仍然相当于第 个feature map的信号。 也就是第 个卷积核中对第 个feature map进行卷积的部分，每一个 都是一个对角矩阵，其实就是前面的 ，这里之所以有一个连加号是因为要将多个feature map的结果累加起来， 仍然表示非线性激活，另外这里的 的每一列的特征向量是按照特征值的大小依次排列的（降序）。
通常只有拉普拉斯矩阵的前 个特征向量是有意义的，因为后面的特征向量对应的特征值比较小，特征向量非常的平滑，因此在实际中可以取拉普拉斯矩阵的前 列构成的矩阵 代替 ，这个过程就相当于频域架构的下采样的过程，这里的 就相当于空域架构中的 ，每一层可以取不同的值。按照目前这种架构所需的参数复杂度为 。
本文中提出的两种架构在两个数据集上进行了实验验证效果。具体实验设置参看原论文，这里不做赘述。
这个数据集是从MNIST数据集的每张图片（ ）上采样 个样本点构建图。实验样本如下图：
实验结果如下图所示：
这个数据集将MNIST数据集中的样本提升到3维空间中。实验样本如下图：
实验结果如下图所示：
ref: 图傅里叶变换
ref: paper reading：[第一代GCN] Spectral Networks and Deep Locally Connected Networks on Graphs
‘叁’ 为什么全连接神经网络在图像识别中不如卷积神经网络
输入数据是n*n的像素矩阵，再使用全连接神经网络，那么参数的个数会是指数级的增长，需要训练的数据太多。
而CNN的话，可以通过共享同一个参数，来提取特定方向上的特征，所以训练量将比全连接神经网络小了很多。
‘肆’ 网络矩阵问题
1、连接方式没错，矩阵一个解码100个摄像机不现实，而且100个摄像机大概在500M左右的每秒码流，要多个矩阵解码才行。
2、目前的网络矩阵直接连到交换机就可以，但是交换机的转发能力和网络接口要千兆级。
3、不用太高的矩阵，一般解析16或者32路的矩阵就可以。
4、矩阵最好对应你的摄像机和录像机品牌。
5、录像机和矩阵可以同时访问摄像机，不会冲突。
‘伍’ 什么叫互联矩阵 网络方面
网络矩阵是将网络视频信号转换为数字视频信号在液晶电视墙上显示的设备.网络矩阵又叫网络数字矩阵.是以视频编码软件代替模拟矩阵中的视频输入模式,以数字高速处理CPU代替模拟电开关,以视频解码软件代替模拟矩阵中的视频输入模块,以网络矩阵主机代替模拟矩阵主机,以基于TCP/IP协议的IP网代替模 拟总线（或模拟视频总线结合IP控制总线）,运用计算机高速处理芯片的运算完成视频从输入到输出的切换设备.
‘陆’ 理解神经网络卷积层、全连接层
https://zhuanlan.hu.com/p/32472241
卷积神经网络，这玩意儿乍一听像是生物和数学再带点计算机技术混合起来的奇怪东西。奇怪归奇怪，不得不说，卷积神经网络是计算机视觉领域最有影响力的创造之一。
2012年是卷积神经网络崛起之年。这一年，Alex Krizhevsky带着卷积神经网络参加了ImageNet竞赛（其重要程度相当于奥运会）并一鸣惊人，将识别错误率从26%降到了15%,。从那开始，很多公司开始使用深度学习作为他们服务的核心。比如，Facebook在他们的自动标记算法中使用了它，Google在照片搜索中使用了，Amazon在商品推荐中使用，Printerst应用于为他们的家庭饲养服务提供个性化定制，而Instagram应用于他们的搜索引擎。
然而，神经网络最开始也是最多的应用领域是图像处理。那我们就挑这块来聊聊，怎样使用卷积神经网络（下面简称CNN）来进行图像分类。
图像分类是指，向机器输入一张图片，然后机器告诉我们这张图片的类别（一只猫，一条狗等等），或者如果它不确定的话，它会告诉我们属于某个类别的可能性（很可能是条狗但是我不太确定）。对我们人类来说，这件事情简单的不能再简单了，从出生起，我们就可以很快地识别周围的物体是什么。当我们看到一个场景，我们总能快速地识别出所有物体，甚至是下意识的，没有经过有意的思考。但这种能力，机器并不具有。所以我们更加要好好珍惜自己的大脑呀！ (:зゝ∠)
电脑和人看到的图片并不相同。当我们输入一张图片时，电脑得到的只是一个数组，记录着像素的信息。数组的大小由图像的清晰度和大小决定。假设我们有一张jpg格式的480 480大小的图片，那么表示它的数组便是480 480*3大小的。数组中所有数字都描述了在那个位置处的像素信息，大小在[0,255]之间。
这些数字对我们来说毫无意义，但这是电脑们可以得到的唯一的信息（也足够了）。抽象而简单的说，我们需要一个接受数组为输入，输出一个数组表示属于各个类别概率的模型。
既然问题我们已经搞明白了，现在我们得想想办法解决它。我们想让电脑做的事情是找出不同图片之间的差别，并可以识别狗狗（举个例子）的特征。
我们人类可以通过一些与众不同的特征来识别图片，比如狗狗的爪子和狗有四条腿。同样地，电脑也可以通过识别更低层次的特征（曲线，直线）来进行图像识别。电脑用卷积层识别这些特征，并通过更多层卷积层结合在一起，就可以像人类一样识别出爪子和腿之类的高层次特征，从而完成任务。这正是CNN所做的事情的大概脉络。下面，我们进行更具体的讨论。
在正式开始之前，我们先来聊聊CNN的背景故事。当你第一次听说卷积神经网络的时候，你可能就会联想到一些与神经学或者生物学有关的东西，不得不说，卷积神经网络还真的与他们有某种关系。
CNN的灵感的确来自大脑中的视觉皮层。视觉皮层某些区域中的神经元只对特定视野区域敏感。1962年，在一个Hubel与Wiesel进行的试验（ 视频 ）中，这一想法被证实并且拓展了。他们发现，一些独立的神经元只有在特定方向的边界在视野中出现时才会兴奋。比如，一些神经元在水平边出现时兴奋，而另一些只有垂直边出现时才会。并且所有这种类型的神经元都在一个柱状组织中，并且被认为有能力产生视觉。
在一个系统中，一些特定的组件发挥特定的作用（视觉皮层中的神经元寻找各自特定的特征）。这一想法应用于很多机器中，并且也是CNN背后的基本原理。 （译者注：作者没有说清楚。类比到CNN中，应是不同的卷积核寻找图像中不同的特征）
回到主题。
更详细的说，CNN的工作流程是这样的：你把一张图片传递给模型，经过一些卷积层，非线性化（激活函数），池化，以及全连层，最后得到结果。就像我们之前所说的那样，输出可以是单独的一个类型，也可以是一组属于不同类型的概率。现在，最不容易的部分来了：理解各个层的作用。
首先，你要搞清楚的是，什么样的数据输入了卷积层。就像我们之前提到的那样，输入是一个32 × 32 × 3（打个比方）的记录像素值的数组。现在，让我来解释卷积层是什么。解释卷积层最好的方法，是想象一个手电筒照在图片的左上角。让我们假设手电筒的光可以招到一个5 × 5的区域。现在，让我们想象这个手电筒照过了图片的所有区域。在机器学习术语中，这样一个手电筒被称为卷积核（或者说过滤器，神经元） (kernel, filter, neuron) 。而它照到的区域被称为感知域 (receptive field) 。卷积核同样也是一个数组（其中的数被称为权重或者参数）。很重要的一点就是卷积核的深度和输入图像的深度是一样的（这保证可它能正常工作），所以这里卷积核的大小是5 × 5 × 3。
现在，让我们拿卷积核的初始位置作为例子，它应该在图像的左上角。当卷积核扫描它的感知域（也就是这张图左上角5 × 5 × 3的区域）的时候，它会将自己保存的权重与图像中的像素值相乘（或者说，矩阵元素各自相乘，注意与矩阵乘法区分），所得的积会相加在一起（在这个位置，卷积核会得到5 × 5 × 3 = 75个积）。现在你得到了一个数字。然而，这个数字只表示了卷积核在图像左上角的情况。现在，我们重复这一过程，让卷积核扫描完整张图片，（下一步应该往右移动一格，再下一步就再往右一格，以此类推），每一个不同的位置都产生了一个数字。当扫描完整张图片以后，你会得到一组新的28 × 28 × 1的数。 （译者注：(32 - 5 + 1) × (32 - 5 + 1) × 1） 。这组数，我们称为激活图或者特征图 (activation map or feature map) 。
如果增加卷积核的数目，比如，我们现在有两个卷积核，那么我们就会得到一个28 × 28 × 2的数组。通过使用更多的卷积核，我们可以更好的保留数据的空间尺寸。
在数学层面上说，这就是卷积层所做的事情。
让我们来谈谈，从更高角度来说，卷积在做什么。每一个卷积核都可以被看做特征识别器。我所说的特征，是指直线、简单的颜色、曲线之类的东西。这些都是所有图片共有的特点。拿一个7 × 7 × 3的卷积核作为例子，它的作用是识别一种曲线。（在这一章节，简单起见，我们忽略卷积核的深度，只考虑第一层的情况）。作为一个曲线识别器，这个卷积核的结构中，曲线区域内的数字更大。（记住，卷积核是一个数组）
现在我们来直观的看看这个。举个例子，假设我们要把这张图片分类。让我们把我们手头的这个卷积核放在图片的左上角。
记住，我们要做的事情是把卷积核中的权重和输入图片中的像素值相乘。
(译者注：图中最下方应是由于很多都是0所以把0略过不写了。)
基本上，如果输入图像中有与卷积核代表的形状很相似的图形，那么所有乘积的和会很大。现在我们来看看，如果我们移动了卷积核呢？
可以看到，得到的值小多了！这是因为感知域中没有与卷积核表示的相一致的形状。还记得吗，卷积层的输出是一张激活图。所以，在单卷积核卷积的简单情况下，假设卷积核是一个曲线识别器，那么所得的激活图会显示出哪些地方最有可能有曲线。在这个例子中，我们所得激活图的左上角的值为6600。这样大的数字表明很有可能这片区域中有一些曲线，从而导致了卷积核的激活 （译者注：也就是产生了很大的数值。） 而激活图中右上角的数值是0，因为那里没有曲线来让卷积核激活（简单来说就是输入图像的那片区域没有曲线）。
但请记住，这只是一个卷积核的情况，只有一个找出向右弯曲的曲线的卷积核。我们可以添加其他卷积核，比如识别向左弯曲的曲线的。卷积核越多，激活图的深度就越深，我们得到的关于输入图像的信息就越多。
在传统的CNN结构中，还会有其他层穿插在卷积层之间。我强烈建议有兴趣的人去阅览并理解他们。但总的来说，他们提供了非线性化，保留了数据的维度，有助于提升网络的稳定度并且抑制过拟合。一个经典的CNN结构是这样的：
网络的最后一层很重要，我们稍后会讲到它。
现在，然我们回头看看我们已经学到了什么。
我们讲到了第一层卷积层的卷积核的目的是识别特征，他们识别像曲线和边这样的低层次特征。但可以想象，如果想预测一个图片的类别，必须让网络有能力识别高层次的特征，例如手、爪子或者耳朵。让我们想想网络第一层的输出是什么。假设我们有5个5 × 5 × 3的卷积核，输入图像是32 × 32 × 3的，那么我们会得到一个28 × 28 × 5的数组。来到第二层卷积层，第一层的输出便成了第二层的输入。这有些难以可视化。第一层的输入是原始图片，可第二层的输入只是第一层产生的激活图，激活图的每一层都表示了低层次特征的出现位置。如果用一些卷积核处理它，得到的会是表示高层次特征出现的激活图。这些特征的类型可能是半圆（曲线和边的组合）或者矩形（四条边的组合）。随着卷积层的增多，到最后，你可能会得到可以识别手写字迹、粉色物体等等的卷积核。
如果，你想知道更多关于可视化卷积核的信息，可以看这篇 研究报告 ，以及这个 视频 。
还有一件事情很有趣，当网络越来越深，卷积核会有越来越大的相对于输入图像的感知域。这意味着他们有能力考虑来自输入图像的更大范围的信息（或者说，他们对一片更大的像素区域负责）。
到目前为止，我们已经识别出了那些高层次的特征吧。网络最后的画龙点睛之笔是全连层。
简单地说，这一层接受输入（来自卷积层，池化层或者激活函数都可以），并输出一个N维向量，其中，N是所有有可能的类别的总数。例如，如果你想写一个识别数字的程序，那么N就是10，因为总共有10个数字。N维向量中的每一个数字都代表了属于某个类别的概率。打个比方，如果你得到了[0 0.1 0.1 0.75 0 0 0 0 0 0.05]，这代表着这张图片是1的概率是10%，是2的概率是10%，是3的概率是75%，是9的概率5%（小贴士：你还有其他表示输出的方法，但现在我只拿softmax (译者注：一种常用于分类问题的激活函数) 来展示）。全连层的工作方式是根据上一层的输出（也就是之前提到的可以用来表示特征的激活图）来决定这张图片有可能属于哪个类别。例如，如果程序需要预测哪些图片是狗，那么全连层在接收到一个包含类似于一个爪子和四条腿的激活图时输出一个很大的值。同样的，如果要预测鸟，那么全连层会对含有翅膀和喙的激活图更感兴趣。
基本上，全连层寻找那些最符合特定类别的特征，并且具有相应的权重，来使你可以得到正确的概率。
现在让我们来说说我之前有意没有提到的神经网络的可能是最重要的一个方面。刚刚在你阅读的时候，可能会有一大堆问题想问。第一层卷积层的卷积核们是怎么知道自己该识别边还是曲线的？全连层怎么知道该找哪一种激活图？每一层中的参数是怎么确定的？机器确定参数（或者说权重）的方法叫做反向传播算法。
在讲反向传播之前，我们得回头看看一个神经网络需要什么才能工作。我们出生的时候并不知道一条狗或者一只鸟长什么样。同样的，在CNN开始之前，权重都是随机生成的。卷积核并不知道要找边还是曲线。更深的卷积层也不知道要找爪子还是喙。
等我们慢慢长大了，我们的老师和父母给我们看不同的图片，并且告诉我们那是什么（或者说，他们的类别）。这种输入一幅图像以及这幅图像所属的类别的想法，是CNN训练的基本思路。在细细讲反向传播之前，我们先假设我们有一个包含上千张不同种类的动物以及他们所属类别的训练集。
反向传播可以被分成四个不同的部分。前向传播、损失函数、反向传播和权重更新。
在前向传播的阶段，我们输入一张训练图片，并让它通过整个神经网络。对于第一个输入图像，由于所有权重都是随机生成的，网络的输出很有可能是类似于[.1 .1 .1 .1 .1 .1 .1 .1 .1 .1]的东西，一般来说并不对任一类别有偏好。具有当前权重的网络并没有能力找出低层次的特征并且总结出可能的类别。
下一步，是损失函数部分。注意，我们现在使用的是训练数据。这些数据又有图片又有类别。打个比方，第一张输入的图片是数字“3”。那么它的标签应该是[0 0 0 1 0 0 0 0 0 0]。一个损失函数可以有很多定义的方法，但比较常见的是MSE（均方误差）。被定义为(实际−预测)22(实际−预测)22。
记变量L为损失函数的值。正如你想象的那样，在第一组训练图片输入的时候，损失函数的值可能非常非常高。来直观地看看这个问题。我们想到达CNN的预测与数据标签完全一样的点（这意味着我们的网络预测的很对）。为了到达那里，我们想要最小化误差。如果把这个看成一个微积分问题，那我们只要找到哪些权重与网络的误差关系最大。
这就相当于数学中的δLδWδLδW (译者注：对L关于W求导) ，其中，W是某个层的权重。现在，我们要对网络进行 反向传播 。这决定了哪些权重与误差的关系最大，并且决定了怎样调整他们来让误差减小。计算完这些导数以后，我们就来到了最后一步： 更新权重 。在这里，我们以与梯度相反的方向调整层中的权重。
学习率是一个有程序员决定的参数。一个很高的学习率意味着权重调整的幅度会很大，这可能会让模型更快的拥有一组优秀的权重。然而，一个太高的学习率可能会让调整的步伐过大，而不能精确地到达最佳点。
前向传播、损失函数、反向传播和更新权重，这四个过程是一次迭代。程序会对每一组训练图片重复这一过程（一组图片通常称为一个batch）。当对每一张图片都训练完之后，很有可能你的网络就已经训练好了，权重已经被调整的很好。
最后，为了验证CNN是否工作的很好，我们还有另一组特殊的数据。我们把这组数据中的图片输入到网络中，得到输出并和标签比较，这样就能看出网络的表现如何了。
‘柒’ 刚入手一Blackmagic Design的矩阵，通过网络连接电脑，不知道怎么设置
1、电脑安装软件，打开Blackmagic
Videohub
用USB线把电脑和矩阵连接。
2、在菜单栏里找到【videohub
Server
Preferences】
3、【Videohub
ServerConfiguration】下设定Videhub的IP地址
4、【Use
Locally
connected
Videohub】前不要打勾!!
5、【Remote
Videohub
IP
address】后输入Videohub的IP地址就可以了
一台电脑不可以同时使用USB和网络一起控制
‘捌’ 视频矩阵怎样连接组网
首先联网的矩阵需具备网络接口及兼容组网功能。组网一般是主从结构，从机矩阵的视频输出口连接到主机矩阵的视频输入口，在主机的矩阵键盘上可以切换从机的输入输出视频到监控中心。
视频矩阵之间组网需要视频线和网络线连接。
‘玖’ 视频矩阵，交换机，拼接屏，电脑，怎么连接
第一种情况：硬信号接口的视频矩阵
视频矩阵是用于切换信号源的，一般是电脑或者其他信号源直接输入到矩阵的“IN”，再由"OUT“直接输出到拼接屏的输入接口，可以是HDMI、DVI、VGA或者BNC根据视频矩阵的接口来。
第二种情况：解码视频矩阵
网络及摄像机信号，全部接入交换机，然后再由交换机输出网线到解码视频矩阵，然后再由视频矩阵接入拼接屏，而电脑则连接矩阵串口起到控制的作用！
‘拾’ 卷积神经网络的 卷积层、激活层、池化层、全连接层
数据输入的是一张图片（输入层），CONV表示卷积层，RELU表示激励层，POOL表示池化层，Fc表示全连接层
全连接神经网络需要非常多的计算资源才能支撑它来做反向传播和前向传播，所以说全连接神经网络可以存储非常多的参数，如果你给它的样本如果没有达到它的量级的时候，它可以轻轻松松把你给他的样本全部都记下来，这会出现过拟合的情况。
所以我们应该把神经元和神经元之间的连接的权重个数降下来，但是降下来我们又不能保证它有较强的学习能力，所以这是一个纠结的地方，所以有一个方法就是 局部连接+权值共享 ，局部连接+权值共享不仅权重参数降下来了，而且学习能力并没有实质的降低，除此之外还有其它的好处，下来看一下，下面的这几张图片：
一个图像的不同表示方式
这几张图片描述的都是一个东西，但是有的大有的小，有的靠左边，有的靠右边，有的位置不同，但是我们构建的网络识别这些东西的时候应该是同一结果。为了能够达到这个目的，我们可以让图片的不同位置具有相同的权重（权值共享），也就是上面所有的图片，我们只需要在训练集中放一张，我们的神经网络就可以识别出上面所有的，这也是 权值共享 的好处。
而卷积神经网络就是局部连接+权值共享的神经网络。
现在我们对卷积神经网络有一个初步认识了，下面具体来讲解一下卷积神经网络，卷积神经网络依旧是层级结构，但层的功能和形式做了改变，卷积神经网络常用来处理图片数据，比如识别一辆汽车：
在图片输出到神经网络之前，常常先进行图像处理，有 三种 常见的图像的处理方式：
均值化和归一化
去相关和白化
图片有一个性质叫做局部关联性质，一个图片的像素点影响最大的是它周边的像素点，而距离这个像素点比较远的像素点二者之间关系不大。这个性质意味着每一个神经元我们不用处理全局的图片了（和上一层全连接），我们的每一个神经元只需要和上一层局部连接，相当于每一个神经元扫描一小区域，然后许多神经元（这些神经元权值共享）合起来就相当于扫描了全局，这样就构成一个特征图，n个特征图就提取了这个图片的n维特征，每个特征图是由很多神经元来完成的。
在卷积神经网络中，我们先选择一个局部区域（filter），用这个局部区域（filter）去扫描整张图片。 局部区域所圈起来的所有节点会被连接到下一层的 一个节点上 。我们拿灰度图（只有一维）来举例：
局部区域
图片是矩阵式的，将这些以矩阵排列的节点展成了向量。就能更好的看出来卷积层和输入层之间的连接，并不是全连接的，我们将上图中的红色方框称为filter，它是2*2的，这是它的尺寸，这不是固定的，我们可以指定它的尺寸。
我们可以看出来当前filter是2*2的小窗口，这个小窗口会将图片矩阵从左上角滑到右下角，每滑一次就会一下子圈起来四个，连接到下一层的一个神经元，然后产生四个权重，这四个权重(w1、w2、w3、w4)构成的矩阵就叫做卷积核。
卷积核是算法自己学习得到的，它会和上一层计算，比如，第二层的0节点的数值就是局部区域的线性组合（w1 0+w2 1+w3 4+w4 5），即被圈中节点的数值乘以对应的权重后相加。
卷积核计算
卷积操作
我们前面说过图片不用向量表示是为了保留图片平面结构的信息。 同样的，卷积后的输出若用上图的向量排列方式则丢失了平面结构信息。 所以我们依然用矩阵的方式排列它们，就得到了下图所展示的连接，每一个蓝色结点连接四个黄色的结点。
卷积层的连接方式
图片是一个矩阵然后卷积神经网络的下一层也是一个矩阵，我们用一个卷积核从图片矩阵左上角到右下角滑动，每滑动一次，当然被圈起来的神经元们就会连接下一层的一个神经元，形成参数矩阵这个就是卷积核，每次滑动虽然圈起来的神经元不同，连接下一层的神经元也不同，但是产生的参数矩阵确是一样的，这就是 权值共享 。
卷积核会和扫描的图片的那个局部矩阵作用产生一个值，比如第一次的时候，（w1 0+w2 1+w3 4+w4 5），所以，filter从左上到右下的这个过程中会得到一个矩阵（这就是下一层也是一个矩阵的原因），具体过程如下所示：
卷积计算过程
上图中左边是图矩阵，我们使用的filter的大小是3 3的，第一次滑动的时候，卷积核和图片矩阵作用（1 1+1 0+1 1+0 0+1 1+1 0+0 1+0 0+1 1）=4，会产生一个值，这个值就是右边矩阵的第一个值，filter滑动9次之后，会产生9个值，也就是说下一层有9个神经元，这9个神经元产生的值就构成了一个矩阵，这矩阵叫做特征图，表示image的某一维度的特征，当然具体哪一维度可能并不知道，可能是这个图像的颜色，也有可能是这个图像的轮廓等等。
单通道图片总结 ：以上就是单通道的图片的卷积处理，图片是一个矩阵，我们用指定大小的卷积核从左上角到右下角来滑动，每次滑动所圈起来的结点会和下一层的一个结点相连，连接之后就会形成局部连接，每一条连接都会产生权重，这些权重就是卷积核，所以每次滑动都会产生一个卷积核，因为权值共享，所以这些卷积核都是一样的。卷积核会不断和当时卷积核所圈起来的局部矩阵作用，每次产生的值就是下一层结点的值了，这样多次产生的值组合起来就是一个特征图，表示某一维度的特征。也就是从左上滑动到右下这一过程中会形成一个特征图矩阵（共享一个卷积核），再从左上滑动到右下又会形成另一个特征图矩阵（共享另一个卷积核），这些特征图都是表示特征的某一维度。
三个通道的图片如何进行卷积操作？
至此我们应该已经知道了单通道的灰度图是如何处理的，实际上我们的图片都是RGB的图像，有三个通道，那么此时图像是如何卷积的呢？
彩色图像
filter窗口滑的时候，我们只是从width和height的角度来滑动的，并没有考虑depth，所以每滑动一次实际上是产生一个卷积核，共享这一个卷积核，而现在depth=3了，所以每滑动一次实际上产生了具有三个通道的卷积核（它们分别作用于输入图片的蓝色、绿色、红色通道），卷积核的一个通道核蓝色的矩阵作用产生一个值，另一个和绿色的矩阵作用产生一个值，最后一个和红色的矩阵作用产生一个值，然后这些值加起来就是下一层结点的值，结果也是一个矩阵，也就是一张特征图。
三通道的计算过程
要想有多张特征图的话，我们可以再用新的卷积核来进行左上到右下的滑动，这样就会形成 新的特征图 。
三通道图片的卷积过程
也就是说增加一个卷积核，就会产生一个特征图，总的来说就是输入图片有多少通道，我们的卷积核就需要对应多少通道，而本层中卷积核有多少个，就会产生多少个特征图。这样卷积后输出可以作为新的输入送入另一个卷积层中处理，有几个特征图那么depth就是几，那么下一层的每一个特征图就得用相应的通道的卷积核来对应处理，这个逻辑要清楚，我们需要先了解一下 基本的概念：
卷积计算的公式
4x4的图片在边缘Zero padding一圈后，再用3x3的filter卷积后，得到的Feature Map尺寸依然是4x4不变。
填充
当然也可以使用5x5的filte和2的zero padding可以保持图片的原始尺寸，3x3的filter考虑到了像素与其距离为1以内的所有其他像素的关系，而5x5则是考虑像素与其距离为2以内的所有其他像素的关系。
规律： Feature Map的尺寸等于
(input_size + 2 * padding_size − filter_size)/stride+1
我们可以把卷积层的作用 总结一点： 卷积层其实就是在提取特征，卷积层中最重要的是卷积核（训练出来的），不同的卷积核可以探测特定的形状、颜色、对比度等，然后特征图保持了抓取后的空间结构，所以不同卷积核对应的特征图表示某一维度的特征，具体什么特征可能我们并不知道。特征图作为输入再被卷积的话，可以则可以由此探测到"更大"的形状概念，也就是说随着卷积神经网络层数的增加，特征提取的越来越具体化。
激励层的作用可以理解为把卷积层的结果做 非线性映射 。
激励层
上图中的f表示激励函数，常用的激励函数几下几种：
常用的激励函数
我们先来看一下激励函数Sigmoid导数最小为0，最大为1/4，
激励函数Sigmoid
Tanh激活函数：和sigmoid相似，它会关于x轴上下对应，不至于朝某一方面偏向
Tanh激活函数
ReLU激活函数（修正线性单元)：收敛快，求梯度快，但较脆弱，左边的梯度为0
ReLU激活函数
Leaky ReLU激活函数：不会饱和或者挂掉，计算也很快，但是计算量比较大
Leaky ReLU激活函数
一些激励函数的使用技巧 ：一般不要用sigmoid，首先试RELU，因为快，但要小心点，如果RELU失效，请用Leaky ReLU，某些情况下tanh倒是有不错的结果。
这就是卷积神经网络的激励层，它就是将卷积层的线性计算的结果进行了非线性映射。可以从下面的图中理解。它展示的是将非线性操作应用到一个特征图中。这里的输出特征图也可以看作是"修正"过的特征图。如下所示：
非线性操作
池化层：降低了各个特征图的维度，但可以保持大分重要的信息。池化层夹在连续的卷积层中间，压缩数据和参数的量，减小过拟合，池化层并没有参数，它只不过是把上层给它的结果做了一个下采样（数据压缩）。下采样有 两种 常用的方式：
Max pooling ：选取最大的，我们定义一个空间邻域（比如，2x2 的窗口），并从窗口内的修正特征图中取出最大的元素，最大池化被证明效果更好一些。
Average pooling ：平均的，我们定义一个空间邻域（比如，2x2 的窗口），并从窗口内的修正特征图算出平均值
Max pooling
我们要注意一点的是：pooling在不同的depth上是分开执行的，也就是depth=5的话，pooling进行5次，产生5个池化后的矩阵，池化不需要参数控制。池化操作是分开应用到各个特征图的，我们可以从五个输入图中得到五个输出图。
池化操作
无论是max pool还是average pool都有分信息被舍弃，那么部分信息被舍弃后会损坏识别结果吗？
因为卷积后的Feature Map中有对于识别物体不必要的冗余信息，我们下采样就是为了去掉这些冗余信息，所以并不会损坏识别结果。
我们来看一下卷积之后的冗余信息是怎么产生的？
我们知道卷积核就是为了找到特定维度的信息，比如说某个形状，但是图像中并不会任何地方都出现这个形状，但卷积核在卷积过程中没有出现特定形状的图片位置卷积也会产生一个值，但是这个值的意义就不是很大了，所以我们使用池化层的作用，将这个值去掉的话，自然也不会损害识别结果了。
比如下图中，假如卷积核探测"横折"这个形状。 卷积后得到3x3的Feature Map中，真正有用的就是数字为3的那个节点，其余数值对于这个任务而言都是无关的。 所以用3x3的Max pooling后，并没有对"横折"的探测产生影响。 试想在这里例子中如果不使用Max pooling，而让网络自己去学习。 网络也会去学习与Max pooling近似效果的权重。因为是近似效果，增加了更多的参数的代价，却还不如直接进行最大池化处理。
最大池化处理
在全连接层中所有神经元都有权重连接，通常全连接层在卷积神经网络尾部。当前面卷积层抓取到足以用来识别图片的特征后，接下来的就是如何进行分类。 通常卷积网络的最后会将末端得到的长方体平摊成一个长长的向量，并送入全连接层配合输出层进行分类。比如，在下面图中我们进行的图像分类为四分类问题，所以卷积神经网络的输出层就会有四个神经元。
四分类问题
我们从卷积神经网络的输入层、卷积层、激活层、池化层以及全连接层来讲解卷积神经网络，我们可以认为全连接层之间的在做特征提取，而全连接层在做分类，这就是卷积神经网络的核心。