当前位置:首页 » 网络连接 » 局部连接是卷积网络的特性
扩展阅读

局部连接是卷积网络的特性

发布时间: 2022-02-17 01:28:15

‘壹’ 卷积神经网络中padding为same 什么意思

same 可以简单理解为输入和输出图像的大小相同,为了达到这个目的一般需要padding

‘贰’ CNN卷积神经网络结构有哪些特点

局部连接,权值共享,池化操作,多层次结构。
1、局部连接使网络可以提取数据的局部特征;

2、权值共享大大降低了网络的训练难度,一个Filter只提取一个特征,在整个图片(或者语音/文本) 中进行卷积;

3、池化操作与多层次结构一起,实现了数据的降维,将低层次的局部特征组合成为较高层次的特征,从而对整个图片进行表示。

‘叁’ 如何理解卷积神经网络中的局部感知野

权值共享的通俗理解就是整张图片或者整组feature map共用一个卷积核,卷积核在图片上慢慢滑动,所以图片上每个区域都是利用了卷积核内的参数,这就是权值共享。

‘肆’ 卷积神经网络算法是什么

一维构筑、二维构筑、全卷积构筑。

卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deep learning)的代表算法之一。

卷积神经网络具有表征学习(representation learning)能力,能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification),因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks, SIANN)”。

卷积神经网络的连接性:

卷积神经网络中卷积层间的连接被称为稀疏连接(sparse connection),即相比于前馈神经网络中的全连接,卷积层中的神经元仅与其相邻层的部分,而非全部神经元相连。具体地,卷积神经网络第l层特征图中的任意一个像素(神经元)都仅是l-1层中卷积核所定义的感受野内的像素的线性组合。

卷积神经网络的稀疏连接具有正则化的效果,提高了网络结构的稳定性和泛化能力,避免过度拟合,同时,稀疏连接减少了权重参数的总量,有利于神经网络的快速学习,和在计算时减少内存开销。

卷积神经网络中特征图同一通道内的所有像素共享一组卷积核权重系数,该性质被称为权重共享(weight sharing)。权重共享将卷积神经网络和其它包含局部连接结构的神经网络相区分,后者虽然使用了稀疏连接,但不同连接的权重是不同的。权重共享和稀疏连接一样,减少了卷积神经网络的参数总量,并具有正则化的效果。

在全连接网络视角下,卷积神经网络的稀疏连接和权重共享可以被视为两个无限强的先验(pirior),即一个隐含层神经元在其感受野之外的所有权重系数恒为0(但感受野可以在空间移动);且在一个通道内,所有神经元的权重系数相同。

‘伍’ 卷积神经网络权值共享怎么体现的


  • 用局部连接而不是全连接,同时权值共享。


局部连接的概念参考局部感受域,即某个视神经元仅考虑某一个小区域的视觉输入,因此相比普通神经网络的全连接层(下一层的某一个神经元需要与前一层的所有节点连接),卷积网络的某一个卷积层的所有节点只负责前层输入的某一个区域(比如某个3*3的方块)。这样一来需要训练的权值数相比全连接而言会大大减少,进而减小对样本空间大小的需求。
权值共享的概念就是,某一隐藏层的所有神经元共用一组权值。
这两个概念对应卷积层的话,恰好就是某个固定的卷积核。卷积核在图像上滑动时每处在一个位置分别对应一个“局部连接”的神经元,同时因为“权值共享”的缘故,这些神经元的参数一致,正好对应同一个卷积核。
顺便补充下,不同卷积核对应不同的特征,比如不同方向的边(edge)就会分别对应不同的卷积核。

  • 激活函数f(x)用ReLU的话避免了x过大梯度趋于0(比如用sigmoid)而影响训练的权值的情况(即GradientVanishing)。同时结果会更稀疏一些。

  • 池化之后(例如保留邻域内最大或~~平均以舍弃一些信息)一定程度也压制了过拟合的情况。


综述


总体来说就是重复卷积-relu来提取特征,进行池化之后再作更深层的特征提取,实质上深层卷积网络的主要作用在于特征提取。最后一层直接用softmax来分类(获得一个介于0~1的值表达输入属于这一类别的概率)。

‘陆’ 卷积神经网络每层提取的特征是什么样的

卷积神经网络是一个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立神经元组成。

图:卷积神经网络的概念示范:输入图像通过和三个可训练的滤波器和可加偏置进行卷积,滤波过程如图一,卷积后在C1层产生三个特征映射图,然后特征映射图中每组的四个像素再进行求和,加权值,加偏置,通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和S2一样产生S4。最终,这些像素值被光栅化,并连接成一个向量输入到传统的神经网络,得到输出。


一般地,C层为特征提取层,每个神经元的输入与前一层的局部感受野相连,并提取该局部的特征,一旦该局部特征被提取后,它与其他特征间的位置关系也随之确定下来;S层是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射为一个平面,平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数,使得特征映射具有位移不变性。


此外,由于一个映射面上的神经元共享权值,因而减少了网络自由参数的个数,降低了网络参数选择的复杂度。卷积神经网络中的每一个特征提取层(C-层)都紧跟着一个用来求局部平均与二次提取的计算层(S-层),这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。

‘柒’ 描述计算机视觉问题中卷积神经网络(CNN)的基本概念,并描述CNN如何实现这些概念。

摘要 你好,卷积是CNN的核心,是用卷积核扫描图像,得到相应的特征。卷积核可以理解成过滤器(或图像扫描器、特征扫描器、局部感受野)。这里先不涉及到卷积的具体操作,只介绍卷积的简单概念。在BPNN中,前后层神经元的连接是“全连接”,即每个神经元都与前一层所有神经元相连,而卷积是每个神经元只与上一层的一部分神经元相连希望我的回答能帮到你

‘捌’ 卷积神经网络的卷积层如何提取特征

提取特征不一定是分三层,觉得特征值不够好,可以增加卷积层。用于图片识别只是一种,其根本理念是通过卷积神经网络提取特征,图片只是数据的一种,人脸识别根本也是一种图片的比对,基本理念是对数据提取特征进行学习。数据可以是图片,声音,视屏等等

‘玖’ 卷积神经网络中的局部连接是什么意思

网络的下一层和上一层之间通过卷积核连接,或者说上一层的数据和卷积核卷积之后得到下一层。在全连接网络中,上一层的每个数据和下一层的每个数据都会有关,局部连接的意思就是说下一层只和上一层的局部数据有关。

这张图就是局部连接,可以看到上一层只有3个单元和下一层连接(这张图的流程是从下到上,所以我说的上一层是最底层,下一层是按照箭头方向的上边那层)。

局部连接的作用是减少计算参数。

‘拾’ 如何更好的理解分析深度卷积神经网络

  • 用局部连接而不是全连接,同时权值共享。

局部连接的概念参考局部感受域,即某个视神经元仅考虑某一个小区域的视觉输入,因此相比普通神经网络的全连接层(下一层的某一个神经元需要与前一层的所有节点连接),卷积网络的某一个卷积层的所有节点只负责前层输入的某一个区域(比如某个3*3的方块)。这样一来需要训练的权值数相比全连接而言会大大减少,进而减小对样本空间大小的需求。

权值共享的概念就是,某一隐藏层的所有神经元共用一组权值。

这两个概念对应卷积层的话,恰好就是某个固定的卷积核。卷积核在图像上滑动时每处在一个位置分别对应一个“局部连接”的神经元,同时因为“权值共享”的缘故,这些神经元的参数一致,正好对应同一个卷积核。

顺便补充下,不同卷积核对应不同的特征,比如不同方向的边(edge)就会分别对应不同的卷积核。

  • 激活函数f(x)用ReLU的话避免了x过大梯度趋于0(比如用sigmoid)而影响训练的权值的情况(即GradientVanishing)。同时结果会更稀疏一些。

  • 池化之后(例如保留邻域内最大或采纳平均以舍弃一些信息)一定程度也压制了过拟合的情况。

综述

总体来说就是重复卷积-relu来提取特征,进行池化之后再作更深层的特征提取,实质上深层卷积网络的主要作用在于特征提取。最后一层直接用softmax来分类(获得一个介于0~1的值表达输入属于这一类别的概率)。