卷积神经网络

优点：

（1）卷积神经网络对几何变换、形变、光照具有一定程度的不变性。

（2）训练过的卷积神经网络可以用较小的计算代价扫描整幅待检测图像，因此，被广泛应用于目标检测。

缺点：

实践中，具有类标号的数据较少，而不具有类标号的数据非常丰富，为每个数据人工设置类标号是非常费时和枯燥的。然而，为了使得监督卷积神经网络通过训练具有较高的泛化能力，需要大量具有类标号的训练样本，这也是制约临督卷积神经网络在实践巾应用的主要因素。

主要内容：

以下主要从几个方面来介绍卷积神经网络：

1.Hubel-Wiesel结构

2.卷积神经网络的基本思想

3.卷积神经网络的结构

4.监督卷积神经网络

5.卷积神经网络的功能分解与非监督

1. Hubel-Wiesel结构

   Hubel-Wiesel结构的提出就是基于Hubel和Wiesel关于猫的初级视皮层(VI区)的研究。根据他们的研究，V1区由简单细胞和复杂细胞组成，简单细胞主要响应其接受域内的特定边缘刺激，每个复杂细胞以一些简单细胞为输入，以更大的接受域来响应特定的边缘刺激，但忽略刺激的精确位置。

   Hubel-Wiesel结构使用两层神经网络模拟初级视皮层中的简单细胞和复杂细胞，每层的神经元被组织成二维平面，“简单细胞”层提取其输入巾的局部特征，“复杂细胞”层组合“简单细胞”层巾相应的子区域，使得整个网络对局部变换具有一定的不变性。

连接“简单细胞"层和其输入的权值称为滤波器组(FilterBanks)，它可以是人工设计的，也可以是可训练的。

“复杂细胞”层组合“简单细胞”层输出的方式主要有平均特征组合

和最大特征组合两种。对于任意一个W*W大小的子区域v，平均特征组合结果的计算公式为：

最大特征组合结果的计算公式为:

2.卷积神经网络的基本思想

  卷积神经网络主要用三种结构来实现对输入的局部平移不变性：局部接受域、权值共享和子采样。

2.1局部接受域和权值共享

   二维空间上的局部接受域使得神经网络可以从输入图像中提取初级视觉特征，如特定角度的边缘，端点和拐角等，后续各层可以组合这些初级特征，从而得到更高层的特征。局部接受域客观上减少了需要训练的权值数目。

   局值共享迫使那些共享同一组权值的神经元在输入的不同位置检测同一种特征。卷积神经网络把每层共享相同权值的神经元组织成一个二维平面，称为特征图(FeatureMap)，这使得输入中的平移变化，会以同样的方向和距离出现在特征图的输出中，却不引起其他形式的变化。权值共享大幅减少需要训练的权值数目，从而大大降低对训练样本的需求。

2.2子采样

   子采样操作无重叠的组合输入中同一大小的所有子区域，降低输入图像的分辨率，使得卷积神经网络对输入的局部变换具有一定的不变性，模拟初级视皮层中的复杂细胞。

3.卷积神经网络的结构

   卷积神经网络一般包含l～3个特征提取阶段，分类器一般使用一层或两层的伞连接神经网络。下图所示是具有两个特征提取阶段的卷积神经网络结构，分类器使用的是两层的伞连接神经网络。

分类器：

卷积神经网络最后一个特征提取阶段提取的特征可以输入任意的关于权值可微的分类器，使得整个网络可以使用基于梯度的学习方法进行全局训练。

常用的关于权值可微的分类器有：径向基网络(RadialBasisFunctionNetworks)、多项式逻辑回归(MultinomialLogistic Regression)、一层或两层的全连接神经网络。甚至可以使用关于权值不可微的分类器，如支持向量机，与特征提取阶段组成混合模型。

4.监督卷积神经网络

  卷积神经网络使用基于梯度的学习方法进行监督训练，实践中，一般使用随机梯度下降的版本，对于每个训练样本均更新一次权值，误差函数使用误差平方和函数。

4.1卷积层过程（matlab版本）

      下图所示是卷积神经网络中输入在一个特征提取阶段的前向传播过程，其

4.2下采样

4.3子采样层误差反向传播

4.4卷积层的误差反向传播

5.卷积神经网络的非监督

    深层网络含有较多的权值，当具有类标号的训练样本较少时，仅使用监督训练的方法不能充分训练深层网络。近年来，深层学习的研究表明，可以先使用没有类标号的训练样本逐层非脆督训练深层网络，而后，再使用少量具有类标号的训练样本监督训练深层网络，进行权值微调，这样在具有类标号的训练样本较少时，也能训练出泛化能力较高的深层网络。

    卷积神经网络的非监督训练算法主要有三种：预测稀疏分解PSD，不变预测稀疏分解IPSD和卷积预测稀疏分解CPSD。

 看的论文是图片形式的，所以有些偷懒了，有些不对的地方请指正。