SOM自组织神经网络学习

SOM背景介绍

SOM是一种自组织（竞争型）神经网络，其认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。SOM 网络正是根据这一看法提 出来的，通过不断的发展，现已被广泛应用于语音识别、图像 处理、分类聚类、组合优化 (如 TSP 问题)、数据分析和预测等 众多信息处理领域。

SOM网络结构

SOM网络由两个层次组成，即输入层和输出层(竞争层)。 输入层接受样本输入，节点数和样本维数一样；输出层上，神经元之间相互竞争，通过修改神经元之间的连接权重，使得若干神经元活跃，并最终得出获胜结点。神经元的排列有多种形式，有输出层按一维阵列组织的SOM网，其结构最为简单； 有输出层按二维平面组织的 SOM 网，是最典型的组织方式， 其每个神经元同它周围的其它神经元侧向连接，并标以权重。

分类与聚类

分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中，

聚类是无导师指导的分类，目的是将相似的模式样本划归一类，而将不相似的分离开来,实现模式样本的类内相似性和类间分离性。由于无导师学习的训练样本中不含期望输出，因此对于某一输入模式样本应属于哪一类并没有任何先验知识。对于一组输入模式，只能根据它们之间的相似程度来分为若干类，因此，相似性是输入模式的聚类依据。

SOM算法设计背景知识

SOM中度量相似性的两种方法

1.欧式距离法

很容易证明，当图中X与Xi都是模为1的单位向量时（其实不一定要1，只要是常数就行），欧氏距离等价于余弦相似度（距离最小相似度越大），而余弦相似度退化为向量内积。
2.余弦法

优胜邻域的设计

以获胜神经元为中心设定一个邻域半径R，该半径固定的范围称为优胜邻域。在SOM网学习方法中，优胜邻域内的所有神经元，均按其离开获胜神经元距离的远近不同程度调整权值。优胜邻域开始定的较大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。

学习率的设计
在训练开始时，学习率可以选取较大的值，之后以较快的速度下降，这样有利于很快捕捉到输入向量的大致结构，然后学习率在较小的值上缓降至0值，这样可以精细地调整权值使之符合输入空间的样本分布结构。学习率就是一个递减的函数（学习率可以参考上面优胜邻域半径的设定形式，可选形式类似），而优胜邻域也是t的递减函数，只不过我们队优胜邻域内的点进行更新罢了。

竞争学习原理

竞争学习规则的生理学基础是神经细胞的侧抑制现象：当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。最强的抑制作用是竞争获胜的“唯我独兴”，这种做法称为“胜者为王”（WinnerTake-All，WTA）。竞争学习规则就是从神经细胞的侧抑制现象获得的。

学习步骤

1.向量归一化

2.寻找获胜神经元

3.网络输出与权调整

4.重新归一化处理

学习算法

1.初始化

2.接受输入

3.寻找获胜节点

4.定义优胜邻域

5.调整权值

6.结束判定