vc维

转于：http://blog.csdn.net/carson2005/article/details/6453098

为了研究函数集在经验风险最小化原则下的学习一致性问题和一致性收敛的速度，统计学习理论定义了一系列有关函数集学习性能的指标，它们包括：随机熵、VC熵、退火的VC熵、生长函数、VC维等。尽管随机熵、VC熵、退火的VC熵、生长函数等

他们在统计学习理论的发展过程中起到了一定的作用，但由于这些理论距离实际应用尚有一定的距离，后来逐渐被VC维渐渐取代。

VC维对于一个指示函数集来说，如果其生长函数是线性的，则它的VC维为无穷大；

而如果它的生长函数以参数为h的对数函数为上界，则函数集的VC维是有限的且等于h。

由于VC维是研究人员Vapnik和Chervonenkis在1958年发现的，所以，就取他们两人名字的首字母来来组成了这个名字。

研究人员通过分析得出结论：

                经验风险最小化学习过程一致的必要条件是函数集的VC维有限，且这时的收敛速度是最快的。

这样的解释或许不那么直观，下面给出它等价的更直观的定义：

            假如存在一个h个样本的样本集能够被一个函数集中的函数按照所有可能的2^h种形式分为两类，则称函数集能够把样本数为h的样本集打散（shattering）。

            指示函数集的VC维就是用这个函数集中的函数所能够打散的最大样本集的样本数目。

            也就是说，如果存在h个样本的样本集能够被函数集打散，而不存在h+1个样本集能够被函数集打散，则函数集的VC维就是h。

            如果对于任意的样本数，总能找到一个样本集能够被这个函数集打散，则函数集的VC维就是无穷大。

VC维是统计学习理论中的一个核心概念，它是目前为止对函数集学习性能的最好描述指标。

遗憾的是，目前尚没有通用的关于如何计算任意函数集的VC维的理论，只有对一些特殊的函数集的VC维可以准确知道。