几个词

 最近总是遇到几个词，启发式算法，过学习，泛法能力

启发式：而启发式方法（试探法）是一种帮你寻求答案的技术，但它给出的答案是具有偶然性的（subject to chance），因为启发式方法仅仅告诉你该如何去找，而没有告诉你要找什么。它并不告诉你该如何直接从A 点到达B 点，它甚至可能连A点和B点在哪里都不知道。实际上，启发式方法是穿着小丑儿外套的算法：它的结果不太好预测，也更有趣，但不会给你什么30 天无效退款的保证。

泛化能力：学习的目的是学到隐含在数据对背后的规律,对具有同一规律的学习集以外的数据,该神经网络仍具有正确的响应能力,称为泛化能力[3].然而,一些神经网络模型在某些场合的实际应用暴露了其泛化能力有限的问题

在企业的各项管理活动中,例如计划、生产、运输、技术等问题,线性规划是指从各种限制条件的组合中,选择出最为合理的计算方法,从而求得最佳结果.决策变量、约束条件、目标函数是线性规划的三要素

过学习：有时候训练误差过小，而推广能力变差

置信区间、置信限和置信度　所谓置信区间是指母体参数具有一定概率(可靠度,又称置信概率)落入的区间(范围).置性限就是指置信区间的上、下限,即范围的两个端点值

 

然后讲支持向量机，从广义最优分类面开始，那么我的问题1：广义最优分类面是怎样和上面讲到的经验风险和置信区间联系起来的？
问题2： 对于非线性可分情况才使用核函数映射到高维空间，那么为什么常见的svm软件包都直接设置核函数而不论是否线性可分？

1实现结构风险最小化的方法不是唯一的，SVM只是一种比较实际的方法。支持向量机方法是通过降低VC维的上界，即降低泛化误差或者说是置信区间，然后在VC维比较小的函数集中实现经验风险最小化。
2 有相关证明证实一定存在合适的核函数可以解决非线性可分问题，但是现成没有给出相关的构造理论来指导如何构造这个核函数。平常采用的只能是一些启发式的方法或者借助于特定领域中的先验知识。

（转）统计学习理论是研究利用经验数据进行机器学习的一种一般理论，属于计算机科学、模式识别和应用统计学相交叉与结合的范畴，其主要创立者是本书的作者Vladimir N. Vapnik。统计学习理论的基本内容诞生于20世纪60~70年代，到90年代中期发展到比较成熟并受到世界机器学习界的广泛重视，其核心内容反映在Vapnik的两部重要著作中，本书即是其中一部，另一部是“The Nature of Statistical Learning Theory”（《统计学习理论的本质》）。 由于较系统地考虑了有限样本的情况，统计学习理论与传统统计学理论相比有更好的实用性，在这一理论下发展出的支持向量机（SVM）方法以其有限样本下良好的推广能力而备受重视。

最小化经验风险和置信区间可以看做是一个预解的向量空间，他的原理是把事件的统计分布数学离散形式，转化成连续公理的非欧几何形式，然后再在坐标上用解析几何的方法，进行分类的距离性划分和预测。而只有非线性的椭圆和双曲方程，才能把非线性曲面上的点，都映射在有焦距和鞍距的2个焦点与鞍点上，然后才能用程序来处理。所以常见的svm软件包都直接设置核函数而不论是否线性可分。

从观测数据中学习归纳出系统运动规律，并利用这些规律对未来数据或无法观测到的数据进行预测一直是智能系统研究的重点。传统学习方法中采用的经验风险最小化准则（empirical risk minimization, ERM），虽然可以使训练误差最小化，但并不能最小化学习过程的泛化误差。ERM不成功的例子就是神经网络的过学习问题，为此vapnik;提出了结构风险最小化准则（structural risk minimization,SRM）通俗地说就是通过对推广误差(风险)上界的最小化达到最大的泛化能力。Vapnik提出的支持向量机（support vector machine,SVM）就是这种思想的具体实现。支持向量机的基本思想是在样本空间或特征空间，构造出最优超平面，使得超平面与不同类样本集之间的距离最大，从而达到最大的泛化能力。

支持向量机方法本质上是一个非负的二次型优化问题。在理论上可以得到全局最优的解析解，因此ＳＶＭ不存在局部最优化问题．

支持向量机方法求解最优分类问题，其本质上是一个二次规划问题

运行时间和计算内存是海量样本数据求解SVM的主要瓶颈!针对海量样本数据如何减少二次规划求解过程的计算时间和内存一直是SVM的研究热点