未完

机器学习：致力于研究通过计算的手段，利用经验来改善系统自身的性能。
在计算机系统中，“经验”通常以“数据”的形式存在。
因此，机器学习所研究的主要内容，是关于在计算机上，从数据中产生“模型”的算法，即“学习算法”（learning algorithm）
“模型”泛指从数据中学得的结果。
学得模型对应了关于数据的某种潜在的规律，因此亦称“假设”。

归纳与演绎是科学推理的两大基本手段，前者是从特殊到一般的“泛化”过程，即从具体的事实归结出一般性规律；后者则是从一般到特殊的“特化”过程，即从基础原理推演出具体状况。
归纳学习有狭义与广义之分。广义的归纳学习大体相当于从样例中学习，而狭义的归纳学习则要求从训练数据中学得概念，因此亦称为“概念学习”或“概念形成”。

假设空间
我们可以把学习过程看作一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集“匹配”（fit）的假设。
搜素过程中可以不断删除与正例不一致的假设、和（或）与反例一致的假设，这样将会获得与训练集一致（即对所有训练样本能够进行正确判断）的假设，这就是我们学得的结果。
需要注意的是，现实问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即 存在着一个与训练集一致的“假设集合”，我们称之为：”版本空间“。

归纳偏好：
机器学习算法在学习过程中对某种类型假设的偏好，称为：归纳偏好。或简称“偏好”。
归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或价值观
“奥卡姆剃刀”（Occam’s razor）是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选择最简单的那个“。

R.S.Michalski等人把机器学习研究划分为：”从样例中学习“，”在问题求解和规划中学习“，”通过观察和发现学习“，”从指令中学习“。
”从样例中学习“，涵盖了监督学习、无监督学习等。

训练误差（经验误差）
测试误差
泛化误差

模型选择：对候选模型的泛化误差进行评估，然后选择泛化误差最小的那个模型。
评估方法：以”测试集“来测试学习器对新样本的判别能力，然后以测试集上的”测试误差“作为泛化误差的金属。