之前由于机器学习，人工智能，数据分析大火，为了顺应时代，于是找了几个国外的视频网站看了点相关的讲解，但由于本人英语水平有限，看起来太吃力，而且当时也没有Python的基础，听得晕头转向的。然后就买了两本书，打算进行系统性的学习。其中一本就是这本被大力推荐的西瓜书。刚拿到书，翻了一下，全是数学公式，好吧，这西瓜有点难啃，丢一边先学python。
现在python马马虎虎了，打算啃西瓜了。
机器学习是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。
经验就是数据，而机器学习就是让计算机从数据中产生出模型的算法，即学习算法。有了学习算法，我们就可以基于这些数据产生相应的模型。
要进行机器学习，就先要有数据。
D={x1,x2,...,xm} 表示包含 m 个示例的数据集
每个示例有
为了建立预测的模型，光有前面的示例数据是不行的，还需要得到训练样本的结果信息。
标记空间（label space）或输出空间：所有标记的集合， Y
分类（classification）学习任务：预测的是离散值，如好瓜，坏瓜
我们可以把学习过程看做一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集匹配的假设，即能够将训练集中的瓜正确判断正确的假设。假设的表示一旦确定，假设空间极其规模大小就确定了。
显示问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的假设集合，我们称之为版本空间（version space）。
归纳偏好（inductive bias）：机器学习算法在学习过程中对某种类型假设的偏好。任何一个有效的机器学习算法必须有其归纳偏好，否则它将被假设空间中刊社在训练集上等效的假设所迷惑，而无法产生确定的学习结果。
归纳偏好可看作是学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或价值观。
奥卡姆剃刀（Occam’s razor）是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选最简单的那个”。
无论学习算法 La 多聪明、学习算法 Lb 多笨拙，他们的期望性能相同。
学习算法自身的归纳偏好与问题是否相配，往往会起到决定性作用。
机器学习是人工智能研究发展到一定阶段的必然产物。
| 年代 | 时期 | 理论 | 代表作 |
|---|---|---|---|
| 1950~1970 | 推理期 | 赋予机器逻辑推理能力，机器就具有智能 | “逻辑理论家”程序 |
| 1970 | 知识期 | 要使机器具有智能，就必须设法使机器拥有知识 | 知识工程 |
| 1980 | 学习期 | 机器自己学习知识 | 归纳逻辑程序设计（ILP） |
机器学习分类：
从样例中学习主流：
