最近需要学习机器学习，有一点点基础但是很少，希望能通过写博客的方式和大家交流以及学习达到共同进步的目的。
绪论 ：
一、内容
1.基本术语
2.假设空间与版本空间
3.归纳偏好（常用的有奥卡姆剃刀） 没有免费的午餐定理（No Free Lunch Theorem,NFL，前提建设f均匀分布）式（1.2）显示总误差竟然与学习算法无关！告诉我们要谈论算法的相对优劣，必须要针对具体的学习问题。学习算法自身的归纳偏好与问题是否匹配，往往会起到决定性的作用！
二、课后答案：
1、表1.1中若只包含编号为1，4的两个样例，试给出相应的版本空间。
首先求出这个问题的假设空间。数据集有3个属性，每个属性2种取值，加上可能取所有值都合适，‘*’，以及可能所有瓜都不是好瓜的取值空值，一共 3∗3∗3+1=28种假设，分别为
1.色泽=青绿 根蒂=蜷缩 敲声=浊响
2.色泽=青绿 根蒂=蜷缩 敲声=沉闷
3.色泽=青绿 根蒂=稍蜷 敲声=浊响
4.色泽=青绿 根蒂=稍蜷 敲声=沉闷
5.色泽=乌黑 根蒂=蜷缩 敲声=浊响
6.色泽=乌黑 根蒂=蜷缩 敲声=沉闷
7.色泽=乌黑 根蒂=稍蜷 敲声=浊响
8.色泽=乌黑 根蒂=稍蜷 敲声=沉闷
9.色泽=青绿 根蒂=蜷缩 敲声=*
10.色泽=青绿 根蒂=稍蜷 敲声=*
11.色泽=乌黑 根蒂=蜷缩 敲声=*
12.色泽=乌黑 根蒂=稍蜷 敲声=*
13.色泽=青绿 根蒂=* 敲声=浊响
14.色泽=青绿 根蒂=* 敲声=沉闷
15.色泽=乌黑 根蒂=* 敲声=浊响
16.色泽=乌黑 根蒂=* 敲声=沉闷
17.色泽=* 根蒂=蜷缩 敲声=浊响
18.色泽=* 根蒂=蜷缩 敲声=沉闷
19.色泽=* 根蒂=稍蜷 敲声=浊响
20.色泽=* 根蒂=稍蜷 敲声=沉闷
21.色泽=青绿 根蒂=* 敲声=*
22.色泽=乌黑 根蒂=* 敲声=*
23.色泽=* 根蒂=蜷缩 敲声=*
24.色泽=* 根蒂=稍蜷 敲声=*
25.色泽=* 根蒂=* 敲声=浊响
26.色泽=* 根蒂=* 敲声=沉闷
27.色泽=* 根蒂=* 敲声=*
28.空集Ø
版本空间是与训练集一致的假设集合，因此我们根据数据1,4分别对假设空间中的假设进行搜索，搜索过程不断删除与正例不一致的假设，和与反例一致的假设。最终获得与训练集一致的假设即可。
得到的版本空间如下：
1.色泽=青绿 根蒂=蜷缩 敲声=浊响
9.色泽=青绿 根蒂=蜷缩 敲声=*
13.色泽=青绿 根蒂=* 敲声=浊响
17.色泽=* 根蒂=蜷缩 敲声=浊响
21.色泽=青绿 根蒂=* 敲声=*
23.色泽=* 根蒂=蜷缩 敲声=*
25.色泽=* 根蒂=* 敲声=浊响
2、与使用单个合取式来进行假设表示相比，使用“析合范式”将使得假设空间具有更强的表示能力。若使用最多包含k个合取式的析合范式来表达1.1的西瓜分类问题的假设空间，试估算有多少种可能的假设
这个也是参考了其他人的答案，没有看明白，有兴趣的同学可以去页面底部查看链接文章。
3、若数据包含噪声，则假设空间中可能不存在与所有训练样本都一致的假设。在此情形下，试设计一种归纳偏好用于假设选择
通常认为两个数据的属性越相近，则更倾向于将他们分为同一类。若相同属性出现了两种不同的分类，则认为它属于与他最临近几个数据的属性。也可以考虑同时去掉所有具有相同属性而不同分类的数据，留下的数据就是没误差的数据，但是可能会丢失部分信息。
4、本章1.4节在论述“没有免费的午餐”定理时，默认使用了“分类错误率”作为性能度量来对分类器进行评估。若换用其他性能度量l，试证明没有免费的午餐”定理仍成立
考虑二分类问题，真实目标函数可以是任何函数X->{0, 1},函数空间为2的|X|平方，对所有的可能的f按均匀分布对误差求和，对l(f(x), h(x))求和是一个常数，所有最后结果与（1.2）除前边的常数外其他一样。我觉得这个定理最重要的就是要明白前提f满足均匀分布。
5.试述机器学习在互联网搜索的哪些环节起什么作用
1.消息推送，相关推荐
2.分类搜索
课后试题参考 http://blog.csdn.net/icefire_tyh/article/details/52065224