本文为自己学习《西瓜书》时做的一些笔记,方便知识点的梳理复习。
线性模型
线性回归
- 目标: 试图学的一个模型尽可能准确的预测实值输出标记y
- 属性值的转化:
- 属性值间存在序关系,则可以转化为连续值
- 不存在序关系,通常将k个属性转化为k维向量
一元线性回归函数
- 线性方程如何求解
- 求解的关键在于:如何使f(x) ≈ y尽可能准确
- 所以,w,b的取值,应该在min∑(f(x)-y)^2。(这里使用的是均方误差,因为它是回归任务中最常用的性能度量),该方法称 模型的最小二乘“参数估计”
- 求解方法: 求偏导,联立方程
多元线性回归函数
- 求解公式,
- 现实中,方程有唯一解的条件一般不满足,会出现多个解。 对于如何选择,这是由学习算法的归纳偏好决定的,最常见的方法是引入正则化项。
广义线性模型
对数几率回归
概念区分
线性判别分析(LDA)
- 思想: 给定训练样例集,设法将样例投影到一条直线事上,使得同类样例的投影尽可能接近,异类投影点尽可能远离;在对新样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定新样本的类别。
(即对直线位置的寻找,该直线满足两个条件.1. 同类样例投影尽可能近。2.不同类尽可能远。)
- 使同类样例投影尽可能近
- 让同类样例投影点的协方差尽可能小(两样本协方差之和)
- 使异类样例投影点尽可能远离
- 通过让类中心之间的距离尽可能大(两样本协方差之差)
- 同时考虑两者,可得到欲最大化的目标J(差/和)
- 定义类内散度矩阵和类间散度矩阵,可以重新定义LDA欲最大化的目标J,也被称为Sb和Sw的“广义瑞利商”
-
如何求解广义瑞利商?
拉格朗日乘数法吧…没看懂
-
将LDA推广到多分类任务。
- P62,只提到了起取值条件,J最大
- LDA也常被视为一种监督降维技术
多分类学习
现实中常遇到多分类任务,对于该类问题,我们基于一些基本策略,利用二分类学习器来解决多分类问题。本节的重点为: 拆分策略
- 基本思路:“拆分法”,即将多分类任务拆为若干二分类任务求解。集体来说,先对问题进行拆分,然后为拆分出的每个二分类任务训练一个分类器;在测试时,对这些分类器的预测结果进行集成以获得最终的多分类结果。 其关键在于如何对多分类任务进行拆分,以及如何对多个分类器进行集成。
拆分策略(经典的有3种)
类别不平衡问题
- 定义,带来的问题
- 类别不平衡学习的一个基本策略————再缩放
- 欠采样,减少一些反例使正反例数目接近
- 过采样,增加一些正例使正反例数目接近
- 阈值移动,基于原始数据学习,但用训练好的分类器进行预测时,将公式代入到决策过程中。
- 各方法的优缺点