“回归与分类的根本区别在于输出空间是否为一个度量空间。”
我们不难看到,回归问题与分类问题本质上都是要建立映射关系
-
对于回归问题,其输出空间B是一个度量空间,即所谓“定量”。也就是说,回归问题的输出空间定义了一个度量 去衡量输出值与真实值之间的“误差大小”。例如:预测一瓶700毫升的可乐的价格(真实价格为5元)为6元时,误差为1;预测其为7元时,误差为2。这两个预测结果是不一样的,是有度量定义来衡量这种“不一样”的。(于是有了均方误差这类误差函数)。
-
对于分类问题,其输出空间B不是度量空间,即所谓“定性”。也就是说,在分类问题中,只有分类“正确”与“错误”之分,至于错误时是将Class 5分到Class 6,还是Class 7,并没有区别,都是在error counter上+1。
而非很多回答所提到的“连续即回归,离散即分类”。
事实上,在实际操作中,我们确实常常将回归问题和分类问题互相转化(分类问题回归化:逻辑回归;回归问题分类化:年龄预测问题——>年龄段分类问题),但这都是为了处理实际问题时的方便之举,背后损失的是数学上的严谨性。
回归方法处理分类问题本质上就是把没有度量的“类标签”赋予一个连续度量,常见的选择就是概率。例如给出三个样本,其原始标签是“类A、类B、类C”,转化后的新标签就是【1,0,0】,【0,1,0】,【0,0,1】(对就是onehot编码)。最后通过回归建立一个误差函数最小的拟合模型,然后比如说该模型对测试样本输出为【0.0914,0.2587,0.8321】则代表了该样本属于每一类的概率,然后视分类判决依据将该样本分至相应类,(若按最大似然标准,则此处样本归为类C)。现在多分类所采用的softmax就是这么做的。
回归和分类的区别就是评价体系的区别,和离散还是连续没有关系,举个例子,请问预测明天是【晴天、阴天、雨天】是个回归问题还是分类问题?回答这个问题不是看数据集是离散的还是连续的啊,而是把雨天误分为晴天和把雨天误分为阴天这两种情况的“错误程度”是否相当,若是则是分类问题,若不是则是回归问题。
参考:
https://www.zhihu.com/question/21329754