参考: https://www.cnblogs.com/zhizhan/p/5038747.html
为什么把SVM和LR放在一起进行比较?
一是因为这两个模型应用广泛。
二是因为这两个模型有很多相同点,在使用时容易混淆,不知道用哪个好,特别是对初学者。
相同点
- 都是线性分类器。本质上都是求一个最佳分类超平面。
- 都是监督学习算法。
- 都是判别模型。通过决策函数,判别输入特征之间的差别来进行分类。
常见的判别模型有:KNN、SVM、LR。
常见的生成模型有:朴素贝叶斯,隐马尔可夫模型。
不同点
1) 本质上是损失函数不同
LR的损失函数是交叉熵:
SVM的目标函数: