诚之和:Python机器学习之逻辑回归

在机器学习领域中，逻辑回归是一个非常经典的算法。今天小编带来的是一片关于逻辑回归算法的介绍与实现，希望能给各位小伙伴带来一些帮助。

一、题目

1.主题：逻辑回归

2.描述：假设你是某大学招生主管，你想根据两次考试的结果决定每个申请者的录取
机会。现有以往申请者的历史数据，可以此作为训练集建立逻辑回归模型，并用
其预测某学生能否被大学录取。

3.数据集：文件 ex2data1.txt ，第一列、第二列分别表示申请者两次
考试的成绩，第三列表示录取结果（1 表示录取，0 表示不录取）。

二、目的

1.理解逻辑回归模型

2.掌握逻辑回归模型的参数估计算法

三、平台

1.硬件：计算机

2.操作系统：WINDOWS

3.编程软件：Pycharm

4.开发语言：python

四、基本原理

注：基本原理是我们在学习逻辑回归过程中的一些总结，包括为什么要选择对数损失函数等。

4.1 逻辑回归

逻辑回归就是将样本的特征可样本发生的概率联合起来，概率就是一个数，所以就是解决分类问题，一般解决二分类问题。
对于线性回归中，f ( x ) = w T x + b ，这里 f ( x ) 的范围为[ − ∞ , + ∞ ]，说明通过线性回归中我们可以求得任意的一个值。对于逻辑回归来说就是概率，这个概率取值需要在区间[0,1]内，通常我们使用Sigmoid函数表示。

Sigmoid函数其表达式为（2）

最终我们可以通过Sigmoid函数求出对于每组自变量使得因变量预测为1的概率P；

即：

（当P>0.5时预测为1，小于0.5为0）
在分类情况下，经过学习后的LR分类器其实就是一组权值θ ，当有测试样本输入时，这组权值与测试数据按照加权得到

之后按照Sigmoid函数的形式求出