作者主页(文火冰糖的硅基工坊)：https://blog.csdn.net/HiWangWenBing
本文网址：https://blog.csdn.net/HiWangWenBing/article/details/119973082
目录
4.3 步骤3：构建最小二乘的残差函数，并计算最佳参数（最关键步骤）
5.3 步骤3：构建最小二乘的残差函数，并计算最佳参数（最关键步骤）
利用有限的样本数据，发现其内在的规律，并用这个规律预测未来新的数据。
（1）单个数据点
（2）2个数据点
（3）3个数据点
问题：
如果有(xn+1,yn+1), (xn,yn)........(x1,y1), (x0,y0)样本点，那么如何选择一个最低次的多项式函数，可以穿过上述样本点？
推测：
对应n+1个点，可以唯一的确定一个一元n次的多项式函数，该多项式函数可以穿越所有n+1个点。
如果有n个点，不要求选出的函数穿越所有的点，而是根据这些点构建的轮廓，选择一个更低维度（次数）的函数尽可能的靠近这些样本点呢？
当函数的次数远远小于样本点的次数是，该如何选择低次的函数?
回归与拟合是基本相同的概念。线性拟合通常称为线性回归。
（1）简单直线拟合好于多项式拟合
在上图图有，有几十个样本点，如果用多项式插值来进行函数逼近，虽然插值函数在样本点的误差为0，但很显然，需要高次多项式来进行逼近。
如果样本点有几百个，那么多项式的次数高达几百次。
从图中可以大致看出，要逼近上述样本点，只需要一个简单的线性函数即可：y=ax+b，这种函数逼近称为拟合。
（2）抛物线逼近
同理，对上述样本点的逼近，也不需要几十次的多项式进行插值，值需要一个简单的抛物线就可以进行逼近：y =ax^2 + bx + c，，这种函数逼近称为拟合。
（3）三角函数拟合
步骤1：构建样本
（1）读取已有样本数据，并图形展示样本数据。或者
（2）构建自行测试样本数据
（3）图形化展示样布数据（散点图）
步骤2：选择函数模型
根据散点图，选择函数类，函数类可以从初等函数中进行选取，如线性函数、二次或多次多项式函数、三角函数等。
步骤3： 构建最小二乘的残差函数，并计算最佳参数（最关键步骤）
（1）选择最佳拟合的范数（这里选择最小二乘法）
选取了函数类型后，每个函数都有自己的待定参数，不同的参数，其拟合效果是不同的，如何选择函数的参数，使得拟合效果最好呢？常有的有最小二乘法。
最小二乘法是函数拟合最重要的环节之一。
（2）计算最佳参数（这是最关键、最核心的步骤）
最小二乘法得到的loss残差函数是一个多元二次多项式函数：
求解多元二次多项式函数的方法有多种：
无论哪种方法，都是通过求残差函数的最小值，基于指定样本数据，获得了最佳参数的拟合函数。
步骤4：利用拟合函数进行数据预测
生成一组输入数据，利用第4步获得的拟合函数的参数以及对应的拟合函数，对数据进行函数运算（预测），得到新的输出数据。
步骤5：图形展示
把预测数据与采样数据、理论曲线一起进行图形展示。
注意：
最小二乘选择一个适当的直线参数，使得所有样本点处的yi - f(xi) = yi -（axi+b)的平方和的平均值最小，而不是所有样本点到拟合直线的距离的和的平均值最小。
这样选择，主要处于如下原因：
（1）计算简单：求点到拟合曲线的距离要比直接计算样本点处的Y值的差复杂很多。
（2）符合拟合函数原本的物理意义：拟合函数要在所有的样本点xi处，其f(xi）也尽可能的相等，或者说误差尽可能的小。
（1）最小二乘法求解1：“法向量”线性方程组求解法
（2）最小二乘法求解2：梯度下降法
可以直接利用scipy库提供的最小二乘的的算法，来根据样本数据计算拟合函数的参数。
from scipy import optimize #最小二乘算法的算法库
optimize.curve_fit(f, x_data, y_data)输出：
输出：
#导入库
from math import *
import time
import numpy as np
import matplotlib.pyplot as plt #画图工具
from pylab import mpl #中文字体
from scipy import optimize #最小二乘算法的算法库#步骤1：构建样本
#(1) 采用np, 直接手工生成样本的输入：一组等距离的分布在[-1,1]之间的100个点
sample_numbers = 50
x_data = np.linspace(0, 1, sample_numbers)
#(2) 为这些数据手工打上理论输出值（标签值）：y = 2x + 1
y_data_pure = 2 * x_data + 1.0
#（3）为了模拟现实情况，通过随机数来模拟数据噪声
noise_range = 0.4
np.random.seed(10) #设置随机种子, 确保不同时候，执行结果是相同的
#randn(n)生成的0为均值，1为标准差的正态分布的n个随机数。
y_noise = np.random.randn(*x_data.shape) * noise_range # *x_data.shape：输入样本的维度或个数
#（4）人工生成样本的输出：理论值 + 噪声
y_data_noise = y_data_pure + y_noise
#(5) 显示样本数据
# 样本的散点图
plt.scatter(x_data, y_data_noise, label="sample", color="black")
# 内在的、理论的曲线图
plt.plot(x_data, y_data_pure, label="f_pure(x)", color="blue", linewidth = 4)
#设置属性
mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['axes.unicode_minus'] = False
plt.title("线性拟合")
plt.legend(loc="upper left")
plt.show()
#步骤2：构建拟合函数：二元一次拟合函数, x变量，w是常量
def f_line_w(x, w):
return (w*x + 1)#步骤3: 计算拟合参数
print("利用python库提供的最小二乘算法来计算拟合函数的参数")
print("无噪声数据：")
popt, pcov = optimize.curve_fit(f_line_w, x_data, y_data_pure)
print(popt)
print(pcov)
print("参数w=", popt[0])
print("\n有噪声数据：")
popt, pcov = optimize.curve_fit(f_line_w, x_data, y_data_noise)
print(popt)
print(pcov)
print("参数w=", popt[0])
w_scipy = popt[0]利用python库提供的最小二乘算法来计算拟合函数的参数 无噪声数据： [2.] [[0.]] 参数w= 2.0 有噪声数据： [2.03981828] [[0.00794081]] 参数w= 2.03981827977079
备注说明：
这里利用python库提供的最小二乘算法来计算拟合函数的参数。
因此没有展现用数值的方法求最小二乘最佳参数的过程。
# 步骤4：利用获得的拟合函数进行数据预测
# scipy 算法的拟合数据
y_data_scipy = f_line_w(x_data, w_scipy)
#步骤5： 图形化展示
#(1) 显示样本数据曲线
plt.scatter(x_data, y_data_noise, label="sample", color="black")
#(2) 显示理论数据曲线
plt.plot(x_data, y_data_pure, label="intrinsic", color="blue", linewidth = 2)
#(3-1) 显示预测数据曲线 - scipy库实现
plt.plot(x_data, y_data_scipy, label="predict", color="red", linewidth = 2)
#设置属性
mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['axes.unicode_minus'] = False
plt.title("线性拟合")
plt.legend(loc="upper left")
plt.show()
#导入库
from math import *
import time
import numpy as np
import matplotlib.pyplot as plt #画图工具
from pylab import mpl #中文字体
from scipy import optimize #最小二乘算法的算法库#步骤1：构建样本
#(1) 采用np, 直接手工生成样本的输入：一组等距离的分布在[-1,1]之间的100个点
sample_numbers = 30
x_data_new = np.linspace(-2, 4, sample_numbers)
#(2) 为这些数据手工打上理论输出值（标签值）
a_intrinsic = 1.0
b_intrinsic = -2.0
c_intrinsic = 1.0
y_data_pure_new = a_intrinsic*x_data_new**2 + b_intrinsic*x_data_new + c_intrinsic
#（3）为了模拟现实情况，通过随机数来模拟数据噪声
noise_range = 0.4
np.random.seed(10) #设置随机种子, 确保不同时候，执行结果是相同的
#randn(n)生成的0为均值，1为标准差的正态分布的n个随机数。
y_noise_new = np.random.randn(*x_data_new.shape) * noise_range # *x_data.shape：输入样本的维度或个数
#（4）人工生成样本的输出：理论值 + 噪声
y_data_noise_new = y_data_pure_new + y_noise_new
#(5) 显示样本数据
# 样本的散点图
plt.scatter(x_data_new, y_data_noise_new, label="sample", color="black")
# 内在的、理论的曲线图
plt.plot(x_data_new, y_data_pure_new, label="f_pure(x)", color="blue", linewidth = 4)
#设置属性
mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['axes.unicode_minus'] = False
plt.title("线性拟合")
plt.legend(loc="upper left")
plt.show()
#步骤2：构建拟合函数：二元一次拟合函数
def f_quadratic(x, a, b, c):
return (a*x**2 + b*x + c)#步骤3：利用python库提供的最小二乘算法来计算拟合函数的参数
rst = optimize.curve_fit(f_quadratic, x_data_new, y_data_noise_new)
print(rst)
a, b,c = rst[0]
print("参数a=", a)
print("参数b=", b)
print("参数c=", c)(array([ 1.02865517, -2.02758343, 0.98623065]), array([[ 0.00073372, -0.00146745, -0.00161925],
[-0.00146745, 0.00481099, 0.0013624 ],
[-0.00161925, 0.0013624 , 0.01146607]]))
参数a= 1.0286551700726068
参数b= -2.027583425950391
参数c= 0.9862306473484475
备注说明：
这里利用python库提供的最小二乘算法来计算拟合函数的参数。
因此没有展现用数值的方法求最小二乘最佳参数的过程。
# 步骤4：利用获得的拟合函数进行数据预测
y_data_fit_new = f_quadratic(x_data_new, a, b, c)#步骤5： 图形化展示
#(1) 显示样本数据曲线
plt.scatter(x_data_new, y_data_noise_new, label="sample", color="black")
#(2) 显示理论数据曲线
plt.plot(x_data_new, y_data_pure_new, label="intrinsic", color="blue", linewidth = 2)
#(3) 显示预测数据曲线
plt.plot(x_data_new, y_data_fit_new, label="predict", color="red", linewidth = 2)
#设置属性
mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['axes.unicode_minus'] = False
plt.title("非线性拟合")
plt.legend(loc="upper left")
plt.show()
作者主页(文火冰糖的硅基工坊)：https://blog.csdn.net/HiWangWenBing
本文网址：https://blog.csdn.net/HiWangWenBing/article/details/119973082