lecture 8：OLS回归模型

先学习这个资料：

OLS自编算法，不调用函数

重要的英文参考资料：

Using Python for Introductory Econometrics

kevinsheppard讲授Python做计量

相关分析

1.相关系数的计算公式：
r = ∑ ( x i − x ˉ ) ( y i − y ˉ ) ∑ ( x i − x ˉ ) 2 ∑ ( y i − y ˉ ) 2 r=\frac{\sum (x_{i}-\bar{x})(y_{i}-\bar{y})}{\sum (x_{i}-\bar{x})^{2}\sum(y_{i}-\bar{y})^{2}} r=∑(xi​−xˉ)2∑(yi​−yˉ​)2∑(xi​−xˉ)(yi​−yˉ​)​
2. 统计量：
t = r ∗ n − 2 1 − r 2 ， 自 由 度 ： （ n − 2 ） t=\frac{r*\sqrt{n-2}}{\sqrt{1-r^{2}}} ， 自由度：（n-2） t=1−r2 ​r∗n−2 ​​，自由度：（n−2）
3.根据 t 统计量来计算显著性水平，从而确认 ( x , y ) (x,y) (x,y)之间的相关性是否显著（ H 0 H0 H0：相关系数等于0，即相关性不显著）。

import pandas as pd
import numpy as np
import scipy.stats as stats
import matplotlib.pyplot as plt
%matplotlib inline
from sklearn.linear_model import LinearRegression


data=pd.DataFrame()
data=pd.DataFrame(pd.read_excel(r"D:\myfolder\al5-1.xls"))
x=np.array(data[['adv']])
y=np.array(data[['sale']])

plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
#matplotlib画图中中文显示会有问题，需要这两行设置默认字体
 
plt.xlabel('X')
plt.ylabel('Y')
colors1 = '#00CED1' #点的颜色
area = np.pi * 16**2  # 点面积 
plt.scatter(x, y, s=area, c=colors1, alpha=0.4, label='散点图：adv-sale')
plt.plot(linewidth = '0.5',color='#000000')
plt.legend()
print(type(x)) #<class 'numpy.ndarray'>
x=np.squeeze(x)
y=np.squeeze(y)
corr,pval=stats.pearsonr(x,y)
print( '相关系数（pearson 间隔量表） = %6.5f  显著性水平 = %6.5f' % (corr, pval))

corr,pval=stats.spearmanr(x,y)
print( '相关系数（spearman 顺序量表） = %6.5f  显著性水平 = %6.5f' % (corr, pval))

<class ‘numpy.ndarray’>
相关系数（pearson ） = 0.96368 显著性水平 = 0.00000
相关系数（spearman） = 0.99301 显著性水平 = 0.00000

计算相关系数表

df=data[['time','adv','sale']]
df.corr()

利用现有数据回归一下：

import statsmodels.api as sm #最小二乘
from statsmodels.formula.api import ols #加载ols模型

lm=ols('sale~ adv',data=data).fit()
print(lm.summary())

请看看上面的结果，相关系数（pearson ） = 0.96368，它的平方等于 0.9286791423999999，然后再看看上面的回归结果， R 2 R^{2} R2=0.929。这也验证了在二元回归方程中： R 2 = r 2 R^{2}=r^{2} R2=r2。

例子：

import statsmodels.formula.api as smf
model = smf.ols('distress ~ num_at_risk + launch_temp + leak_check_pressure + order', data = data)
result = model.fit()
# result.summary()
import matplotlib.pyplot as plt
plt.figure(figsize = (10, 8), dpi = 80)
plt.scatter(result.fittedvalues, result.resid)
plt.plot([-0.3, 1.3], [0, 0], color = "black")
plt.show()

#############
import numpy as np
import pandas as pd
from sklearn.linear_model import BayesianRidge, LinearRegression, ElasticNet
from sklearn.svm import SVR
from sklearn.ensemble.gradient_boosting import GradientBoostingRegressor   # 集成算法
from sklearn.model_selection import cross_val_score    # 交叉验证
from sklearn.metrics import explained_variance_score, mean_absolute_error, mean_squared_error, r2_score  
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline

# 数据导入
df = pd.read_csv('https://raw.githubusercontent.com/ffzs/dataset/master/boston/train.csv', 
                 usecols=['lstat', 'indus', 'nox', 'rm', 'medv'])

# 可视化数据关系
sns.set(style='whitegrid', context='notebook')   #style控制默认样式,context控制着默认的画幅大小
sns.pairplot(df, size=2)
plt.savefig('x.png')
#######
# 相关度
corr = df.corr()
# 相关度热力图
sns.heatmap(corr, cmap='GnBu_r'