R语言回归分析
回归分析可以说是统计学的核心，它其实是一个广义的概念，通指那些用一个或多个预测变量（也称自变量或解释变量）来预测响应变量（也称因变量、效标变量或结果变量）的方法。通常，回归分析可以用来挑选与响应变量相关的解释变量，可以描述两者的关系，也可以生成一个等式，通过解释变量来预测响应变量。下面将通过几篇博客介绍回归分析，这是第一篇：拟合最小二乘法回归模型。
最小二乘法回归是通过预测变量的加权和来预测量化的因变量，其中权重是通过数据估计而得的参
数，目标是通过减少响应变量的真实值与预测值的差值来获得模型参数（截距项和斜率），具体而言，即使得残差平方和最小。
1、使用lm()拟合线性回归模型
在R语言中，lm()函数是拟合线性模型经常使用的函数，格式为：lm.fit <- lm(formula, data)
- formula：要拟合的模型形式，用
~隔离预测变量和响应变量，左侧为响应变量，右侧为预测变量，各个变量之间用+隔离。
- data：数据框。
下面的表格显示了不同符号修改表达式：
| 符号 |
用途 |
| ~ |
分隔符号，左边为响应变量，右边为解释变量。例如，要通过 x 、 z 和 w 预测 y ，代码为 y ~ x + z + w |
| + |
分隔预测变量 |
| ： |
表示预测变量的交互项。例如，要通过 x 、 z 及 x 与 z 的交互项预测 y ，代码为 y ~ x + z + x:z |
| * |
表示所有可能交互项的简洁方式。代码 y~ x * z * w 可展开为 y ~ x + z + w + x:z + x:w + z:w +x:z:w |
| ^ |
表示交互项达到某个次数。代码 y ~ (x + z + w)^2 可展开为 y ~ x + z + w + x:z + x:w + z:w |
| . |
表示包含除因变量外的所有变量。例如，若一个数据框包含变量 x、y、z 和 w ，代码 y ~ .可展开为 y ~x + z + w |
| - |
减号，表示从等式中移除某个变量。例如， y ~ (x + z + w)^2 – x:w 可展开为 y ~ x + z + w +x:z + z:w |
| -1 |
删除截距项。例如，表达式 y ~ x - 1 拟合 y 在 x 上的回归，并强制直线通过原点 |
| I() |
从算术的角度来解释括号中的元素。例如， y ~ x + (z + w)^2 将展开为 y ~ x + z + w + z:w 。相反, 代码 y ~ x + I((z + w)^2 )将展开为 y ~ x + h ， h 是一个由 z 和 w 的平方和创建的新变量 |
| function |
可以在表达式中用的数学函数。例如， log(y) ~ x + z + w 表示通过 x 、 z 和 w 来预测 log(y) |
除了 lm() ，下表还列出了其他一些对做简单或多元回归分析有用的函数。拟合模型后，将
这些函数应用于 lm() 返回的对象，可以得到更多额外的模型信息:
| 函数 |
用途 |
| summary() |
展示拟合模型的详细结果 |
| coefficients() |
列出拟合模型的模型参数（截距项和斜率） |
| confint() |
提供模型参数的置信区间（默认 95%） |
| fitted() |
列出拟合模型的预测值 |
| residuals() |
列出拟合模型的残差值 |
| anova() |
生成一个拟合模型的方差分析表，或者比较两个或更多拟合模型的方差分析表 |
| vcov() |
列出模型参数的协方差矩阵 |
| AIC() |
输出赤池信息统计量 |
| plot() |
生成评价拟合模型的诊断图 |
| predict() |
用拟合模型对新的数据集预测响应变量值 |
当回归模型包含一个因变量和一个自变量时，我们称为简单线性回归。当只有一个预测变量，
但同时包含变量的幂（比如，X、X 2 、X 3 ）时，我们称为多项式回归。当有不止一个预测变量时，则称为多元线性回归。
2、简单线性回归
## 线性回归模型
#加载包
library(psych)
# 数据统计前的准备
head(women) # 首先观察数据集变量信息
dim(women) #显示数据集的大小
summary(women) # 显示数据集基本信息,可以看到最大最小值以及分位点
describe(women) #显示更为详细的信息，还可以看到方差，标准差更多信息
plot(women) #观察到二者之间存在正相关性
# 建立模型
lm.model1 <- lm(weight~height -1 ,data = women) #建立的是一个通过原点的模型
# 模型分析
summary(lm.model1) # 输出统计信息，重点可以看coefficient里面的第一项参数
#以及后面有几个星星，下面有解释
# R方和调整R方代表的是模型的解释程度，1代表100%
# 其中R方会随着变量的增加而增大，但是调整R方不一定
# 最后一行的F统计量越大越好，P值越小越好，整体检验
coefficients(lm.model1) # 输出参数，但是已经包含在summary中
confint(lm.model1,level = 0.95) # 输出置信区间，即95%成立的可能性
fitted(lm.model1) # 输出预测值，可以用于和真实值对比
plot(women$weight,fitted(lm.model1)) #作图比较比较真实值和预测值
abline(0,1) # 结合散点图是否在该条直线附近，说明拟合效果
anova(lm.model1) # 方差
vcov(lm.model1) # 协方差
residuals(lm.model1) # 残差
AIC(lm.model1) # AIC准则，越小越好
BIC(lm.model1) #BIC准则，越小越好
par(mfrow = c(2,2)) #将绘图区分割成四个部分
plot(lm.model1) # 左上角是残差和拟合值，若该模型能够很好地拟合真实数据，
# 则应该是杂乱无章，若有规律，可以通过观察加入其他项
# 右上角残差QQ图，判断残差是否服从正态分布，服从则一条直线附近45°
# 左下是标准化残差拟合，若满足不变方差假设，则点在水平线上下随机分布
# 右下是残差与杠杆值，鉴别离群点、高杠杆指以及强影响点
3、多项式回归
#多项式回归
lm.fit1 <- lm(weight~height+I(height^2),data = women)
summary(lm.fit1)
plot(women$height,women$weight)
lines(women$height,fitted(lm.fit1))
lm.fit2 <- lm(weight~height+I(height^2)+I(height^3),data = women)
summary(lm.fit2)
car包中的 scatterplot() 函数，它可以很容易、方便地绘制二元关系图。这个功能加强的图形，既提供了自变量与因变量的散点图、线性拟合曲线和平滑拟合（loess）曲线，还在相应边界展示了每个变量的箱线图。 spread=FALSE 选项删除了残差正负均方根在平滑曲线上的展开和非对称信息。 smoother.args=list(lty=2) 选项设置loess拟合曲线为虚线。pch=19 选项设置点为实心圆（默认为空心圆）。
library(car)
scatterplot(weight ~ height, data=women,
spread=FALSE, smoother.args=list(lty=2), pch=19,
main="Women Age 30-39",
xlab="Height (inches)",
ylab="Weight (lbs.)")
4、多元线性回归
当预测变量不止一个时，简单线性回归就变成了多元线性回归，从技术上来说，多项式回归可以算是多元线性回归的特例。
#多元线性回归
states <- as.data.frame(state.x77[,c("Murder", "Population",
"Illiteracy", "Income", "Frost")])
head(states)
cor(states) #两两计算变量间的相关系数
scatterplotMatrix(states) #绘制散点图矩阵，可以简单的看出变量之间的关系
pairs(states) #绘制散点图矩阵
lm.fit3 <- lm(Murder ~ Population + Illiteracy + Income + Frost,
data=states)
summary(lm.fit3)
5、有交互项的多元线性回归
#交互项的多元线性回归
head(mtcars)
lm.fit4 <- lm(mpg~hp+wt+hp:wt,data = mtcars)
summary(lm.fit4)
