在循环中预测.lm()。警告：排名不足的拟合预测可能会产生误导

此 R 代码引发警告

# Fit regression model to each cluster
y <- list() 
length(y) <- k
vars <- list() 
length(vars) <- k
f <- list()
length(f) <- k

for (i in 1:k) {
  vars[[i]] <- names(corc[[i]][corc[[i]]!= "1"])
  f[[i]]  <- as.formula(paste("Death ~", paste(vars[[i]], collapse= "+")))
  y[[i]]  <- lm(f[[i]], data=C1[[i]]) #training set
  C1[[i]] <- cbind(C1[[i]], fitted(y[[i]]))
  C2[[i]] <- cbind(C2[[i]], predict(y[[i]], C2[[i]])) #test set
}

我有一个训练数据集（C1）和一个测试数据集（C2）。每一项有 129 个变量。我对 C1 进行了 k 表示聚类分析，然后根据聚类成员资格分割我的数据集并创建了不同聚类的列表 (C1[[1]], C1[[2]], ..., C1[[k] ]）。我还为 C2 中的每个案例分配了一个集群成员资格，并创建了 C2[[1]],..., C2[[k]]。然后我对 C1 中的每个簇进行线性回归。我的因变量是“死亡”。我的预测变量在每个集群中都不同，vars[[i]] (i=1,...,k) 显示预测变量名称列表。我想预测测试数据集中每个案例的死亡 (C2[[1]],..., C2[[k])。当我针对某些集群运行以下代码时。

我收到这个警告：

In predict.lm(y[[i]], C2[[i]]) :
prediction from a rank-deficient fit may be misleading

我读了很多有关此警告的内容，但我无法弄清楚问题是什么。

您可以使用以下命令检查预测函数body(predict.lm)。在那里你会看到这一行：

if (p < ncol(X) && !(missing(newdata) || is.null(newdata))) 
    warning("prediction from a rank-deficient fit may be misleading")

此警告检查数据矩阵的排名是否至少等于您想要拟合的参数数量。调用它的一种方法是具有一些共线协变量：

data <- data.frame(y=c(1,2,3,4), x1=c(1,1,2,3), x2=c(3,4,5,2), x3=c(4,2,6,0), x4=c(2,1,3,0))
data2 <- data.frame(x1=c(3,2,1,3), x2=c(3,2,1,4), x3=c(3,4,5,1), x4=c(0,0,2,3))
fit <- lm(y ~ ., data=data)

predict(fit, data2)
       1        2        3        4 
4.076087 2.826087 1.576087 4.065217 
Warning message:
In predict.lm(fit, data2) :
  prediction from a rank-deficient fit may be misleading

请注意，x3 和 x4 的方向相同data。一个是另一个的倍数。这可以通过检查length(fit$coefficients) > fit$rank

另一种方法是使用比可用变量更多的参数：

fit2 <- lm(y ~ x1*x2*x3*x4, data=data)
predict(fit2, data2)
Warning message:
In predict.lm(fit2, data2) :
  prediction from a rank-deficient fit may be misleading