模型使用 glm 运行，但不运行 bigglm

我试图对 320,000 行数据（6 个变量）运行逻辑回归。对数据样本 (10000) 的逐步模型选择给出了一个相当复杂的模型，具有 5 个交互项：Y~X1+ X2*X3+ X2*X4+ X2*X5+ X3*X6+ X4*X5. The glm()函数可以用 10000 行数据拟合该模型，但不能用整个数据集 (320,000) 拟合。

Using bigglm从 SQL 服务器读取数据块会导致错误，并且我无法理解结果traceback():

fit <- bigglm(Y~X1+ X2*X3+ X2*X4+ X2*X5+ X3*X6+ X4*X5, 
       data=sqlQuery(myconn,train_dat),family=binomial(link="logit"), 
       chunksize=1000, maxit=10)

Error in coef.bigqr(object$qr) : 
NA/NaN/Inf in foreign function call (arg 3)

> traceback()
11: .Fortran("regcf", as.integer(p), as.integer(p * p/2), bigQR$D, 
    bigQR$rbar, bigQR$thetab, bigQR$tol, beta = numeric(p), nreq = as.integer(nvar), 
    ier = integer(1), DUP = FALSE)
10: coef.bigqr(object$qr)
9: coef(object$qr)
8: coef.biglm(iwlm)
7: coef(iwlm)
6: bigglm.function(formula = formula, data = datafun, ...)
5: bigglm(formula = formula, data = datafun, ...)
4: bigglm(formula = formula, data = datafun, ...)

bigglm能够用更少的交互项来拟合更小的模型。但bigglm无法使用小数据集（10000 行）拟合相同的模型。

以前有人遇到过这个问题吗？还有其他方法可以使用大数据运行复杂的逻辑模型吗？

我已经多次遇到这个问题，它总是由 bigglm 处理的块不包含分类（因子）变量中的所有级别这一事实引起的。

bigglm 按块处理数据，块的默认大小为 5000。如果您的分类变量中有 5 个级别，例如(a,b,c,d,e) 并且在您的第一个块（从 1:5000 开始）仅包含 (a,b,c,d)，但没有“e”，您将收到此错误。

您可以做的是增加“chunksize”参数的大小和/或巧妙地重新排序数据帧，以便每个块包含所有级别。

希望这有帮助（至少有人）