在我的数据集中,我必须分别删除每个组的异常值。
这是我的数据集
vpg=structure(list(customer = c(1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 1L,
1L, 1L, 1L, 2L, 2L, 2L, 2L), code = c(2L, 2L, 3L, 3L, 4L, 4L,
5L, 5L, 2L, 2L, 3L, 3L, 4L, 4L, 5L, 5L), year = c(2017L, 2017L,
2017L, 2017L, 2017L, 2017L, 2017L, 2017L, 2018L, 2018L, 2018L,
2018L, 2018L, 2018L, 2018L, 2018L), stuff = c(10L, 20L, 30L,
40L, 50L, 60L, 70L, 80L, 10L, 20L, 30L, 40L, 50L, 60L, 70L, 80L
), action = c(0L, 1L, 0L, 1L, 0L, 1L, 0L, 1L, 0L, 1L, 0L, 1L,
0L, 1L, 0L, 1L)), .Names = c("customer", "code", "year", "stuff",
"action"), class = "data.frame", row.names = c(NA, -16L))
我必须从 stuff 变量中删除异常值,但按组客户+代码+年份分开删除
我发现了这个漂亮的功能
remove_outliers <- function(x, na.rm = TRUE, ...) {
qnt <- quantile(x, probs=c(.25, .75), na.rm = na.rm, ...)
H <- 1.5 * IQR(x, na.rm = na.rm)
y <- x
y[x < (qnt[1] - H)] <- NA
y[x > (qnt[2] + H)] <- NA
y
}
new <- remove_outliers(vpg$stuff)
vpg=cbind(new,vpg)
View(vpg)
但它适用于所有群体。
如何使用此功能删除每个组的异常值并为下一步工作获得清晰的数据集?
注意,在这个数据集中,有变量动作(它的值是0和1)。它不是组变量,但必须仅删除异常值ZERO(0)
动作变量的类别。