Pandas 按 Zscore 过滤每组异常

我有一个数据框，其中的“组”列可以有 50 个不同的值，还有一个数字“值”列。

一个例子可以是：

pd.DataFrame({'group':['a','b','c','a','a','b','a','c','c'],'value':[2,123,4,2.3,2.5,127,128,4,0.003]})

group   value
0   a   2.000
1   b   123.000
2   c   4.000
3   a   2.300
4   a   2.500
5   b   127.000
6   a   128.000
7   c   4.000
8   c   0.003

我想从数据框中删除其组的异常值，例如abs(zscore)>3 或类似的值。在示例中，值 a,128 将被删除，因为它对于组 a 来说是异常的，并且值 c,0.003 也将被删除。 123和127是正常的，因为它们的组是“b”。

输出应该类似于（带有 z 分数列）：

group   value
0   a   2.0
1   b   123.0
2   c   4.0
3   a   2.3
4   a   2.5
5   b   127.0
6   c   4.0

什么是有效的方法来做到这一点？

Thanks!

创建 z 分数列，按特定组分组：

df['z_score'] = df.groupby('group')['value'].apply(lambda x: (x - x.mean())/x.std())

过滤给定阈值的 df：

df[abs(df['z_score']) > 3]