Pyspark 删除数据帧列中的多个字符

看看 pyspark，我明白了translate and regexp_replace帮助我了解数据框列中存在的单个字符。

我想知道是否有一种方法可以在regexp_replace or translate这样它就会解析它们并用其他东西替换它们。

用例：删除 A 列中的所有 $、# 和逗号 (,)

您可以使用pyspark.sql.functions.translate() http://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.functions.translate进行多次替换。传入要替换的字母字符串和另一个表示替换值的相同长度的字符串。

例如，假设您有以下 DataFrame：

import pyspark.sql.functions as f
df = sqlCtx.createDataFrame([("$100,00",),("#foobar",),("foo, bar, #, and $",)], ["A"])
df.show()
#+------------------+
#|                 A|
#+------------------+
#|           $100,00|
#|           #foobar|
#|foo, bar, #, and $|
#+------------------+

并想更换('$', '#', ',') with ('X', 'Y', 'Z')。只需使用translate like:

df.select("A", f.translate(f.col("A"), "$#,", "XYZ").alias("replaced")).show()
#+------------------+------------------+
#|                 A|          replaced|
#+------------------+------------------+
#|           $100,00|           X100Z00|
#|           #foobar|           Yfoobar|
#|foo, bar, #, and $|fooZ barZ YZ and X|
#+------------------+------------------+

如果您想删除所有实例('$', '#', ',')，你可以这样做pyspark.sql.functions.regexp_replace() http://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.functions.regexp_replace.

df.select("A", f.regexp_replace(f.col("A"), "[\$#,]", "").alias("replaced")).show()
#+------------------+-------------+
#|                 A|     replaced|
#+------------------+-------------+
#|           $100,00|        10000|
#|           #foobar|       foobar|
#|foo, bar, #, and $|foo bar  and |
#+------------------+-------------+

图案"[\$#,]"表示匹配括号内的任何字符。这$必须转义，因为它在正则表达式中具有特殊含义。