如何从 PySpark MultilayerPerceptronClassifier 获取分类概率？

我在 python 中使用 Spark 2.0.1，我的数据集位于 DataFrame 中，因此我使用 ML（不是 MLLib）库进行机器学习。 我有一个多层感知器分类器，但只有两个标签。

我的问题是，是否不仅可以获得标签，还可以获得（或仅）该标签的概率？不仅仅是每个输入都为 0 或 1，而是 0 为 0.95，1 为 0.05。 如果这对于 MLP 是不可能的，但对于其他分类器是可能的，我可以更改分类器。我只使用了 MLP，因为我知道它们应该能够返回概率，但我在 PySpark 中找不到它。

我发现了一个类似的主题，如何从 MultilayerPerceptronClassifier 获取分类概率？但他们使用 Java 并且他们建议的解决方案在 python 中不起作用。

Thx

事实上，从 2.0 版本开始，Spark ML 中的 MLP 似乎不提供分类概率；尽管如此，还有许多其他分类器这样做，即逻辑回归, 朴素贝叶斯, 决策树, and 随机森林。这是第一个和最后一个的简短示例：

from pyspark.ml.classification import LogisticRegression, RandomForestClassifier
from pyspark.ml.linalg import Vectors
from pyspark.sql import Row
df = sqlContext.createDataFrame([
     (0.0, Vectors.dense(0.0, 1.0)),
     (1.0, Vectors.dense(1.0, 0.0))], 
     ["label", "features"])
df.show()
# +-----+---------+ 
# |label| features| 
# +-----+---------+ 
# | 0.0 |[0.0,1.0]| 
# | 1.0 |[1.0,0.0]| 
# +-----+---------+

lr = LogisticRegression(maxIter=5, regParam=0.01, labelCol="label")
lr_model = lr.fit(df)

rf = RandomForestClassifier(numTrees=3, maxDepth=2, labelCol="label", seed=42)
rf_model = rf.fit(df)

# test data:
test = sc.parallelize([Row(features=Vectors.dense(0.2, 0.5)),
                       Row(features=Vectors.dense(0.5, 0.2))]).toDF()

lr_result = lr_model.transform(test)
lr_result.show()
# +---------+--------------------+--------------------+----------+
# | features|       rawPrediction|         probability|prediction|
# +---------+--------------------+--------------------+----------+
# |[0.2,0.5]|[0.98941878916476...|[0.72897310704261...|       0.0|
# |[0.5,0.2]|[-0.9894187891647...|[0.27102689295738...|       1.0|  
# +---------+--------------------+--------------------+----------+

rf_result = rf_model.transform(test)
rf_result.show()
# +---------+-------------+--------------------+----------+ 
# | features|rawPrediction|         probability|prediction| 
# +---------+-------------+--------------------+----------+ 
# |[0.2,0.5]|    [1.0,2.0]|[0.33333333333333...|       1.0| 
# |[0.5,0.2]|    [1.0,2.0]|[0.33333333333333...|       1.0| 
# +---------+-------------+--------------------+----------+

对于 MLlib，请参阅我的回答here;对于 PySpark 分类的几个未记录和反直觉的特征，请参阅我的相关博客文章.