Apache Spark：在分区上并行应用 sklearn 的函数

我是大数据和 Apache Spark 的新手（也是一名在导师指导下工作的本科生）。

是否可以将函数（即样条曲线）仅应用于 RDD 的分区？我正在尝试实现论文中的一些工作here http://sites.stat.psu.edu/~rli/research/huge.pdf.

《Learning Spark》一书似乎表明这是可能的，但没有解释如何实现。

“如果您有许多小数据集想要训练不同的学习模型，那么最好使用单节点学习库（例如 Weka 或 SciKit-Learn）在每个节点上，也许调用它跨节点并行使用 Sparkmap()."

事实上，我们有一个库可以做到这一点。我们有几个 sklearn 变换器和预测器已启动并正在运行。它的名字是sparkit-learn。
从我们的例子来看：

from splearn.rdd import DictRDD  
from splearn.feature_extraction.text import SparkHashingVectorizer  
from splearn.feature_extraction.text import SparkTfidfTransformer  
from splearn.svm import SparkLinearSVC  
from splearn.pipeline import SparkPipeline  

from sklearn.feature_extraction.text import HashingVectorizer  
from sklearn.feature_extraction.text import TfidfTransformer  
from sklearn.svm import LinearSVC  
from sklearn.pipeline import Pipeline  

X = [...]  # list of texts  
y = [...]  # list of labels  
X_rdd = sc.parallelize(X, 4)
y_rdd = sc.parralelize(y, 4)
Z = DictRDD((X_rdd, y_rdd),
            columns=('X', 'y'),
            dtype=[np.ndarray, np.ndarray])

local_pipeline = Pipeline((
    ('vect', HashingVectorizer()),
    ('tfidf', TfidfTransformer()),
    ('clf', LinearSVC())
))
dist_pipeline = SparkPipeline((
    ('vect', SparkHashingVectorizer()),
    ('tfidf', SparkTfidfTransformer()),
    ('clf', SparkLinearSVC())
))

local_pipeline.fit(X, y)
dist_pipeline.fit(Z, clf__classes=np.unique(y))

y_pred_local = local_pipeline.predict(X)
y_pred_dist = dist_pipeline.predict(Z[:, 'X'])

你可以找到它here https://github.com/lensacom/sparkit-learn.