以下是依赖项，已成功安装。
!apt-get install openjdk-8-jre
!apt-get install scala
!pip install py4j
!wget -q https://downloads.apache.org/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz
!tar xf spark-2.4.8-bin-hadoop2.7.tgz
!pip install -q findspark
现在创建 Spark 上下文：
# Setting up environment variables
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-2.4.8-bin-hadoop2.7"
# export PYSPARK_SUBMIT_ARGS ="--master local[2]"
# Importing and initating spark
import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder.master("local[*]").appName("Test Setup").getOrCreate()
sc = spark.sparkContext
我收到此错误：
RuntimeError：Java 网关进程在发送其端口之前退出
数字
请注意，这是一个 Colab 笔记本。任何形式的帮助都会很棒。
您可以安装使用 PyPI 的 Pyspark https://spark.apache.org/docs/latest/api/python/getting_started/install.html作为备选：
对于 Python 用户，PySpark 还提供来自 PyPI 的 pip 安装。这通常供本地使用或作为客户端连接到集群，而不是自行设置集群。
安装pyspark+openjdk
%pip install pyspark==2.4.8
!apt-get install openjdk-8-jdk-headless -qq > /dev/null
创建火花会话
from pyspark.sql import SparkSession
spark = SparkSession.builder\
.master("local[*]")\
.appName("Test Setup")\
.getOrCreate()
在 Google Colab 笔记本中测试：
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
