我正在使用 Pyspark 在 Jupyter Notebook 中运行一些命令,但它抛出错误。我尝试了此链接中提供的解决方案(Pyspark:异常:Java 网关进程在向驱动程序发送其端口号之前退出 https://stackoverflow.com/questions/31841509/pyspark-exception-java-gateway-process-exited-before-sending-the-driver-its-po)
我尝试执行此处提供的解决方案(例如更改 C:Java 的路径、卸载 Java SDK 10 并重新安装 Java 8,但它仍然向我抛出相同的错误。
我尝试卸载并重新安装 pyspark,并且尝试从 anaconda 提示符运行,但仍然遇到相同的错误。我使用的是Python 3.7,pyspark版本是2.4.0。
如果我使用此代码,我会收到此错误。“异常:Java 网关进程在发送其端口号之前退出”。
from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = SparkContext()
sqlContext = SQLContext(sc)
from pyspark.mllib.linalg import Vector, Vectors
from nltk.stem.wordnet import WordNetLemmatizer
from pyspark.ml.feature import RegexTokenizer, StopWordsRemover, Word2Vec
但是如果我从这段代码中删除sparkcontext运行正常,但我的解决方案需要spark上下文。下面没有 Spark 上下文的代码不会引发任何错误。
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.mllib.linalg import Vector, Vectors
from nltk.stem.wordnet import WordNetLemmatizer
from pyspark.ml.feature import RegexTokenizer, StopWordsRemover, Word2Vec
如果我能得到任何帮助来解决这个问题,我将不胜感激。我使用的是 Windows 10 64 位操作系统。
这是完整的错误代码图片。