我最近按照说明使用 vscode 安装 Glue Interactive 会话,但找不到 pyspark 内核(只能看到“Glue Spark”)。
我想我已经安装了下面的所有内容(顺便说一句,我在 Windows 上)
pip3 install --upgrade jupyter boto3 aws-glue-sessions
pip3 show aws-glue-sessions
cd <site-packages location>\aws_glue_interactive_sessions
jupyter-kernelspec install glue_pyspark
jupyter-kernelspec install glue_spark
但我可以跑jupyter notebook
在终端上打开与 pyspark 一起使用的 jupyter 笔记本,没有问题。我猜这个问题只发生在使用 vscode 时。
任何人都可以提出建议该怎么做?
vscode screenshot:
根据此错误报告,此问题不久前已得到修复VSCode Jupyter 问题 8286 https://github.com/microsoft/vscode-jupyter/issues/8286
然而,我仍然像其他人一样遇到它,正如错误报告中提到的,在内核规范文件中设置路径的完整路径将解决问题。内核规范位置取决于它的安装位置(用户、系统或虚拟环境)
使用 venv 的示例:/home/{user}/glue/venv/lib/python3.10/site-packages/aws_glue_interactive_sessions_kernel/glue_pyspark/kernel.json
更新如下:
{
"argv": [
"/home/{user}/glue/venv/bin/python",
"-m",
"aws_glue_interactive_sessions_kernel.glue_pyspark.GlueKernel",
"-f",
"{connection_file}"
],
"display_name": "Glue PySpark",
"language": "python"
}
然后更新内核规范:jupyter kernelspec install /home/{user}/glue/venv/lib/python3.10/site-packages/aws_glue_interactive_sessions_kernel/glue_pyspark
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)