无法找到 PySpark 内核 - awsglue 与 vscode 的交互式会话

2024-04-26

我最近按照说明使用 vscode 安装 Glue Interactive 会话,但找不到 pyspark 内核(只能看到“Glue Spark”)。 我想我已经安装了下面的所有内容(顺便说一句,我在 Windows 上)

pip3 install --upgrade jupyter boto3 aws-glue-sessions
pip3 show aws-glue-sessions
cd <site-packages location>\aws_glue_interactive_sessions
jupyter-kernelspec install glue_pyspark
jupyter-kernelspec install glue_spark

但我可以跑jupyter notebook在终端上打开与 pyspark 一起使用的 jupyter 笔记本,没有问题。我猜这个问题只发生在使用 vscode 时。

任何人都可以提出建议该怎么做?

vscode screenshot:
vscode screenshot


根据此错误报告,此问题不久前已得到修复VSCode Jupyter 问题 8286 https://github.com/microsoft/vscode-jupyter/issues/8286

然而,我仍然像其他人一样遇到它,正如错误报告中提到的,在内核规范文件中设置路径的完整路径将解决问题。内核规范位置取决于它的安装位置(用户、系统或虚拟环境)

使用 venv 的示例:/home/{user}/glue/venv/lib/python3.10/site-packages/aws_glue_interactive_sessions_kernel/glue_pyspark/kernel.json

更新如下:

{
  "argv": [
    "/home/{user}/glue/venv/bin/python",
    "-m",
    "aws_glue_interactive_sessions_kernel.glue_pyspark.GlueKernel",
    "-f",
    "{connection_file}"
  ],
  "display_name": "Glue PySpark",
  "language": "python"
}

然后更新内核规范:jupyter kernelspec install /home/{user}/glue/venv/lib/python3.10/site-packages/aws_glue_interactive_sessions_kernel/glue_pyspark

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

无法找到 PySpark 内核 - awsglue 与 vscode 的交互式会话 的相关文章

随机推荐