在集群的节点上启动 Jupyter Notebook(高性能计算或 HPC 设施)

2024-01-08

我想在集群的一个节点上运行 jupyter 笔记本,不在登录节点上。我可以在登录节点上远程运行 jupyter 笔记本,但这会不必要地减慢集群的使用速度。请指导我如何从本地桌面在节点上启动 jupyter 笔记本。我们的集群使用PBS作业提交方法,例如使用类似的命令qsub, qstat, qdel管理集群上的工作。


您可以通过在作业脚本中运行 jupyter 笔记本来完成此操作。 jupyter启动脚本的输出可以写入文件以获得token并监控日志。

在我的系统中运行的示例脚本是:

#!/bin/bash
#PBS -N Notebook
#PBS -j oe
#PBS -l select=1:ncpus=24
#PBS -l walltime=24:00:00
#PBS -q medium

cd $PBS_O_WORKDIR
PYTHONPATH=/path/to/python
NOTEBOOK_LOGFILE=jupyterlog.out

$PYTHONPATH/bin/jupyter notebook --no-browser --ip=0.0.0.0 --port=8890 >> ${NOTEBOOK_LOGFILE} 2>&1

您可以通过以下方式监视输出tail -f jupyterlog.out并获取令牌id。

然后,您可以通过以下方式转发并侦听本地系统中运行 jupyter 笔记本的端口:

ssh -N -f -L localhost:8888:node:8890 user@host
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

在集群的节点上启动 Jupyter Notebook(高性能计算或 HPC 设施) 的相关文章

随机推荐