如何每天自动运行带有Python代码的Jupyter笔记本?

2024-01-06

我在 Jupyter 笔记本中有一些 Python 代码,我需要每天自动运行它,所以我想知道是否有办法进行设置。我真的很感谢对此的任何建议。


Update
最近我遇到了 papermill,它用于执行和参数化笔记本。

https://github.com/nteract/papermill https://github.com/nteract/papermill

papermill local/input.ipynb s3://bkt/output.ipynb -p alpha 0.6 -p l1_ratio 0.1

这似乎比 nbconvert 更好,因为您可以使用参数。您仍然需要使用调度程序触发此命令。下面是 Ubuntu 上 cron 的示例。


旧答案

nbconvert --execute

可以执行 jupyter 笔记本,将其嵌入到 cronjob 中将执行您想要的操作。

Ubuntu 上的设置示例:

Create 你的脚本.sh包含以下内容:

/opt/anaconda/envs/yourenv/bin/jupyter nbconvert \
                      --execute \
                      --to notebook /path/to/yournotebook.ipynb \
                      --output /path/to/yournotebook-output.ipynb

除了 --to notebook 之外,您还有更多选择。我喜欢这个选项,因为之后您有一个完全可执行的“日志”文件。

我建议使用虚拟环境来运行笔记本,以避免将来的更新弄乱您的脚本。不要忘记将 nbconvert 安装到环境中。

现在创建一个每天运行的 cronjob,例如上午 5:10,输入crontab -e在您的终端中添加以下行:

10 5 * * * /path/to/yourscript.sh
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何每天自动运行带有Python代码的Jupyter笔记本? 的相关文章

  • 如何在Python中流式传输和操作大数据文件

    我有一个相对较大 1 GB 的文本文件 我想通过跨类别求和来减小其大小 Geography AgeGroup Gender Race Count County1 1 M 1 12 County1 2 M 1 3 County1 2 M 2
  • 用缺失的日期填充其他列 Nan Pandas DataFrame

    我实际上是从几个 Excel 文件中提取数据来监控我的每日卡路里摄入量 我设法使用列表理解来生成日期 我尝试使用合并或连接 但它不起作用 ValueError 您正在尝试合并对象和 float64 列 date list 2021 05 2
  • 补丁 - 为什么相对补丁目标名称不起作用?

    我已经从模块导入了一个类 但是当我尝试修补类名而不使用模块作为前缀时 出现类型错误 TypeError Need a valid target to patch You supplied MyClass 例如 以下代码给出了上述错误 imp
  • 如何检查python xlrd库中的excel文件是否有效

    有什么办法与xlrd库来检查您使用的文件是否是有效的 Excel 文件 我知道还有其他库可以检查文件头 我可以使用文件扩展名检查 但为了多平台性我想知道是否有任何我可以使用的功能xlrd库本身在尝试打开文件时可能会返回类似 false 的内
  • Python - 来自 .进口

    我第一次尝试图书馆 我注意到解决图书馆内导入问题的最简单方法是使用如下结构 from import x from some module import y 我觉得这件事有些 糟糕 也许只是因为我不记得经常看到它 尽管公平地说我还没有深入研究
  • pyspark 数据框中的自定义排序

    是否有推荐的方法在 pyspark 中实现分类数据的自定义排序 我理想地寻找 pandas 分类数据类型提供的功能 因此 给定一个数据集Speed列 可能的选项是 Super Fast Fast Medium Slow 我想实现适合上下文的
  • Mac OS X 中文件系统的 Unicode 编码在 Python 中不正确?

    在 OS X 和 Python 中处理 Unicode 文件名有点困难 我试图在代码中稍后使用文件名作为正则表达式的输入 但文件名中使用的编码似乎与 sys getfilesystemencoding 告诉我的不同 采取以下代码 usr b
  • Pandas:如果单元格包含特定文本则删除行

    pandas 中的这段代码不起作用 如果该列包含提供的任何文本 数字 我希望它删除该行 目前 我只能在单元格与我的代码中传递的确切文本匹配时才能使其工作 因为它只删除显示 Fin 的单元格不是金融或金融 df2 df df Team Fin
  • Keras:如何保存模型或权重?

    如果这个问题看起来很简单 我很抱歉 但是阅读 Keras 保存和恢复帮助页面 https www tensorflow org beta tutorials keras save and restore models https www t
  • 如何使用文本相似性删除 pandas 数据框中相似(不重复)的行?

    我有数千个数据 这些数据可能相似也可能不相似 使用 python 的默认函数 drop duplicates 并没有真正的帮助 因为它们只检测相似的数据 例如 如果我的数据包含类似以下内容怎么办 嗨 早上好 嗨 早上好 Python 不会将
  • Emacs 24.x 上的 IPython 支持

    我对 IPython 与 Emacs 的集成感到困惑 从 Emacs 24 开始 Emacs 附带了自己的python el 该文件是否支持 IPython 还是仅支持 Python 另外 维基百科 http emacswiki org e
  • 从扫描文档中提取行表 opencv python

    我想从扫描的表中提取信息并将其存储为 csv 现在我的表提取算法执行以下步骤 应用倾斜校正 应用高斯滤波器进行去噪 使用 Otsu 阈值进行二值化 进行形态学开局 Canny 边缘检测 进行霍夫变换以获得表格行 去除重复行 10像素范围内相
  • Django send_mail SMTPSenderRefused 530 与 gmail

    一段时间以来 我一直在尝试使用 Django 从我正在开发的网站接收电子邮件 现在 我还没有部署它 并且我正在使用Django开发服务器 我不知道这是否会影响它 这是我的 settings py 配置 EMAIL BACKEND djang
  • Django 的 request.FILES 出现 UnicodeDecodeError

    我在视图调用中有以下代码 def view request body u for filename f in request FILES items body body Filename filename n f read n 在某些情况下
  • .pyx 文件出现未知文件类型错误

    我正在尝试构建一个包含 pyx 文件的 Python 包 pyregion 但在构建过程中出现错误 检查以下输出 python setup py build running build running build py creating b
  • Matplotlib 中 x 轴标签的频率和旋转

    我在下面编写了一个简单的脚本来使用 matplotlib 生成图形 我想将 x tick 频率从每月增加到每周并轮换标签 我不知道从哪里开始 x 轴频率 我的旋转线产生错误 TypeError set xticks got an unexp
  • 从 NumPy 数组到 Mat 的 C++ 转换 (OpenCV)

    我正在围绕 ArUco 增强现实库 基于 OpenCV 编写一个薄包装器 我试图构建的界面非常简单 Python 将图像传递给 C 代码 C 代码检测标记并将其位置和其他信息作为字典元组返回给 Python 但是 我不知道如何在 Pytho
  • Django Admin 中的反向内联

    我有以下 2 个型号 现在我需要将模型 A 内联到模型 B 的页面上 模型 py class A models Model name models CharField max length 50 class B models Model n
  • 查找总和为给定数字的值组合的函数

    这个帖子查找提供的 Sum 值的组合 https stackoverflow com a 20194023 1561176呈现函数subsets with sum 它在数组中查找总和等于给定值的值的组合 但由于这个帖子已经有6年多了 我发这
  • 如何为不同操作系统/Python 版本编译 Python C/C++ 扩展?

    我注意到一些成熟的Python库已经为大多数架构 Win32 Win amd64 MacOS 和Python版本提供了预编译版本 针对不同环境交叉编译扩展的标准方法是什么 葡萄酒 虚拟机 众包 我们使用虚拟机和Hudson http hud

随机推荐

  • 在 python 中定义组合函数时卡住了

    输入 两个函数 f 和 g 表示为字典 使得 g f 存在 输出 表示函数 g f 的字典 示例 给定 f 0 a 1 b 和 g a apple b banana 返回 0 apple 1 香蕉 最接近正确答案的是 i g j for i
  • PHP 变量和 MySQL LIKE 查询不起作用

    我有以下代码 surname POST surname sql2 SELECT FROM andriana WHERE surname LIKE surname if mysql query sql2 con die Error mysql
  • excel vba dir函数查找doc而不是docx

    我在 excel 中使用此 vba 代码从特定文件夹中获取文件名 Sub getfilelistfromfolder Dim varDirectory As Variant Dim flag As Boolean Dim i As Inte
  • 如何从 Go 1.18 二进制文件中读取调试 VCS 版本信息?

    我正在尝试从 Go 二进制文件中读取版本控制信息 但构建信息似乎不包含任何 VCS 信息 从Go 1 18开始发行说明 https tip golang org doc go1 18 go 命令现在将版本控制信息嵌入到二进制文件中 它包括当
  • AES 加密 Java -> PHP -> Java

    在我的 Android 应用程序中 我正在与 Web 服务通信 发送和响应的数据均使用 AES 加密进行加密 所以我所做的如下 我正在发送一个 base64 编码的 AES 加密 JSON 字符串到 share php 然后 Share p
  • 令牌索引序列长度比使用拥抱面部情感分类器的该模型指定的最大序列长度 (651 > 512) 长

    我试图借助拥抱面部情绪分析预训练模型来获取评论的情绪 它返回错误 例如Token indices sequence length is longer than the specified maximum sequence length fo
  • C++ 以二进制模式读取文件。文件结尾问题

    我正在学习 C 我必须以二进制模式读取文件 我的做法如下 遵循 C 参考 unsigned values 255 unsigned total ifstream in test txt ifstream binary while in go
  • 四边形网格划分库

    我试图找到一个用 C 编写的网格划分库 仅使用四边形网格对自定义形状进行网格划分 这是我正在寻找的算法 代码的示例 但这不是免费的并且是用 ANSI C 编写的 http members ozemail com au comecau qua
  • RxJS5 TypeScript 打字失败

    I run tsc在我的项目中 我收到与 RxJS5 库相关的这些错误 tsc node modules rxjs observable FromEventObservable d ts 11 39 error TS2304 Cannot
  • PHP/HTML/CSS - 如果是 FireFox,是 Chrome,还是 Safari

    是否有简单的条件语句 css命令 html jquery javascript或简单的PHP动态方法来检测当前浏览器 element top 4px element top 6px element top 8px element top 1
  • 访问 ASM Java 库中的局部变量

    我试图在插入方法时调用局部变量 到目前为止 我能够获取节点中的局部变量 但在实际访问任何内容时遇到困难 这是我的插入内容 非常杂乱 我已经这样做了一段时间 设计不再是我的首要任务 不久前 final ClassReader reader n
  • Spring防止ajax调用成为身份验证时的目标url

    我有一个正在运行的 Spring Java Web 应用程序 在某些页面上 当我注销时 最后发出的请求是 AJAX 调用 因此 当我重新登录时 Spring 将我重定向到 ajax 调用 给我一个充满 json 的浏览器 我的登录成功处理程
  • 包含敏感数据的私有和公共 Git 存储库

    我当前正在运行一个服务Heroku https www heroku com Heroku 的部署方式是将代码推送到 git 存储库 这会触发构建并随后触发新代码的部署 由于这是将服务部署到 Heroku 的唯一方法 因此该 git 存储库
  • Windows 8 XAML 多列文本

    Is there a way to make columns in a text I have one big string with the text i have to display and i have a fixed height
  • 如何在 Jetpack Compose 中添加边距?

    您究竟如何添加保证金Jetpack Compose 我可以看到有一个Modifier用于填充Modifier padding 但我似乎找不到一个利润 还是我瞎了 请有人指导我 非常感谢 您可以将填充和边距视为同一件事 将其想象为 间距 填充
  • 重叠部分透明元素的不透明度

    如果你有 div 不透明度为 0 5 的元素和另一个 div 元素以相等的不透明度覆盖第一个元素 那么两个元素加在一起的不透明度是多少 它不是 5 5 也不是 5 5 遇到这样的问题我该如何计算呢 我相信您正在寻找的公式是 1 x y di
  • 当文件名大小写改变时如何切换分支?

    我有一个分行development有一个文件Config json 我正在创建一个新分支new development 我重命名的地方Config json to config json并承诺 我切换回development看看那个分支中的
  • Acumatica 中动态变化的 PXSelector

    我有以下用例 Acumatica 组合框 下拉列表 可以有 8 个左右的值 其选择决定了用于在 PXSelector 中呈现的表 DAC e g 如果用户选择选项 a 我需要在表 A 中的 PXSelector 值中显示 如果用户选择选项
  • 如何修补 Eigen 3.3.7 以解决 GCC 8.2.1 错误(arm-none-eabi 8-2018q4-major 工具链)?

    我试图用以下命令编译 Eigen 3 3 7Arm的裸机8 2018q4 major工具链 https launchpad net gcc arm embedded announcement 15181并看到完全相同的错误 请参阅x86 6
  • 如何每天自动运行带有Python代码的Jupyter笔记本?

    我在 Jupyter 笔记本中有一些 Python 代码 我需要每天自动运行它 所以我想知道是否有办法进行设置 我真的很感谢对此的任何建议 Update最近我遇到了 papermill 它用于执行和参数化笔记本 https github c