带有 wget 的 crontab - 为什么它运行两次?

2024-04-18

我有一个从 web 服务运行并插入到数据库的 php 脚本。

crontab -e



......other cron tasks above.......
...
..
..
# Run test script.php at 1610
10 16 * * * /usr/bin/wget -q -O /home/username/my_cronjobs/logs/cron_adhoc http://localhost/project/script.php

  

显然,在 16:10,这个脚本运行了两次! 16:10:01 和 16:25:02

是不是出了什么问题,必须使用 wget 来做? 或者我是否错误地设置了 cron 作业的时间表?

当我跑步时http://localhost/project/script.php http://localhost/project/script.php从浏览器,它只会运行一次..

关于这个问题有什么想法吗?

我已经测试过,没有其他用户运行相同的作业...我怀疑 wget 的工作方式。

由于我的脚本需要至少 20 分钟才能完成而不发回响应(它从 webservices 提取大量数据并保存到数据库)..怀疑默认情况下 wget 超时或重试导致此问题。


wget 文档 http://www.gnu.org/software/wget/manual/wget.html给出默认的读取超时时间为 900 秒,即 15 分钟。

如果在下载过程中的任何一点都没有收到超过 指定秒数,读取失败,下载 重新启动

这就是您在 15 分钟后看到该文件再次被调用的原因。您可以通过添加参数和适当的秒数来指定更长的读取超时:

--read-timeout=1800
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

带有 wget 的 crontab - 为什么它运行两次? 的相关文章

  • 使用 Wget 跳过成功下载的文件

    所以我有这个 Bash 子例程来使用 wget 下载文件 现在我的问题是如何跳过成功下载的文件 该脚本会下载很多文件 一旦下载失败 它会重新下载所有文件 覆盖那些从一开始就成功的下载 可能会因为重新下载而不完整 那么如何跳过那些下载成功的文
  • 从 PyPi 下载轮子

    如何从列出的软件包中下载特定的车轮PyPi https pypi python org pypi 我假设我会使用wget or curl 但我不确定要使用哪些参数 众所周知 PyPI 很难内省 幸运的是 Debian 项目用于扫描 FTP
  • 使用 logrotate 每小时轮换文件? [关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我尝试设置位于 tmp hr logs 的日志文件的日志轮转 为了进行设置 我在 Linux 中使用了 logrotate 并且我可以在
  • 捕获页面重定向的下载链接 (WGET)

    这是我的问题 我目前正在为我编写一个脚本 该脚本可以自动下载一些我用来 清理 计算机的软件 我已经能够使用如下下载 URL 进行下载 https www driverscloud com plugins DriversCloud Win e
  • 如何对项目的 cron 作业进行版本控制? [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 我有一堆项目 我用 git 和 fab 推送到服务器 它们是 Django 站点的负载 其中一些站点有 cron 作业 我希望处于这样的境地 通
  • 如何在 Jenkins 脚本管道中设置多行参数化 cron 作业?

    所以这工作正常 properties https stackoverflow com questions 35370810 how do i use jenkins pipeline properties step parameters n
  • 谷歌 Colab 上的 RVL-CDIP 数据集

    我正在尝试使用以下命令在 google colab 上下载 RVL CDIP 数据集 wget load cookies tmp cookies txt https docs google com uc export download co
  • 如何通过 Cron 运行 bash 脚本

    我见过其他类似的问题 但我找不到任何关于如何找出通过 Crontab 运行 Bash 脚本的正确方法的真实信息 这 sh文件位于用户目录中 在我的例子中serverpilot 该脚本正在尝试复制的内容apps文件夹并发送到我的 S3 存储桶
  • cron 的替代品? [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 有谁知道 cron 有一个好的替代品吗 我想要一些可以在不同时区运行的东西 您可以考虑Quartz http www opensymphony
  • 具有多个服务器的计划任务 - 单点责任

    我们有一个 Spring JPA Web 应用程序 我们使用两个运行应用程序并使用相同数据库的 tomcat 服务器 您的应用程序要求之一是执行 cron 计划任务 经过简短的研究 我们发现 Spring 框架为 cron 作业提供了一个非
  • 如何在Dockerfile中下载并解压

    所以 我有 它有效 但我想改变立即下载文件并解压它的方式 Dockerfile FROM wordpress fpm Copying themes from local COPY wordpress var www html wp cont
  • Twitter API 速率限制

    我想从 Twitter 收集几周内的数据 为此 我使用 RStudio Server 和 crontab 自动运行多个脚本 如下所示 require ROAuth require twitteR require plyr load twit
  • 气流:Dag 每隔几秒安排两次

    我尝试每天仅运行一次 DAG00 15 00 午夜 15 分钟 然而 它被安排了两次 间隔几秒钟 dag DAG my dag default args default args start date airflow utils dates
  • 通过wget命令爬取sitemap.xml的链接

    我尝试抓取 sitemap xml 的所有链接以重新缓存网站 但是 wget 的递归选项不起作用 我只得到响应 远程文件存在 但不包含任何链接 无法检索 但可以肯定的是 sitemap xml 充满了 http 链接 我尝试了 wget 的
  • Ruby 脚本即服务

    嗯 标题说明了一切 我有一个 ruby 脚本 我想在我的 Linux 机器上作为一项服务 我可以启动和停止 运行 我找到了如何在 Windows 上执行此操作here https stackoverflow com questions 16
  • 什么是克朗?我该如何使用这个? [关闭]

    这个问题不太可能对任何未来的访客有帮助 它只与一个较小的地理区域 一个特定的时间点或一个非常狭窄的情况相关 通常不适用于全世界的互联网受众 为了帮助使这个问题更广泛地适用 访问帮助中心 help reopen questions http
  • “wget -O”是什么意思?

    我的 shell 脚本中有一个像这样的 wget 命令 reponse wget O http localhost 8080 app index html 我不明白 O 选项 有人向我解释说 O 输出到某个地方 输出到当前流 我在 wget
  • 如何在 Django 中获取 URL(带有协议和域)(无需请求)?

    我想在 cron 作业中发送邮件 邮件应包含 我的应用程序的链接 在 cron 作业中 我没有请求对象 并且无法使用 request build absolute uri 据我所知 网站框架可以在这里提供帮助 但没有给我协议 http vs
  • 使用正则表达式模式查找 -name 并使用 cp 替换文件名

    目前我正在使用该命令cron复制 data从源到目标路径 find source path name data exec cp target path 源码结构为 source path category1 001 data source
  • 在两次之间每分钟执行一次 Cronjob

    我需要在 crontab 中每分钟运行一个 bash 脚本8 45am and 9 50am每天的 Code 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 8 home pull sh gt ho

随机推荐