获取 url 列表的 HTTP 状态代码的脚本?

2024-01-05

我有一个需要检查的 URL 列表,看看它们是否仍然有效。我想编写一个 bash 脚本来为我做到这一点。

我只需要返回的 HTTP 状态代码,即 200、404、500 等。而已。

EDIT请注意,如果页面显示“404 not found”但返回 200 OK 消息,则存在问题。这是一个配置错误的 Web 服务器,但您可能必须考虑这种情况。

有关这方面的更多信息,请参阅检查 URL 是否转到包含文本“404”的页面 https://stackoverflow.com/questions/6439993/check-if-a-url-goes-to-a-page-containing-the-text-404


Curl 有一个特定的选项,--write-out, 为了这:

$ curl -o /dev/null --silent --head --write-out '%{http_code}\n' <url>
200
  • -o /dev/null丢弃通常的输出
  • --silent扔掉进度表
  • --head发出 HEAD HTTP 请求,而不是 GET
  • --write-out '%{http_code}\n'打印所需的状态代码

要将其包装在完整的 Bash 脚本中:

#!/bin/bash
while read LINE; do
  curl -o /dev/null --silent --head --write-out "%{http_code} $LINE\n" "$LINE"
done < url-list.txt

(目光敏锐的读者会注意到,这对每个 URL 使用一个curl 进程,这会造成分叉和 TCP 连接惩罚。如果将多个 URL 组合在一个curl 中,速度会更快,但没有空间来写出巨大的重复卷曲需要执行此操作的选项。)

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

获取 url 列表的 HTTP 状态代码的脚本? 的相关文章

  • 如何解决“无法加载PEM客户端证书,OpenSSL错误:02001003:系统库:fopen:没有这样的进程”错误?

    如果这个问题很愚蠢 请原谅 但我是这个领域的新手 我需要通过 SSL 从 Drupal 7 站点连接到服务 我有一个扩展名为 p12 的文件及其密码 另外 我使用 PHP 7 1 1 和 Windows 7 64x 我使用以下命令将 p12
  • 如何显示 zsh 函数定义(如 bash“type myfunc”)?

    如何在 zsh 中显示函数的定义 type foo没有给出定义 在bash中 bash function foo echo hello bash foo hello bash type foo foo is a function foo e
  • Bash 脚本大小限制?

    我有一个 bash 脚本 在 RHEL 或 OS X 上运行时出现以下错误 第 62484 行 意外标记 换行符 附近出现语法错误 第 62484 行 o gz 这是一个自动生成的脚本 用于解决我公司使用的 Grid Engine 计算集群
  • 使用 php ping 网站

    我想创建一个 php 脚本 它将 ping 一个域并列出响应时间以及请求的总大小 这将用于监控网站网络 我尝试过curl 这是我到目前为止的代码 function curlTest2 url clearstatcache return if
  • php 检查文件是否存在于外部域中(从子域访问)

    我有一个网站http www reelfilmlocations co uk http www reelfilmlocations co uk 上述网站有一个管理区域 其中上传图像并在 uploads images 目录的子文件夹中创建不同
  • 如何在 sed 中转义方括号[重复]

    这个问题在这里已经有答案了 我正在使用 grep 和 sed 解析遗留的 C 代码 当尝试替换方括号时 发生了一些奇怪的事情 以下代码替换方括号效果很好 echo xyx xzx xyx sed s g 结果是 xyx xzx xyx 当我
  • curl 无法获取网页内容,为什么?

    我正在使用curl 脚本转到链接并获取其内容以进行进一步操作 以下是链接和curl脚本
  • Bash 解析和 shell 扩展

    我对 bash 解析输入和执行扩展的方式感到困惑 对于输入来说 hello world 作为 bash 中的参数传递给显示其输入内容的脚本 我不太确定 Bash 如何解析它 Example var hello world displaywh
  • 在 bash 中使用单个命令为 shell 变量分配默认值

    我对 bash 3 00 shell 脚本中的变量进行了大量测试 如果未设置变量 则它会分配默认值 例如 if z VARIABLE then FOO default else FOO VARIABLE fi 我似乎记得有一些语法可以在一行
  • 如何在递归调用函数时阻止 bash 创建子 shell

    这是一个计算阶乘的简单 shell 函数 bin bash function factorial if 1 lt 2 then echo 1 else echo 1 factorial 1 1 fi factorial 1 但我发现这个脚本
  • 如何在bash中使用jq从变量中包含的json中提取值

    我正在编写一个 bash 脚本 其中存储了一个 json 值 现在我想使用 Jq 提取该 json 中的值 使用的代码是 json val code lyz1To6ZTWClDHSiaeXyxg redirect to http examp
  • jruby 的路边(卷曲)?

    我正在尝试将curl 与jruby 结合使用来获得网页 文件的一些响应时间 通常在 ruby 中这不会是一个问题 我可以安装 gem gem install junction 一切都很好 遏制似乎与 jruby 不兼容 那么有没有一种替代方
  • OSX bash 最小化窗口

    在 Mac 中并使用 bash shell 我想执行一个包含单个命令 启动 Jupyter Lab 的文件并立即最小化终端窗口 有没有办法在不安装第三方软件的情况下做到这一点 是的 只需使用osascript https ss64 com
  • 使用 find 命令搜索直到第一个匹配项

    我只需要搜索可以在任何地方的特定目录有没有办法运行此命令直到第一个匹配 谢谢 我现在使用 find noleaf name experiment type d wc l 正如鲁道夫 米尔鲍尔 Rudolf M hlbauer 所提到的 qu
  • 使用 libcurl 检查 SFTP 站点上是否存在文件

    我使用 C 和 libcurl 进行 SFTP FTPS 传输 在上传文件之前 我需要检查文件是否存在而不实际下载它 如果该文件不存在 我会遇到以下问题 set up curlhandle for the public private ke
  • 两种情况或 if 哪个更快? [关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我必须制作一个 非常 轻的脚本 它将接受用户的选项并调用脚本中的函数来执行一些任务 现在我可以使用 IF 和 CASE 选项 但我想知道两
  • 如何在 Windows 下向 .sh 脚本传递参数?

    我正在尝试在 Windows 下执行 sh 脚本 我安装了 Git 它允许我执行 sh 文件 但是 如果不使用 sh 作为执行前缀 我似乎无法传递任何参数 我的 sh 文件 echo Test 1 如果我用以下命令执行它 gt sh tes
  • Linux:在文件保存时触发 Shell 命令

    我想在修改文件时自动触发 shell 命令 我认为这可以通过注册 inotify 挂钩并调用来在代码中完成system 但是是否有更高级别的 bash 命令可以完成此任务 尝试 inotify 工具 我在复制链接时遇到问题 抱歉 但 Git
  • 协助 awk/bash 捕获内存差异

    我正在尝试从以下文件中提取以下输出 xr lab show clock Thu Sep 19 14 38 02 812 WIB 14 38 02 893 WIB Thu Sep 19 2019 xr lab xr lab xr lab sh
  • 为什么 $((true == false)) 在 bash 中计算结果为 1?

    为什么 bash 有以下行为 echo true false 1 我本以为这会打印0 但它打印1 以下事实使情况变得更加复杂 gt echo true 0 gt echo false 0 gt echo true true 1 gt ech

随机推荐

  • 使用 Firestore 时如何为 RecyclerView 添加搜索过滤器?

    所以 我正在尝试创建显示作者列表 图像 姓名 简介 的应用程序 但问题是我在实现搜索功能时遇到问题 合作指南RecyclerView我用的是here https android jlelse eu fetch data from fireb
  • 如何删除R中箱线图中的异常值? [复制]

    这个问题在这里已经有答案了 可能的重复 更改箱线图中的异常值规则 https stackoverflow com questions 4994313 changing the outlier rule in a boxplot 我需要使用箱
  • 验证 ASP.NET 中的查询字符串

    是否有一个库可以在我当前的 ASP NET 应用程序中使用来验证查询字符串 编辑 使用正则表达式查找模式 例如字符串 仅 仅数字 长度为x的字符串 等 Thanks 不知道库 但您可以使用它来检查查询字符串是否存在 if String Is
  • 可以在工具栏中添加图像视图吗?

    我需要有关的信息Toolbar 我想在我的中添加四张图片Toolbar例如主页 新闻 搜索和消息 所以我把Imageview是在Toolbar 现在我不知道如何在这些图像上添加侦听器 我该怎么做 我还有一个导航抽屉 我想要它 如果你按Ima
  • 身份不是使用 WIF 的 IClaimsIdentity(在 ASP.NET MVC 4 / Azure 上)

    我有 VS2012RC 的 WIF 工具 并且我正在尝试让我的 ASP NET MVC 4 项目使用它们 我已经安装了NuGet包 https nuget org packages Microsoft IdentityModel 3 5 0
  • LuaSocket、Lua 5.2 和 Redis

    有谁能够让这些一起工作吗 我已经得到 5 2 工作得很好 它可以找到 lua redis redis lua 但是它无法加载套接字模块 我似乎无法使用 lua LuaSocket 版本 2 0 2 有人有任何建议可以让这个工作吗 我尝试过制
  • 向 iOS 应用程序添加一个对所有视图可见的顶栏

    在选项卡栏 iOS 应用程序中添加顶部栏 视图 的最佳方法是什么 该顶部栏始终保留在所有视图的顶部 无论选择哪个选项卡 如下图所示 我会使用 UIViewController Containment 看一眼 https developer
  • VBA 求解器不循环

    我试图在多个列上使用求解器 用户定义的确切列数 看完这里的问题后 我仍然找不到我的代码有什么问题 我对 VBA 还很陌生 当我运行它时 它在第一年运行良好 但不适用于接下来的几年 Dim wsFM B3 As Worksheet Set w
  • 如何使用Traceur在ES6类中实现私有方法[重复]

    这个问题在这里已经有答案了 我现在使用 Traceur Compiler 来利用 ES6 功能 我想从 ES5 实现这些东西 function Animal var self this sayHi sayHi function self h
  • 如何使用 JDBC 驱动程序和 SSL 连接连接到 Sybase ASE

    我尝试使用 JDBC 驱动程序建立与 Sybase ASE 15 7 的 SSL 连接 但没有成功 我尝试了以下选项 使用 JTDS 1 25 驱动程序 jtds 1 2 5 jar 使用以下连接字符串 jdbc jtds sybase h
  • MATLAB 中的套接字编程?

    我有两台运行 MATLAB 的机器 我需要在它们之间交换信息 数字 图像 MATLAB 有没有办法可以做到这一点 如果你有并行计算工具箱 http www mathworks com products parallel computing
  • Spring MVC ajax 重新渲染用户界面重复

    首先我主要是JSF背景 我最近开始学习Spring MVC 困扰我的一件事是使用时ajax重新渲染Spring MVC and JQuery 让我们想象一下我在我的代码中定义了一个复杂的形式people jsp view
  • 使用命名空间访问 XML 属性

    如何使用命名空间访问属性 我的 XML 数据采用某种形式 val d
  • 类似图像映射的 Blackberry 控件 - CLDC 应用程序

    有谁知道我可以在 CLDC 应用程序中使用类似图像映射的 Blackberry Control 如果没有 是否有一种方法可以获取 MainScreen 或 BitmapField 派生控件上的单击 x y 坐标 Thanks 我假设您正在考
  • getch() 按一次箭头键读取两个字符

    今天我正在测试按键在 C 中如何工作 并为其制作了简单的循环 发现 getch 由于某种原因重复自身或不知道到底发生了什么 只需看看 include
  • 使用 PHP 读取“块”文件

    在 php 中通过相对较小的数据块读取文件的最佳方法是什么 例如 读取 5MB 然后释放该内存并读取另外 5MB 我正在用 php 编写一个解析工具 需要读取一个巨大的文件并将其转换为 CSV 我的问题是我不断超出允许的内存限制 并且在我的
  • Ansible 在 Windows 主机上创建 zip 文件备份

    我想将 windows 目录压缩成 zip 文件 存档功能不起作用 对于我看到的窗户win unzip模块 但我没有找到win zip module 我们如何备份Windows中现有的文件夹 name Backup existing ins
  • 如何在 Spring 4 中混合使用 Cglib 和 JDK Proxy

    我是 Spring AOP 的新手 目前正在使用基于注释的方面方法 我对 spring 4 中的代理策略有疑问 有什么方法可以强制 spring 为具体类创建 cglib 代理 并为在同一应用程序上下文中实现接口的类创建 jdk 代理 这就
  • 仅在测试期间使用特殊的构造函数是否有代码味道?

    假设我有一堂课Foo仅用类的实例实例化Bar public Foo Bar x this a x a this b x b 现在我想测试一下Foo 进一步假设一个实例Bar想要达到的状态是很难创造的 作为附加约束 字段a b 被声明为最终的
  • 获取 url 列表的 HTTP 状态代码的脚本?

    我有一个需要检查的 URL 列表 看看它们是否仍然有效 我想编写一个 bash 脚本来为我做到这一点 我只需要返回的 HTTP 状态代码 即 200 404 500 等 而已 EDIT请注意 如果页面显示 404 not found 但返回