程序员经验分享-hwhale

成功解决wget下载报错 : wget HTTP request sent, awaiting response... 403 Forbidden

2023-10-27

成功解决wget下载报错 : wget HTTP request sent, awaiting response... 403 Forbidden

问题描述

–2023-07-15 02:32:57-- https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.03-Linux-x86_64.sh
Resolving mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)… 2402:f000:1:400::2, 101.6.15.130
Connecting to mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)|2402:f000:1:400::2|:443… connected.
HTTP request sent, awaiting response… 403 Forbidden
2023-07-15 02:32:57 ERROR 403: Forbidden.
如图：
在这里插入图片描述

解决方案

在wget下载链接前面加上一个-U，如下

wget -U NoSuchBrowser/1.0 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.03-Linux-x86_64.sh

即

wget -U NoSuchBrowser/1.0 下载链接

成功解决！

原理

出现这个错误是因为在使用wget或curl请求资源时被服务器拒绝了，为了防止爬虫等消耗服务器资源，服务器根据你的请求头进行了选择性屏蔽，因此需要修改wget和curl的代理User-Agent来进行伪装。

什么是User Agent

User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

常常要用server抓资料时，都会碰到直接使用wget和curl被服务器拒绝的状况。通常简单加个user-agent伪装一下就会过了。

什么是User Agent，怎么获取，可以参考下面这篇博客，当然你也可以直接用我上面这个。

什么是UserAgent以及使用浏览器查看UserAgent的方法：
https://blog.csdn.net/BobYuan888/article/details/88950275

解决

一、
修改wget的User-Agent
1、临时变更wget的UA

在wget前加上参数 -U，代表设置User Agent

wget www.google.com -U "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"

2、永久变更Wget的UA

修改配置文件/etc/wgetrc，添加下面这一行：

header = User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36

上面这个配置后会所有用户生效，如果只需要当前用户生效，可以将上面这行添加进~/.wgetrc，这个文件如果没有的话可以手动创建。

二、修改curl的User-Agent
1、临时变更curl的UA

使用以下参数：

curl https://www.google.com --user-agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"

2、永久变更curl的UA

修改配置文件~/.curlrc，添加下面这一行：

–user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

霸哥（BUG）日记

http

网络协议

网络

Wget

成功解决wget下载报错 : wget HTTP request sent, awaiting response... 403 Forbidden 的相关文章

  • 使用 Java 通过 HTTP 下载未知长度的文件

    我想用java下载一个HTTP查询 但是我下载的文件在下载时有一个未确定的长度 我认为这将是相当标准的 所以我搜索并找到了它的代码片段 http snipplr com view 33805 http snipplr com view 33

  • 是什么导致“线程被中止”异常随机发生并向浏览器显示 HTTP 标头和部分 HTML？

    发生的情况偶尔是随机的 而不是像您期望的那样将 HTML 返回到浏览器 它看起来有点像这样 线程正在中止 HTTP 1 1 200 OK 标题的其余部分 如 HTML 的 1 10 就是这样 他们实际上在浏览器窗口中收到了一堆文本 它不会一

  • 哪些具体用例需要通过 WebSockets 和长轮询使用 BOSH？ [关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心 help reopen questi

  • 仅当 http 状态 200 时使用 wget 创建文件？

    我一直在试图找出一种方法 使 wget 仅在实际下载响应有效的情况下创建文件 这意味着没有 404 或 500 状态代码 只有 200 但是 当使用 O 选项 指定文件名 时 它总是会创建包含错误页面内容的文件 并且我还没有找到一种方法来指

  • Spring RestTemplate - 带有请求正文的http GET [重复]

    这个问题在这里已经有答案了 可能的重复 带请求正文的 HTTP GET https stackoverflow com questions 978061 http get with request body 我在这里读过一些不提倡通过 HT

  • 如何防止 Firefox 缓存

    我尝试了很多可能的解决方案 但无法解决问题 这些不起作用 有人可以帮忙吗 我正在使用jsp servlet application 是websphere Portal 6 1 的一个portlet 切勿

  • 使用：text/plain; 有什么缺点吗？字符集=“UTF-8”

    我的网络服务器提供的内容在 95 的情况下只是简单的 ascii 但在极少数情况下 内容包含一些德语非 ASCII 字符 现在我可以设置content type通过检测内容是否包含任何非 ASCII 字符来响应标头 或者我可以始终设置响应标

  • Response.Redirect 并不总是重定向

    我们在一个工作不一致的页面上有一个简单的 Response Redirect IIS 6 0 大多数情况下 它会正确重定向 但我们收到一些用户抱怨 他们没有重定向 而是看到 302 对象移至此处 页面 该页面显示标题信息以及正确的位置 如果

  • 为什么使用 Response 设置后，Request 中的 Cookie 立即可用？

    在页面加载中 如果您立即在下一行中执行 Response Cookies Add 您可以通过 Request Cookies 访问该 cookie 我知道在幕后 cookie 是由 net 添加到 Request Cookies 中的 但原

  • Node.js 上的 Connect 出现“无法 GET /”

    我正在尝试使用以下方式开始提供一些静态网页connect像这样 var connect require connect var nowjs require now var io require socket io var app conne

  • PHP 错误请求中 HTTP 请求失败

    我可以直接从浏览器请求 URL Web 服务 WS 但是当我在代码中使用 file get contents 或 fopen 方法时 我收到一条错误消息 有人有不使用curl的解决方案吗 public function sendHttpRe

  • 使用 HTTP-Basic 身份验证发出 HTTP GET 请求

    我需要为我正在开发的 Flash Player 项目构建一个代理 我只需要使用 HTTP Basic 身份验证向另一个 URL 发出 HTTP GET 请求 并提供来自 PHP 的响应 就好像 PHP 文件是原始源一样 我怎样才能做到这一点

  • Django：如何测试“HttpResponsePermanentRedirect”

    我正在为我的 django 应用程序编写一些测试 在我看来 它使用 HttpResponseRedirect 重定向到其他一些网址 那么我该如何测试呢 姜戈TestCase类有一个方法assertRedirects https docs d

  • HTTPbis - bis 是什么意思？

    我经常看到 bis 附加到协议版本 例如 v 34bis 或 httpbis bis 是什么意思或代表什么 我认识的一位电信工程师认为它可能起源于法国 正如其他人已经说过的 bis 来自 两次 或 重复 http oxforddiction

  • 如何在 Android 上的 HttpPost 中发送 unicode 字符

    我试图在我的应用程序中允许多语言支持 这会发出 HTTP post 来上传新消息 我需要做什么才能支持日语和其他非拉丁语语言 我的代码目前看起来像这样 note the msg string is a JSON message by the

  • 为我的应用程序需要与之通信的每一台主机使用一个 HttpClient 实例是否可以？

    我知道 当使用 Microsoft 依赖注入容器时 处理 HttpClient 实例的最佳实践是使用IHttpClientFactory接口 https github com aspnet Extensions blob master sr

  • PUT/DELETE 与 REST 是自动幂等的吗？

    我正在学习 REST 和 PUT DELETE 我读到这两者 以及 GET 都是幂等的 这意味着多个请求使服务器进入相同的状态 重复的 PUT DELETE 请求是否会离开 Web 浏览器 当使用XMLHttpRequest 换句话说 服务

  • 从套接字读取 C HTTP

    我想知道如何判断是否已从套接字接收到所有数据 这是一个简单的网络代理 现在我正在处理请求部分 所以发送的内容应该以 r n r n 结尾 我不知道请求会持续多久 我在这里读过一些帖子 说我应该检查读取函数是否返回 0 但其他人说0只在客户端

  • 如何在纯 HTML 页面中返回特定的 HTTP 状态代码

    Google 建议当网站暂时不可用时返回 503 HTTP 响应 我有一些纯 HTML 网站 如何在纯 HTML 网站中返回 503 状态 我使用的是带有 Apache 的 Linux 机器 您必须在服务器上而不是在 HTML 文件中设置状

  • 如何在 Rails 中重定向到 404？

    我想在 Rails 中 伪造 404 页面 在 PHP 中 我只发送一个带有错误代码的标头 如下所示 header HTTP 1 0 404 Not Found Rails 是如何做到这一点的 不要自己渲染 404 没有理由这样做 Rail

随机推荐

  • sqli-labs(27a)

    0X01测试闭合 id 1 报错 id 1 正常 0X02构造语句爆数据库名称 id 99 0AUNIon 0ASELECt 0A1 database 3 1 1 和27关一样 只是 变成了 其他语法就是打组合拳 0X03组合拳 27关见

  • python 设置x轴_python matplotlib坐标轴设置的方法

    在使用matplotlib模块时画坐标图时 往往需要对坐标轴设置很多参数 这些参数包括横纵坐标轴范围 坐标轴刻度大小 坐标轴名称等 在matplotlib中包含了很多函数 用来对这些参数进行设置 我们可以对坐标轴进行设置 设置坐标轴的范围

  • activiti学习之并行网关

    写在前面 并行网关用于处理流程并发的场景 可以将流程分发到多个执行流程 也可以让多个执行流程合并为一个执行流 但不是必须一起使用 也就是说并行网关有两种行为 分叉和合并 下面我们来一起看下 场景 学生请假同时由班长和班主任审批 等到班长和班

  • 【spark系列12】spark remote shuffle service(RSS)杂谈

    背景 对于spark remote shuffle service 以下简称RSS 在社区其实早就有探讨SPARK 25299 只不过一直没有达成一致 且目前的内置的shuffle service 也能满足大部分的场景 也就被搁置了 但是由

  • uni-app 选择图片（chooseImage）

    uni app 选择图片 chooseImage 1

  • 用J-FLASH合并两个bin文件

    目的 为什么我们需要对两个bin文件进行整合呢 这也是我写这篇文章的目的 我们来展开细谈 在我们工作或者学习中 用KEIL5进行单片机程序开发 我们都 知道单片机的程序保存在片内Flash中 正常情况下我们单片机运行的时候 只需要下载1次程

  • WebService 离我越来越远去了，不好意思提的WebService，不得不说的几件事情

    写文章未必代表水平高 不写文章未必代表就水平差 写文章是给别人看的 若没看 也白折腾了 有意义的 有价值的反馈 自己也会得到提高 其实写文章的过程是把自己的知识再次梳理一遍 思路严谨的表达出来的过程 写了一年多时间的文章后 不知不觉中还是有

  • 招聘画像之资深安全工程师

    工作职责 1 负责公司产品安全架构设计 构建技术及产品安全基线 包括网络安全 应用安全 数据安全 运营安全等 2 负责最新的安全漏洞研究 最新安全动态的跟踪与探索 3 资产安全管理 保障公司在系统 网络 主机 权限 数据等多个层面的安全和可

  • Hook普通方法（包括静态方法）

    想学习安卓逆向可以联系qq 3251901516 HOOK重载方法 jscode Java perform function var utils Java use com qianyu fridaapp Utils utils test o

  • 【mysql】2003-Can‘t connect to MySQL server on “XX.XX.XX.XX“ (10060 unknow error)

    使用navicat或者其他数据库管理工具连接远程mysql服务器时出现2003 Can t connect to MySQL server 10060 unknow error 错误 经过排查时发现是防火墙的问题 OK 那么下面写一下处理的

  • HttpStatus状态码

    HTTP状态码 HTTP Status Code 是用以表示网页服务器超文本传输协议响应状态的3位数字代码 它由 RFC 2616 规范定义的 所有状态码的第一个数字代表了响应的五种状态之一 0 Maven 依赖

  • 金融风控-->申请评分卡模型-->申请评分卡介绍

    从这篇博文开始 我将总结金融风控中的另外一个模型 申请评分卡模型 这篇博文将主要来介绍申请评分卡的一些基本概念 本篇博文将以以下四个主题来进行介绍说明 信用风险和评分卡模型的基本概念 申请评分卡在互联网金融业的重要性和特性 贷款申请环节的数

  • mysql数据库的差异备份

    完整备份 t为数据库名 Mysql uroot pPassword t e FLUSH TABLES 关闭所有打开的表 把内存中的缓存写入磁盘 Mysql uroot pPassword t e FLUSH TABLES WITH READ

  • 日本芯片产业发展史

    01 1955年 纽约 一个日本来的年轻人 敲开了美国宝路华公司采购的大门 他此行的目的是推销公司新研发的小型收音机 与美国市场上傻大笨粗的同类产品不同 这个小型收音机号称可以装在口袋里 宝路华公司看上了这单生意 决定下单10万台 但是前提

  • WAF绕过小技巧

    一 WAF绕过 1 脏数据绕过 即传入一段长数据使waf失效 从而实现绕过waf 某些waf处理POST的数据时 只会检测开头的8K 后面选择全部放过 例如 当发现某网站存在一个反序列化漏洞时 但是无回显 被waf拦截了 利用脏数据插入50

  • SQL Server 高可用方案介绍

    图1 图2 图3 图4 图5 图6 图7 图8 图9 图10 图11 图12 图13

  • 攻防世界ctf题目fileinclude笔记

    根据提示 网站首页目录 var www html index php flag在flag php中 右键查看源代码 include处存在文件包含漏洞 变量从网站传过来的cookie确定 只要修改language参数访问flag目录即可 打开

  • Unity Android包体压缩

    查看资源文占用 在console窗口下点击 gt open editor log 打开的记事本内搜索 build report 能查看到对应的资源类型所占用的包体百分比 和打包后的文件文件大小 从大到小排列 查看某个类型的所有文件 在Pro

  • 注册Keil软件时出现TOOLS.INI_TOOLCHAIN NOT INSTALLED的解决办法

    问题描述 Keil软件注册好后 打开项目出现报错 Error Project 1 requires C51 Toolchain which is not installed 注册步骤 当我们在注册keil软件时选择ARM 注册成功后 打开项

  • 成功解决wget下载报错 : wget HTTP request sent, awaiting response... 403 Forbidden

    成功解决wget下载报错 wget HTTP request sent awaiting response 403 Forbidden 问题描述 解决方案 原理 什么是User Agent 解决 问题描述 2023 07 15 02 32

热门标签