使用代理时如何停止 NodeJS“Request”模块更改请求

抱歉，如果这听起来令人困惑。

我使用 NodeJS 请求模块编写了一个脚本，该模块在网站上运行并执行函数，然后返回数据。当我不使用代理时，通过将其设置为 false，该脚本工作得非常好。这不是不允许使用 Selenium/puppeteer 完成的任务

proxy: false

但是，当我设置（工作）代理时。它无法执行相同的任务，并被网站防火墙/反机器人软件检测到。

proxy: http://xx.xxx.xx.xx:3128

需要注意的一些事项：

• 我努力了many(20+) 不同的代理提供商（住宅和数据中心），他们都有这个问题
• 如果在我的系统上全局设置该代理，则不会出现此问题
• 如果在 Chrome 扩展程序中设置该代理，则不会出现此问题
• SSL 密码套件与 Chrome 不匹配，但在不使用代理时它们仍然不匹配，所以我认为这不是问题
• 保持标题顺序的一致性非常重要

问题基本上是。使用代理时，请求模块是否会更改任何内容（例如标头顺序）？

Here is an image of what happens when it passes/fails.

唯一的区别是更改导致失败的代理。一项请求是用提出的，一项请求是没有提出的。

url    : url,
simple : false,
forever: true,
resolveWithFullResponse: true,
gzip: true,
headers: {
    'Host'             : 'www.sitename.com',
    'Connection'       : 'keep-alive',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent'       : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36',
    'Accept'           : 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-encoding'  : 'gzip, deflate, br',
    'Accept-Language'  : 'en-GB,en-US;q=0.9,en;q=0.8',
},
method : 'GET',
jar: globalJar,
simple: false,
followRedirect: false,
followAllRedirects: false, 

停用我的旧帐户后，我想回来并给出这个问题的实际答案，现在我完全理解了答案。我一年前问的问题是不可能的，反机器人通过 TLS ClientHello 对我进行指纹识别（甚至在 TCP/帧级别上有轻微的指纹识别）。

首先，我写了一个名为request-curl它将 libcurl/curl 二进制文件包装到一个与格式相同的库中request-promise，这让我对请求有了更多的控制权（防止编码、http2/代理支持和进一步的会话/TLS 控制），但这仍然只让我达到了第 687 位最受欢迎的 ClientHello 的 medicore 排名（https://client.tlsfingerprint.io:8443/ https://client.tlsfingerprint.io:8443/）。这还不够好。

我必须转移语言。 NodeJS 过于高级语言，无法进行真正深入的控制（必须修改从第 3 层发送的数据包）。所以作为我问题的答案。

This is not yet在 NodeJS 中可以做到 - 更不用说now未维护的 request.js 库。

对于阅读本文的任何人，如果您想伪造完美的请求来绕过反机器人安全性，您必须转向不同的语言：我推荐 Golang 中的 utls 或 c# 中的 BouncyCastle。祝你好运，因为我花了一年的时间really知道如何做到这一点。即便如此，这些语言还存在更多内部问题和它们尚未想到的功能（Go 不支持“基本”标头排序，您需要猴子修补/修改内部结构等，utls 不容易支持代理）。这样的例子不胜枚举。

如果你还没有深入其中，那它就是一个地狱般的兔子洞，我建议你不要进入它。