Python dryscrape 抓取带有 cookies 的页面

2024-01-09

我想从网站获取一些数据,这需要登录。
我通过以下方式登录requests

url = "http://example.com"
response = requests.get(url, {"email":"[email protected] /cdn-cgi/l/email-protection", "password":"12345"})
cookies = response.cookies

然后我想从一些 JS 页面获取数据。通过requests这是不可能的,所以我必须使用干刮为了这。

import dryscrape
url = "http://example.com/js-page"
sess = dryscrape.Session()
sess.visit(url)

是否可以将cookie传递给visit()或者我必须寻找另一种解决方案?


为什么不通过 dryscrape 登录?

session = dryscrape.Session()
session.visit('<url_where_is_login_form>')
name = session.at_xpath('//*[@name="username"]') # Where <input name="username">
name.set("<login>")
password = session.at_xpath('//*[@name="password"]') # Where <input name="password">
password.set("<password>")
# Push the button
name.form().submit()
session.visit("<url to visit with proper cookies>")
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Python dryscrape 抓取带有 cookies 的页面 的相关文章

随机推荐

  • Java 到 JavaScript 编译器 [关闭]

    Closed 此问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 除了 GET 之外 还有其他 Java 到 JavaScript 编译器吗 目前我所有的工作都是用 Ja
  • 在 C++ 中存储任意对象的列表

    在 Java 中 您可以拥有一个对象列表 您可以添加多种类型的对象 然后检索它们 检查它们的类型 并针对该类型执行适当的操作 例如 如果代码不完全正确 我深表歉意 我是凭记忆写的 List list new LinkedList list
  • Python 中的本地导入语句

    我认为将 import 语句放置在靠近使用它的片段的位置 可以使其依赖关系更加清晰 从而提高可读性 Python 会缓存这个吗 我应该关心吗 这是一个坏主意吗 def Process import StringIO file handle
  • SplunkMint 上传 dSym

    每次尝试运行以下脚本 SplunkMint 脚本自动上传 dsym 文件以进行符号化 时 我都会收到此错误 SCRIPT usr bin find SRCROOT name splunkmint postbuild dsym upload
  • SQL Server CE 密码允许使用的字符吗?

    在我们开发的 Web 应用程序中 我们生成 SQL Server CE 数据库文件 并为这些文件生成密码 密码是使用 System Web Security Membership GeneratePassword 生成的 我认为Genera
  • 如何在 Tomcat 中启用 java 断言

    我想使用Javaassert我的 Spring Web 应用程序中的关键字 主要是在我的域类上 检查构造函数内的不变量 但我看不到如何启用运行时断言检查 对于普通的java应用程序 我会使用 ea使用 java 命令进行切换 但我不知道如何
  • 如何处理 jQuery UI Selectmenu 更改事件

    我使用 jquery ui 选择菜单自定义渲染选项 http jqueryui com selectmenu custom render 我该如何处理change event i try filesA on change function
  • 如何在 ng-repeat (AngularJS) 中绑定多个 JSON 文件?

    我有多个 JSON 文件 主要 json MainRegister name Name1 url url1 json name Name2 url url2 json url1 json SubInformation description
  • 使用 scipy.spatial 的数据类型问题

    我想使用 scipy spatial 的 KDTree 来查找二维数组中的最近邻对 本质上是一个列表列表 其中嵌套列表的维度为 2 我生成列表列表 将其通过管道传输到 numpy 的数组中 然后创建 KDTree 实例 然而 每当我尝试对其
  • 使用 Mockito 模拟 Jersey 客户端

    您好 我正在使用 JUnit 和 Mockito 测试 Jersey Client 1 19 版本 我正在努力获取或阅读该实体 我不知道如何从那里继续 而且我也收到 IllegalStateException 下面是我用来为客户端响应创建模
  • 如何在AWS上自动部署带有子模块的git存储库?

    我的 git 存储库中有一个子模块 我的目录结构如下 app folder1 folder2 submodule 5855 我已使用自动部署服务在 AWS 上部署了我的代码 现在 在服务器上 我的父目录中有代码 但子模块目录为空 Q1 如何
  • 量角器 - 查找所有元素和找到的元素的循环长度,然后单击按钮

    所以我一直在试图弄清楚如何根据 find All 元素的数量来单击按钮 x 次 这意味着如果同一个类名找到 3 个元素 那么我们循环 3 次 这应该单击按钮 3 次 我做了这样的事情 新更新 请查看底部的编辑帖子 通常情况下element
  • StrictMode java.lang.Throwable:检测到未标记的套接字

    启用 StrictMode 后 我刚刚开始收到此异常 java lang Throwable 检测到未标记的套接字 使用 TrafficStats setThreadSocketTag 跟踪所有网络使用情况 有几种方法可以处理此异常 首先
  • 使用细粒度锁的代码示例(JCR Jackrabbit?)

    我正在进行一项学术研究 试图开发一种编程工具 帮助实现细粒度锁定功能 用于维护树状数据结构的并发程序 例如 程序员可能会编写一些接收树根节点并修改树的函数 通过遍历某些路径并添加 删除节点 该工具将帮助他找到代码中节点应该被锁定的位置 以及
  • PDO-bindParam 不起作用

    我正在创建一个 PDO 类以在我的项目中使用 但由于我是新手 所以我无法将参数绑定到准备好的 sql 语句 而不会出现任何错误 这是执行此操作的函数 bindParam public static function bind get fun
  • java.net.URI.relativize 不适用于 JAR URI

    我有两个 URI 对象 一个指向 JAR 文件中的文件夹 另一个指向同一 JAR 文件中的文件 该文件位于第一个 URI 指定的目录的子文件夹中 我喜欢创建一个相对 URI 因此生成的 URI 仅包含 JAR 中文件的相对路径 文件夹URI
  • IIS 上的 Python:如何?

    我有 PHP dotNet 背景 并且对 Python 着迷 我想逐步将功能从 PHP 转置为 Python 并排运行各个部分 由于应用程序规模庞大 这一过渡可能需要 2 年时间 因此我必须使用 IIS 我有 15 年的 Web 编程背景
  • 使用 AFIncrementalStore 和 NSFetchedResultsController 出现死锁

    这几天我一直在苦苦思索这个问题 但我一生都无法弄清楚到底发生了什么 我对核心数据很陌生 但我对它足够了解 可以避免死锁情况 然而 对于这个项目 我决定尝试合并 AFIncrementalStore 我构建了一个示例项目来测试 APIClie
  • 使用 flex 将 Python 多行字符串与转义字符匹配

    我想知道如何将 python 多行注释与 flex 相匹配 我遇到了一些麻烦 以下工作正常Regexr https regexr com 但不被flex识别 我不知道如何修复它 1 2 以前 我使用过 3 0 2 3 它可以检测以下评论 A
  • Python dryscrape 抓取带有 cookies 的页面

    我想从网站获取一些数据 这需要登录 我通过以下方式登录requests url http example com response requests get url email email protected cdn cgi l email