爬虫保存cookies时重要的两个参数(ignore_discard和ignore_expires)的作用

2023-10-29

代码如下:(由于临时做的实例采用登录云打码平台的cookies)

import requests
from lxml.html import etree
from fake_useragent import UserAgent
from http.cookiejar import LWPCookieJar
from ydm import shibie


session = requests.Session()
session.cookies = LWPCookieJar(filename='ydm.txt')

try:
    session.cookies.load('ydm.txt', ignore_discard=True, ignore_expires=True)
    print('本地cookie加载完成')
except Exception as e:
    print('')

ua = UserAgent()
headers = {
    'headers': ua.random,
}


def get_captcha_image():
    content = session.get('http://www.yundama.com/index/captcha', headers=headers).content
    with open('captcha.jpg', 'wb') as f:
        f.write(content)


def login():
    get_captcha_image()

    # 验证码保存到本地以后,对验证码进行识别
    result = shibie('captcha.jpg')

    print('识别结果:', result)

    response = session.get('http://www.yundama.com/index/login?username=gaohairui&password=gao12345&utype=1&vcode={}'.format(result))

    print(response.text)

    session.cookies.save(ignore_discard=True, ignore_expires=True)

if __name__ == '__main__':
    login()


不难看出最后的保存的两个参数:ignore_discard和ignore_expires

 session.cookies.save(ignore_discard=True, ignore_expires=True)

两个参数的作用:

    官方的解释:

ignore_discard: save even cookies set to be discarded.
ignore_expires: save even cookies that have expired.The file is overwritten if it already exists

    不难看出两个参数的实际作用是:ignore_discard的意思是即使cookies将被丢弃也将它保存下来,ignore_expires的意思       是如果cookies已经过期也将它保存并且文件已存在时将覆盖,在这里,我们将这两个全部设置为True。运行之后,cookies       将被保存到ydm.txt文件中。

    查看一下内容:


    















本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

爬虫保存cookies时重要的两个参数(ignore_discard和ignore_expires)的作用 的相关文章

  • 如何为 4.7.2 之前的 .Net Framework 设置 cookie 属性 Samesite = None(对于 4.5.2)

    根据 Google Chrome 的最新更新 它只允许具有属性的跨平台 cookie sameSite None Link https learn microsoft com en us aspnet samesite system web
  • Cookie 未设置或首次不起作用

    在每个页面上 我都设置了一个 cookie 来为与该会话对应的标题按钮着色 问题是 当我第一次在不同的部分打开页面时 cookie 仍然是旧的 彩色按钮也是如此 然后 如果我再次单击同一按钮 则 cookie 会被正确设置 为什么 这是我的
  • 如何保留使用 MCV5/OWIN 更新的 cookie 声明

    我们正在开发一个 OWIN MVC5 项目 我们使用自己的实现IUserStore
  • 跨子域和主机的 Cookie

    在我使用开发环境和语言组合编写的应用程序中 我需要从两个不同的子域 每个子域位于单独的主机上 访问 cookie cookie 正在设置www mydomain com使用下面的 PHP 代码 我尝试从distant mydomain co
  • ASP.NET MVC 4 cookie 消失

    我有一个 ASP NET 应用程序 它将身份验证 cookie 发送到 ASP NET MVC 应用程序 用作后台应用程序 我添加了一个全局过滤器 用于检查身份验证 cookie 的每个控制器操作 如果cookie存在 则允许用户进入该页面
  • NodeJS 快速会话 req.session 未定义

    我正在开发一个简单的登录系统 但会话似乎没有保存 我编写了一个简单的代码进行测试 谁能告诉我它有什么问题吗 我正在运行登录 之后我正在运行 is logged 但我从未登录并且两个会话都未定义 var port process env PO
  • 如何使用 Java 以编程方式登录 Facebook?

    我正在尝试编写一个可以自动登录 Facebook 的 Java 程序 到目前为止 我已经得到了以下代码 可以将主页 html 页面下载到字符串中 但不知道如何发送电子邮件和密码来登录 Facebook Java 程序还需要处理返回的 coo
  • 如何跟踪用户在网站上的使用情况?

    我正在使用 PHP MYSQL 每次用户登录时 我们都会插入他们登录的时间和登录日期 虽然我们很容易知道特定一天有多少用户登录 但我不确定如何计算他们在网站上花费的时间 例如 就像用户登录并将记录插入到 login tracking 表中一
  • 切换到负载均衡器后,django 帖子收到 CSRF 验证失败

    我有一个有效的登录模板 可以发布帖子 如下所示
  • 在 Rails 5 控制器集成测试中设置 cookie.signed

    想象一下这样的场景 有一个控制器集成测试调用一个控制器方法 其中cookie signed用于一些完整性检查 控制器 app controllers foo controller rb def index entity FooEntity
  • 为什么 Chrome 审核建议我最小化 Cookie 大小?

    如何最小化请求的 cookie 大小 Chrome 似乎 警告我 我的 cookie 大小为 41B 这根本不是很多 但是它警告我有什么原因吗 这是一个 PHPSESSID cookie 我真的不知道如何最小化它 有任何想法吗 我的请求响应
  • .NET 中的 Cookie 和会话过期

    我有一个 MVC4 单一应用程序页面 登录页面有 3 个字段 用户 密码和 记住我 复选框 C 登录代码是这样的 if WebSecurity Login model UserName model Password persistCooki
  • 标头和 cookie 中的 CSRF 令牌在请求中不匹配

    我正在实现一个无状态 API 我的组织表示我需要防止 CSRF 攻击 我在网上找到了这个人的解决方案 并决定尝试实施仅客户端的方法 http blog jdriven com 2014 10 stateless spring securit
  • $_COOKIE[] 设置后似乎没有反映更改

    我不记得过去使用 Cookie 时遇到过很多问题 但我在尝试时遇到了一些意想不到的结果 我在本地主机上运行 因此我的域设置 这将产生以下输出 Cookie Set Cookie equals 457718770 shou
  • jquery ui 选项卡不再支持 cookie?怎么办?

    我很抱歉这是一个开放式问题 但我很茫然 从 jquery UI 1 9 版本开始 它们使用cookie选项以保存跨多个页面的选项卡的活动状态 http jqueryui com upgrade guide 1 9 deprecated co
  • 如何在之前的 Facebook 身份验证后自动安全地让用户登录?

    用户抱怨他们必须过于频繁地登录 如果身份验证完全基于 Facebook OAuth 那么用户如何在下次访问该页面时自动登录 用户流程示例 用户点击 使用 Facebook 登录 用户通过 Facebook 进行身份验证并被重定向回网站 用户
  • 当用户再次访问同一页面时保持登录状态?

    目前我正在使用会话来登录用户 但是当我关闭浏览器并再次打开它时 我必须再次登录 你如何让用户在 2 周内保持登录状态 那么是通过cookie吗 那么您想要 在这台计算机上记住我 选项吗 这是一种与语言无关的方法 创建一个至少包含以下内容的数
  • CookieManager.getInstance().removeAllCookie();不删除所有cookie

    我在应用程序的 onCreate 中调用 CookieManager getInstance removeAllCookie 我遇到了一个奇怪的问题 我看到 GET 请求中传递了意外的 cookie 值 事实上 cookie 值是一个非常非
  • PHP 读取使用 setcookie() 创建的 cookie

    来自manual https www php net setcookie 直到下一次加载 Cookie 应该可见的页面之前 Cookie 才会变得可见 这意味着创建的 cookiesetcookie将无法访问 COOKIE直到下一页加载 有
  • 使用 PHP 读取 cookie

    我正在尝试读取我用 javascript 设置的 cookie 特别是 jQuery Cookie 插件 然后我用 PHP 读取它以将其写入数据库 由于某种原因 cookie 是在页面加载时创建的 但在页面刷新之前并不 存在 这意味着我正在

随机推荐

  • 正则表达式获取两个字符之间的字符串信息

    今天工作有一个需求就是捕获两个字符之间的字符串信息 类似就是AcakeB这个字符串中提取cake 当时只想到如下的表达式 A B 复制代码 上述是将以A开头和以B结尾的字符串提取出来 但是本意是不想要有A和B了 通过查资料发现了如下写法 l
  • JSP四大作用域

    一 ServletContext 1 生命周期 当Web应用被加载进容器时创建代表整个web应用的ServletContext对象 当服务器关闭或Web应用被移除时 ServletContext对象跟着销毁 2 作用范围 整个Web应用 3
  • sql两张表统计求比分比。

    数据 表一 compay 表二person 第一步 第一张表统计结果 select sum money from person 第二张表统计结果 select sum money from compay 相除结果 select select
  • 读取word中表格的数据

    在pro文件中加入 QT axcontainer 按步骤 1 创建Word应用程序对象 2 获取文档集 3 打开文档 4 获取活动表格 5 读取表格中的信息 QAxObject myword new QAxObject Word Appli
  • 区块链-技术简介(*)

    1 什么是区块链 区块链技术是利用块链式数据结构来验证与存储数据 利用分布式节点共识算法来生成和更新数据 利用密码学的方式保证数据传输和访问的安全 利用由自动化脚本代码组成的智能合约来编程和操作数据的一种全新的分布式基础架构与计算范式 简单
  • PTA(Basic Level) 1029_旧键盘 Python实现

    1029 旧键盘 Python实现 下面是题目信息 旧键盘上坏了几个键 于是在敲一段文字的时候 对应的字符就不会出现 现在给出应该输入的一段文字 以及实际被输入的文字 请你列出肯定坏掉的那些键 输入格式 输入在 2 行中分别给出应该输入的文
  • 【AI PC端算法优化】二,一步步优化自然饱和度算法

    上一节的RGB转灰度图算法我又做了两个相关优化 加入了多线程以及去掉了上次SSE计算中的一些重复计算 现在相对于传统实现已经可以获得4倍加速 同时我也在做一个AVX2的优化 所以不久后我将发布一个RGB转灰度图算法优化的升级版 尝试触摸这一
  • 华为手机上的网上邻居怎么用_华为手机如何无线连接电脑

    不少朋友都会使用手机作为猫无线上网 那你知道如何用华为手机连接电脑3G上网 下面是小编给大家整理的一些有关华为手机连接电脑的方法 希望对大家有帮助 华为手机连接电脑的方法首先要确保已经安装了华为手机的驱动 接着在电脑的网上邻居那里点击右键
  • 浅谈对集群、分布式、分布式集群、微服务的理解

    我认为集群是个物理形态 分布式是个工作方式 分布式其实也是物理形态 这里相比较而言的 当集群中的服务器都做同样的事情时 集群就是一个集群 当集群中的服务器各司其职时 他就变成了分布式 所以说分布式中的每一个节点都可以是集群 但是集群并不一定
  • ES6的迭代器与迭代协议Symbol.iterator

    前言 ES6新增了两个协议 可迭代协议 对象必须具有Symbol Iterator属性 属性值为一个函数 当这个对象被迭代时 就会调用该函数 返回一个迭代器 迭代器协议 描述了迭代器对象的具体规则 迭代器 迭代器 它是用于访问集合类的标准访
  • 如何解决pip更新问题.WARNING: You are using pip version 19.2.3, however version 19.3.1 is available.

    出现如图所示 当直接输入python m pip install upgrade pip更新还报错的时候 输入命令 python m pip install pip 结果如图所示 亲测有效
  • mysql注解参数_MySQL主从复制参数注解

    MySQL主从复制参数注解 master所有参数 1 log bin mysql bin 1 控制master的是否开启binlog记录功能 2 二进制文件最好放在单独的目录下 这不但方便优化 更方便维护 3 重新命名二进制日志很简单 只需
  • String的intern()方法浅析

    简介 String intern 方法是一种手动将字符串加入常量池中的native方法 原理如下 如果在当前类的常量池中存在与调用intern 方法的字符串等值的字符串 就直接返回常量池中相应字符串的引用 否则在常量池中复制一份该字符串 J
  • 连续不等_从“Jensen不等式”导出几个著名不等式

    常用的著名不等式 从Jensen不等式出发导出其他一些知名不等式 加权AG不等式 对 有 证明 记 因为对数函数为凸函数 使用加权琴生不等式 可得 Young不等式 若 则 证明 利用上述 加权AG不等式有 记 带入整理可得Young不等式
  • 2.2设备树的规范(dts和dtb)——DTB格式

    本节讲述设备树的dtb格式 上节讲述了dts格式 回顾上节 在dts文件和dtsi文件中 可以使用C语言的define和include 使用方法和作用也同C语言相同 编写dts文件后 需要使用dtc工具将dts文件编译成dtb文件 dtc工
  • Linux应用开发程序测试

    文章目录 前言 一 通过SDK开发应用程序 创建工程 将该工程的 elf 文件运行在我们搭建的Linux上 3 SDK调试 小总结 1 打开SDK 创建Linux应用程序工程 2 编写代码 3 编译代码 4 将可执行文件拷贝到开发板根文件系
  • Python,OpenCV应用轮廓逼近算法,检测对象的形状

    上一篇博客 我们学习了如何利用Python OpenCV计算轮廓的中心 这一节学习仅运用轮廓的基本属性来检测其形状 三角形 正方形 矩形 五边形 圆 1 利用轮廓逼近 将曲线上的点数减少为更简单的近似版本的过程 2 基于该轮廓逼近 检查每种
  • 自学网络安全,学习路线图必不可少,【282G】初级网络安全学习资源分享!

    前言 在自学网络安全的时候 我们总会遇到一些问题 我们可以在网上看到很多关于前端的这些问题 你们都是怎么学网络安全web前端的 零基础 怎么自学好网络安全 网络安全需要学多久 都学哪些知识 想成为一名合格的网络安全工程师 需要掌握哪些技能
  • SpringBoot第 6 讲:SpringBoot+jersey跨域文件上传

    一 创建Maven项目 参考 SpringBoot第 1 讲 HelloWorld 秦毅翔的专栏 CSDN博客 二 修改pom xm
  • 爬虫保存cookies时重要的两个参数(ignore_discard和ignore_expires)的作用

    代码如下 由于临时做的实例采用登录云打码平台的cookies import requests from lxml html import etree from fake useragent import UserAgent from htt