程序员经验分享-hwhale

为什么 urllib.urlopen.read() 与源代码不对应？

2023-11-26

我正在尝试获取以下网页：

import urllib
urllib.urlopen("http://www.gallimard-jeunesse.fr/searchjeunesse/advanced/(order)/author?catalog[0]=1&SearchAction=1").read()

结果与我使用 Google Chrome 检查网页源代码时看到的不符。

您能告诉我为什么会发生这种情况以及如何改进我的代码来克服这个问题吗？

感谢您的帮助。


你从中得到什么urlopen是原始网页，意味着没有执行 javascript，不使用 css；你从 Chrome（或其他浏览器）获得的是最终网页，其中包括可执行的 javascript（可能会改变 HTML）、CSS 渲染等。所有这些都不会发生在urlopen...

因此存在差异，希望这一点很清楚

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

urllib

urlopen

为什么 urllib.urlopen.read() 与源代码不对应？ 的相关文章

  • python sys.path 故障排除

    python 文档位于http docs python org library sys html http docs python org library sys html比如说sys path is 从环境变量 PYTHONPATH 以及

  • 从文本文件中删除特定字符

    我对 Python 和编码都很陌生 我当时正在做一个小项目 但遇到了一个问题 44 1 6 23 2 7 49 2 3 53 2 1 68 1 6 71 2 7 我只需要从每行中删除第三个和第六个字符 或者更具体地说 从整个文件中删除 字符

  • 使用python查找txt文件中字母出现的次数

    我需要从 txt 文件中读取该字母并打印 txt 文件中出现的次数 到目前为止 我已经能够在一行中打印内容 但计数有问题 有人可以指导吗 infile open grades txt content infile read for char

  • 稀有对象的 python 类型注释，例如 psycopg2 对象

    我了解内置类型 但是我如何指定稀有对象 例如数据库连接对象 def get connection and cursor gt tuple psycopg2 extensions cursor psycopg2 extensions conn

  • 使用 django-rest-framework 设置对象级权限

    尝试使用 django rest framework 最干净 最规范地管理 django guardian 对象级权限 我想将对象的读取权限 module view object 分配给在执行 POST 时发出请求的用户 我的基于阶级的观点

  • 使用 Django 将文件异步上传到 Amazon S3

    我使用此文件存储引擎在上传文件时将文件存储到 Amazon S3 http code welldev org django storages wiki Home http code welldev org django storages w

  • Series.sort() 和 Series.order() 有什么区别？

    s pd Series nr randint 0 10 5 index nr randint 0 10 5 s Output 1 3 7 6 2 0 9 7 1 6 order 按值排序并返回一个新系列 s order Output 2 0

  • 使用 Paramiko 进行 DSA 密钥转发？

    我正在使用 Paramiko 在远程服务器上执行 bash 脚本 在其中一些脚本中 存在与其他服务器的 ssh 连接 如果我只使用 bash 不使用 Python 我的 DSA 密钥将被第一个远程服务器上的 bash 脚本转发并使用 以连接

  • 协程从未被等待

    我正在使用一个简单的上下文管理器 其中包含一个异步循环 class Runner def init self self loop asyncio get event loop def enter self return self def e

  • 使用python从gst管道抓取帧到opencv

    我在用着OpenCV http opencv org 和GStreamer0 10 我使用此管道通过自定义套接字通过 UDP 接收 MPEG ts 数据包sockfd由 python 提供并显示它xvimagesink 而且效果很好 以下命

  • 运行 Python 单元测试，以便成功时不打印任何内容，失败时仅打印 AssertionError()

    我有一个标准单元测试格式的测试模块 class my test unittest TestCase def test 1 self tests def test 2 self tests etc 我的公司有一个专有的测试工具 它将作为命令行

  • Python将文本文件解析为嵌套字典

    考虑以下数据结构 HEADER1 key value key value HEADER2 key value key value HEADER3 key value HEADER4 key value key value 原始数据中没有缩进

  • 使用 for 循环创建一系列元组

    我已经搜索过 但找不到答案 尽管我确信它已经存在了 我对 python 很陌生 但我以前用其他语言做过这种事情 我正在以行形式读取数据文件 我想将每行数据存储在它自己的元组中 以便在 for 循环之外访问 tup i inLine wher

  • Plotly：如何检查基本图形结构（版本 4）

    对于旧版本的plotly 例如在 Jupyterlab 中 您可以简单地运行figure像这样检查你的图形的基础知识 Ouput data marker color red size 10 symbol 104 mode markers l

  • 如何将带有参数的Python装饰器实现为类？

    我正在尝试实现一个接受一些参数的装饰器 通常带有参数的装饰器被实现为双重嵌套闭包 如下所示 def mydecorator param1 param2 do something with params def wrapper fn def

  • minizinc python 安装

    我通过 anaconda 提示符在 python 上安装了 minizinc 就像其他软件包一样 pip install minizinc 该软件包表示已成功安装 我可以导入该模块 但是 我正在遵循基本示例https minizinc py

  • 带 Flask 的 RPI dht22：无法将第 4 行设置为输入 - 等待 PulseIn 消息超时

    我正在尝试制作一个 Raspberry Pi 3 REST API 使用 DHT22 提供温度和湿度 整个代码 from flask import Flask jsonify request from sds011 import SDS01

  • rpy2 无法加载外部库

    希望有人能帮忙解决这个问题 R版本 2 14 1rpy2版本 2 2 5蟒蛇版本 2 7 3 一直在尝试在 python 脚本中使用 rpy2 加载 R venneuler 包 该包以 rJava 作为依赖项 venneuler 和 rJa

  • pandas 中数据帧中的随机/洗牌行

    我目前正在尝试找到一种方法来按行随机化数据框中的项目 我在 pandas 中按列洗牌 排列找到了这个线程 在 pandas 中对 DataFrame 进行改组 排列 https stackoverflow com questions 157

  • 无法安装最新版本的 Numpy (1.22.3)

    我正在尝试安装最新版本的 numpy 即 1 22 3 但看起来 pip 无法找到最后一个版本 我知道我可以从源代码本地安装它 但我想了解为什么我无法使用 pip 安装它 PS 我有最新版本的pip 22 0 4 ERROR Could n

随机推荐

  • 将文档作为参数传递给 Java 中的 XSL Translation

    我正在为我的 XSL 添加国际化功能 我见过很多创建dictionary xml 文件并通过document dictionary xml 将其加载到我的XSL 中的示例 我想做类似的事情 但我不想在磁盘上创建和存储dictionary x

  • Bootstrap 4 卡列宽度

    我正在使用文档中的代码创建一个包含 3 4 张卡片的卡片列布局 我只从一个开始 这是我的代码 div class card columns div class card img class card img top img fluid sr

  • 如何设置 PHP 回显文本的样式？ [关闭]

    Closed 这个问题需要细节或清晰度 目前不接受答案 我有以下代码

  • iOS facebook sdk 如何下载相册、个人资料照片数据

    我想让我的 iPhone 应用程序用户查看并从他们的 Facebook 个人资料照片中选择 下载照片以用作个人资料图片 我目前正在使用Facebook SSO SDK并成功登录并访问Graph信息 已尝试使用以下方式访问照片信息 成功 SS

  • 如何获取重定向UDP报文的原始目的端口？

    Using 这东西我可以获得原始目的IP地址socket PF INET SOCK DGRAM 0 socket 如何获取原目的港 取决于重定向机制 如果您使用 REDIRECT 即底层的 NAT 则需要使用 SO ORIGINAL DST

  • 如何将 javascript 文件的服务限制为仅向经过身份验证的用户提供？

    我有一个 WebAPI 2 AngularJS SPA 应用程序 它使用 Identity 2 进行身份验证 我的代码在本地存储一个用于身份验证的令牌 我想实现一个功能 允许我的应用程序在下载初始 index html 页面后为经过身份验证

  • 游戏开发入门

    我想开始游戏开发 我读了很多文章 但没有走得太远 我正在学习计算机科学 并且有 C 经验 一个学期的 Java NET 甚至汇编程序 但我不会从那开始 我想开发 小型 游戏 例如俄罗斯方块 以及后来的某种跳跃和奔跑 我想从事视觉方面的工作

  • R：在 foreach %dopar% 中显示错误和警告消息

    我刚开始使用 foreach dopar 进行并行 并且对于它如何处理错误或警告有一些问题 当我在 foreach dopar 中使用 try 和自定义错误消息时 本机 错误消息不会显示 test lt function x if x 2

  • Java中的隐藏方法是什么？甚至 JavaDoc 的解释也令人困惑

    Javadoc says 调用的隐藏方法的版本是超类中的版本 调用的重写方法的版本是子类中的版本 没有给我敲响警钟 任何显示其含义的清晰示例都将受到高度赞赏 public class Animal public static void fo

  • 如何在 Knex where like 查询中转义 %？

    我在用着knex生成我的 SQL 查询 在knex文档 它显示了这一点 knex users where columnName like rowlikeme 现在在我的应用程序中 我这样做了 function search term ter

  • 可以在应用程序内购买 iOS 7 模拟器吗？ [关闭]

    Closed 这个问题不符合堆栈溢出指南 目前不接受答案 看来苹果再次拿走了ios 7模拟器来测试应用内购买的权利 我的游戏在其他版本的 ios 模拟器上运行良好 可以在应用程序购买中进行测试 但突然它在 ios 7 模拟器上停止 并抛出错

  • 如何升级到 C++17？

    我使用 Atom 作为我的 IDE 我当前的 cplusplus 201402这是 C 14 我的编译器是g 海湾合作委员会 9 2 0 如何升级到 C 17 或 C 20 我搜索到的所有内容都涉及使用另一个 IDE Microsoft V

  • 检测基于纬度/经度的多边形中的点

    我想在服务器端仅使用 C 检测基于纬度 经度的坐标是否位于由基于纬度 经度的点组成的区域 多边形 内 我相信正确的方法是光线投射 但也许已经有一个 C 实现了 因为它并不简单 另外 我知道 SQL Server 有一些几何函数 例如STIn

  • 解析 Joda 时间部分

    我想从字符串生成部分 但在 API 中找不到任何支持该功能的内容 显然 我可以在 Joda Time 框架之外编写自己的解析器并创建 Partials 但我无法想象 API 尚不具备执行此操作的能力 使用 Threeten JSR 310

  • java.sql.SQLException：此驱动程序不支持 SQL Server 版本 8。 SQL 状态 = 08S01，错误代码 = 0

    我已将我的应用程序升级到Websphere 7 0from Websphere 6 1 我在用Microsoft SQL server jdbc driver 4 0对于这个应用程序 当我使用sqljdbc4 jar连接到数据库进行身份验证

  • 如何使用 pandas 从 Word 文档 (.docx) 文件中的表创建数据框

    我有一个带有数据表的word文件 docx 我正在尝试使用该表创建一个pandas数据框 我使用了docx和pandas模块 但我无法创建数据框 from docx import Document document Document req

  • 使用 char(36) 类型对第一列进行编码

    所以我有一个 UserProfile 模型类作为 SimpleMembership 的一部分 在其中 我需要存储存在于另一个类型的数据库中的遗留标识符char 36 我很想将其更改为更明智的内容 例如 uniqueIdentifier 但这

  • Spring Security：如何以编程方式清除“记住我”cookie？

    我在网络应用程序中使用注销方法 如下所示 但如果我检查remember me注销不起作用 因为 cookie 未清除 如何在我的方法中以编程方式清除此 cookie 或如何制定更好的注销方法 public void logout Anony

  • 使用 setAs() 在 R 中指定 colClasses 时收到警告 [关闭]

    这个问题不太可能对任何未来的访客有帮助 它只与一个较小的地理区域 一个特定的时间点或一个非常狭窄的情况相关 通常不适用于全世界的互联网受众 为了帮助使这个问题更广泛地适用 访问帮助中心 我尝试使用这里提供的答案 Greg Snowquest

  • 为什么 urllib.urlopen.read() 与源代码不对应？

    我正在尝试获取以下网页 import urllib urllib urlopen http www gallimard jeunesse fr searchjeunesse advanced order author catalog 0 1

热门标签