如何使用 PHP、CURL 抓取 javascript 网站 [重复]

2024-02-04

可能的重复:
如何在 PHP 应用程序内从另一个站点呈现 javascript? https://stackoverflow.com/questions/5332161/how-do-i-render-javascript-from-another-site-inside-a-php-application

这是网站http://www.oferta.pl/strona_v2/gazeta_v2/ http://www.oferta.pl/strona_v2/gazeta_v2/。该网站完全基于 JavaScript 构建。我想使用 PHP 和curl 进行抓取。目前我使用 DOMXPath。在左侧菜单中有一些类别可供选择。我在那里看不到“形式”。如何使用curl 提交该表单并废弃输出页面?

我只使用过 file_get_contents() 。它没有获取整个页面。我该如何继续?

N.B : http://www.html-form-guide.com/php-form/php-form-submit.html http://www.html-form-guide.com/php-form/php-form-submit.html我发现这个例子有一个“形式”。但我指定的网站没有“表格”。


你不能刮它。这是可能的。但这太难了。

  1. 通过curl模拟http请求。检查它提出的每个请求ajax并尝试模拟它。

  2. 模拟 Javascript 执行(这部分几乎是不可能的)。某些请求包含由 Javascript 生成的值。您需要在 php 中执行此操作。如果他们有一些用 JS 实现的复杂算法,你可以调用v8JavaScript 引擎。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何使用 PHP、CURL 抓取 javascript 网站 [重复] 的相关文章

随机推荐

  • React 测试库 fireEvent.click 不起作用

    我基本上只是想改变一个计数器并显示该值已经改变 我正在这样做getByTestId那么这可能是问题所在 这是我的组件 import React useState from react import logo from logo svg im
  • Python 3.7 psycopg2 - Xcode 错误“错误:命令‘gcc’失败,退出状态 1”

    对于我目前正在处理的 Python Kivy 项目 使用 PyCharm 我设置了一个 postgreSQL 数据库 当我尝试使用终端安装 psycopg2 适配器时 pip install psycopg2我收到错误 错误 命令 gcc
  • 删除的 DataTable 行在排序后再次添加

    我正在使用数据表 https datatables net用于显示 HTML 表格的 jQuery 插件 我做了一个AJAX发送删除的行删除函数POST后台请求并显示返回的结果HTML消息在 infodiv 并删除相关的HTML行从DOM使
  • IDEA中有@NonNullByDefault注解吗?

    Eclipse 有 NonNullByDefault注释 它将所有值视为 NonNull除非你明确地将它们注释为 Nullable IntelliJ IDEA 中是否有等效的选项 或者您必须始终使用 Nonnull Idea 版本 14 将
  • 使用express/multer时更改文件名

    我在上传 pdf 时遇到问题 我正在使用ng file upload 到达express js的文件json是 fieldname file originalname db pdf encoding 7bit mimetype applic
  • JQuery 模式在提交前询问

    我有一个表单 用户可以在其中输入他的姓名 必填 出生日期 不需要 并且在提交表单之前 有一个确认信息 表明他 她是否确定提交没有出生日期的表单 我正在使用一个模式 它将提交上面的表格 我尝试运行下面的代码 但我看不出为什么不起作用的问题 当
  • 帮助构建修补的 Android 框架

    我是 Android 平台开发的新手 我刚刚成功构建氰化物7 http www cyanogenmod com 应用补丁后的源 这会向系统添加额外的 jar 适合 system framework 目录 刷新设备并检查新的自定义 jar 是
  • MySQL - 获取组的 sum() 分组 max()

    我有如下表结构 每行都是一场游戏 每个人每个月可以玩很多次或不玩 id person score date 1 32 444 2011 05 2 65 528 2011 05 3 77 455 2011 05 4 32 266 2011 0
  • MySQL:主机列中的 % 代表什么以及如何更改用户密码

    嗯 这就是我能看到的 select host user from mysql user host user me 127 0 0 1 root 1 root localhost localhost debian sys maint loca
  • JDBC 字符编码

    我有一个在 GlassFish 3 上运行的 Java Web 应用程序和在 MySQL 上运行的 JPA EclipseLink 我面临的问题是 如果我使用以下命令将实体保存到数据库中update 方法 String领域失去完整性 显示而
  • 在编译时计算小整数的阶乘

    我刚刚实现 再次 一个递归模板 用于在编译时计算整数的阶乘 谁会想到有一天我实际上会需要它 不过 我没有自己动手 而是去了Boost http www boost org 寻找答案 然而 特殊数学中的阶乘函数明确禁止将其与整数类型一起使用
  • 在Java BufferedImage中绘制完全透明的“白色”

    这可能听起来有点奇怪 但请耐心听一下 那里is一个原因 我正在尝试在灰色背景上的文本周围生成白色发光 为了生成发光 我创建了一个比文本大的新 BufferedImage 然后将白色文本绘制到图像的画布上 并通过卷积运算 http docs
  • 如何在Python中将csv转换为json?

    我对编程非常陌生 过去 3 4 周一直在学习 python 这是给出的作业之一 Input A B C D 1 2 3 4 5 6 7 8 Output A 1 B 2 C 3 D 4 A 5 B 6 C 7 D 8 我一直在尝试将代码设置
  • stat_smooth 和 geom_ribbon 之间的交互不良

    我正在回答这个问题 https stackoverflow com questions 64574595 geom density returns plot without considering real values 这需要绘制平滑区域
  • 如何在Python中基于if语句保存一个文档?

    我正在尝试根据 if 语句保存文档 我在这里创建单选按钮 info Option 1 Option 2 Option 3 vars for idx i in enumerate info var IntVar value 0 vars ap
  • NoClassDefFoundError:配置属性源

    从昨天开始 在全新安装后 我们的 spring boot 项目在没有更改 Maven 文件 库或其他配置的情况下出现了问题 我们确实尝试将 SpringFrameWork 和 Spring boot 的 pom 版本更新到 1 5 4 Re
  • 整数数组作为字典的键

    我希望拥有使用整数数组作为键的字典 如果整数数组具有相同的值 甚至不同的对象实例 它们将被视为相同的键 我该怎么做呢 以下代码不起作用b是不同的对象实例 int a new int 1 2 3 int b new int 1 2 3 Dic
  • 如何获取所有 Spark 配置以及默认配置?

    我正在开发一个项目 需要收集所有 Spark 配置 问题是 如果没有明确设置参数 我将需要默认值 有没有办法获取所有配置 包括所有默认值 我尝试过 sc getConf getAll 但通过这种方式 我没有得到默认值 SparkListen
  • Java 卡连接到模拟器失败

    我正在尝试测试 Java Card 小程序以建立与 cref 等模拟器的连接 try sckClient new Socket localhost 9025 InputStream is sckClient getInputStream O
  • 如何使用 PHP、CURL 抓取 javascript 网站 [重复]

    这个问题在这里已经有答案了 可能的重复 如何在 PHP 应用程序内从另一个站点呈现 javascript https stackoverflow com questions 5332161 how do i render javascrip