Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
如何在 Ruby 中使用 mechanize 填写登录表单?
下面是我希望用机械化填写的表格 已经尝试过常用的模型 例如 使用 Ruby 和 Mechanize 填写远程登录表单之谜 但没有成功
ruby
Forms
screenscraping
mechanize
使用 JSOUP 登录 ConEd 网站
我已经广泛阅读了有关如何做到这一点的内容 并且尝试了许多不同的变体 但我无法让它发挥作用 基本上 我只想登录 ConEdison 网站并抓取我的账单历史记录 这是我所拥有的 Connection Response loginForm Jso
Java
authentication
Jsoup
screenscraping
使用 PHP 抓取完整图像 src
我正在尝试用 php 抓取 img src 我可以很好地获取 src 但是如果 src 不包含完整路径 那么我无法真正重用它 有没有办法使用php获取图像的完整路径 如果使用右键菜单 浏览器可以获取它 IE 如何获取包含以下两个示例之一中的
php
path
screenscraping
src
使用 jQuery 进行简单的屏幕抓取
我一直在考虑使用 jQuery 使用简单的屏幕抓取器的想法 我想知道以下是否可行 我有简单的 HTML 页面 并且正在尝试 如果可能的话 从另一个页面获取所有列表项的内容 如下所示 主页
javascript
jQuery
screenscraping
防止屏幕刮擦[关闭]
Closed 这个问题是无关 目前不接受答案 根据我的问题屏幕抓取的合法性 即使这是非法的 人们仍然会尝试 所以 可以采用哪些技术机制prevent或者至少抑制屏幕抓取 哦 只是为了笑 让生活变得困难 保留搜索引擎的访问权限可能会很好 我可
screenscraping
如果对象还有其他类,Beautiful Soup 也找不到 CSS 类
如果一个页面有 div class class1 and p class class1 then soup findAll True class1 会找到他们两个 如果有 p p class class1 class2 但是 它不会被发现
python
screenscraping
beautifulsoup
file_get_contents() 给我 403 Forbidden
我有一个合作伙伴创建了一些内容供我抓取 我可以使用浏览器访问该页面 但是当尝试使用file get contents 我得到一个403 forbidden 我尝试过使用stream context create 但这没有帮助 可能是因为我不
php
html
httpheaders
screenscraping
JSoup - 选择所有评论
我想使用 JSoup 从文档中选择所有评论 我想做这样的事情 for Element e doc select comment System out println e 我已经尝试过这个 for Element e doc getAllEl
Java
screenscraping
extract
comments
Jsoup
OpenUri 导致 HTTPS URL 出现 401 Unauthorized 错误
我正在添加从需要使用带有身份验证的 HTTPS 连接的源中抓取 XML 页面的功能 我正在尝试使用 Ryan Bates 的 Railscast 190 解决方案 但遇到 401 身份验证错误 这是我的测试 Ruby 脚本 require
ruby
authentication
https
screenscraping
编写一个 C# 程序,扫描电子商务网站并从中提取产品图片+价格+描述
我正在开发一个电子商务搜索引擎 可以让您在很多电子商务网站中搜索产品 我该如何处理这个问题 我需要一个能够扫描网站 解析 HTML 并确定网站中的哪些图像是产品图像 哪些是产品描述 哪些是产品价格的应用程序 很高兴听到任何想法 例如 提前致
c
screenscraping
JSON Scraping - 通过 Javascript 将军事时间转换为标准时间
我正在从 url 中抓取 JSON 数据 时间是军用时间 我想知道在客户端检索后是否有办法将其转换为标准时间 这是 JSON SaturdayClose 21 00 SaturdayOpen 10 00 SundayClose 12 00
javascript
json
datetime
screenscraping
使用Python抓取动态内容
我想使用 Python 来抓取网页上 您在寻找这些作者吗 框的内容 如下所示 http academic research microsoft com Search query lander 不幸的是 盒子的内容是由 JavaScript
python
webscraping
screenscraping
如何在 C# 中登录网页并检索其内容?
如何在 C 中登录网页并检索其内容 这取决于登录所需的内容 您可以使用 Web 客户端将登录凭据发送到服务器的登录页面 通过所需的任何方法 GET 或 POST 但这不会保留 cookie 有一个way让 Web 客户端处理 Cookie
c
http
authentication
screenscraping
用于自动化 ncurses 类型 telnet 会话的跨平台解决方案
背景 我在网络和电信领域的部分工作涉及当传统硬件无法在其他接口中提供简单的解决方案时自动执行 telnet 会话 许多旧设备只能通过工艺端口 RS 232 串行端口 SNMP 或 Telnet 进行访问 有时 telnet 是访问特定信息的
screenscraping
UIAutomation
telnet
ncurses
如何查询数据库中用户的排名,但只考虑每个用户的最新条目?
假设我有一个名为 Scrape 的数据库表 可能设置如下 UserID int UserName varchar Wins int Losses int ScrapeDate datetime 我试图根据用户的赢 输比对他们进行排名 但是
sql
database
sqlserver2005
screenscraping
greatestnpergroup
从浏览器内的 Silverlight 控件中抓取数据
我一直在使用 Excel VBA 和 WPF 应用程序从各个网站抓取数据 一切都很顺利 但现在我遇到了一些我无法摆脱的事情 该网站正在 Silverlight 控件中显示其数据
silverlight
Excel
screenscraping
vba
类似于 HtmlUnit 的 C# 库
我需要编写独立的应用程序来 浏览 外部资源 C 中是否有自动处理 cookie 并支持 JavaScript 的库 我相信不需要通过 JS 主要目标是保持会话活动并提交表单 以便我可以通过多步骤注册过程或在登录后 浏览 网站 我查看了 Ht
c
webcrawler
screenscraping
抓取似乎没有 URL 的页面
我正在尝试抓取这些列表 并在属于我的客户的网站上为这些职位列表提供更多曝光 问题是我需要能够链接到特定的职位列表以便求职者申请 这是页面我正在尝试保存来自的列表链接 如果我可以保存一个地址供求职者点击查看原始列表然后进行申请 那就太理想了
ruby
webscraping
screenscraping
nokogiri
mechanizeruby
使用 Angular JS 标签(例如 ng-view)从网络获取文本
我正在尝试从网站获取所有可见文本 我使用 python scrapy 来完成这项工作 然而 我观察到 scrapy 仅适用于 HTML 标签 如 div body head 等 而不适用于 Ang view 等角度 js 标签 如果 ng
python
angularJS
webscraping
Scrapy
screenscraping
使用scrapy进行CPU密集型解析
CONCURRENT ITEMS 部分位于http doc scrapy org en latest topics settings html concurrent items将其定义为 要处理的最大并发项目数 每个响应 项目处理器 也称为
python
webscraping
screenscraping
Scrapy
«
1
2
3
4
5
6
7
»