我正在尝试从 pems.dot.ca.gov 下载一些流量数据,如下这个话题 https://stackoverflow.com/questions/28418770/using-rvest-or-httr-to-log-in-to-non-standard-forms-on-a-webpage.
rm(list=ls())
library(rvest)
library(xml2)
library(httr)
url <- "http://pems.dot.ca.gov/?report_form=1&dnode=tmgs&content=tmg_volumes&tab=tmg_vol_ts&export=&tmg_station_id=74250&s_time_id=1369094400&s_time_id_f=05%2F21%2F2013&e_time_id=1371772740&e_time_id_f=06%2F20%2F2013&tod=all&tod_from=0&tod_to=0&dow_5=on&dow_6=on&tmg_sub_id=all&q=obs_flow&gn=hour&html.x=34&html.y=8"
pgsession <- html_session(url)
pgform <-html_form(pgsession)[[1]]
filled_form <- set_values(pgform,
'username' = 'omitted',
'password' = 'omitted')
resp = submit_form(pgsession, filled_form)
resp_2 = resp$response
cont = resp_2$content
我检查了class()
检查这些项目,发现 resp 是“会话”,resp_2 是“响应”,而 cont 是“原始”。我的问题是:如何正确提取 html 内容,以便我可以继续使用 XPath 从该页面中挑选出我想要的实际数据?我的直觉是我应该解析 resp_2 这是一个响应,但我就是无法让它工作。非常感谢您的帮助!
这应该可以做到:
pg <- content(resp$response)
html_nodes(pg, "table.inlayTable") %>%
html_table() -> tab
head(tab[[1]])
## X1 X2 X3 X4
## 1 Data Quality Data Quality
## 2 Hour 8 Lanes % Observed % Estimated
## 3 05/24/2013 00:00 1,311 50 0
## 4 05/24/2013 01:00 729 50 0
## 5 05/24/2013 02:00 399 50 0
## 6 05/24/2013 03:00 487 50 0
(显然您需要修改列名称)
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)