我正在尝试从公司内联网中抓取信息,以便我可以通过仪表板在办公室墙板上显示信息。我正在尝试使用以下提供的信息:本网站 http://scraperblog.blogspot.com/2012/12/scraping-site-that-requires-login-in.html除了成为菜鸟之外,我遇到的问题是,为了访问我想要抓取的信息,我需要登录到我们的内联网,在一个页面上提供我的用户名,然后提交到另一个页面,以便我可以提供我的密码。登录后,我就可以链接和抓取我的数据。
这是我的登录用户名页面的一些源代码:
<form action='loginauthpwd.asp?PassedURL=' method='post' style='margin: 0px;'><table border='0' cellspacing='1' width='999' height='350'><tr><td width='100'> </td><td valign='center' width='100'><table style='width: 350px; background-color: #EEEEEE; border: 1px solid gray;'><tr><td class='fontBlack' style='padding: 10px; vertical-align: top;'><span style='font-weight: bold;'>Username:</span><br><input type='text' class='normal' autocomplete='off' id='LoginUser' name='LoginUser' style='border: 1px solid gray; height: 16px; font-family: arial; font-size: 11; width: 180px;' maxlength='30'><input class='normal_button' type='button' value='Go' style='border: 1px solid gray; font-weight: bold; width: 80px; margin-left: 10px;' onclick="var username=document.getElementById('LoginUser').value; if (username.length > 2) { submit(); } else { alert('Enter your Username.'); }"></form>
这是我的登录密码页面的一些来源:
<form action='loginauthprocess.asp?UserName=******&Page=&PassedURL=' target='_top' method='post' onsubmit='checkMyBrowser();' style='margin: 0px;'><table border='0' cellspacing='1' width='999' height='350'><tr><td width='100'> </td><td valign='center' width='100'><table style='width: 350px; background-color: #EEEEEE; border: 1px solid gray;'><tr><td class='fontBlack' style='padding: 10px; vertical-align: top;'><span style='font-weight: bold;'>Password:</span><br><input class='normal' type='password' autocomplete='off' id='LoginPassword' name='LoginPassword' style='border: 1px solid gray; height: 16px; font-family: arial; font-size: 11; width: 180px;' maxlength='30'><input class='normal_button' type='submit' value='Log In' style='border: 1px solid gray; font-weight: bold; width: 80px; margin-left: 10px;' onclick="var password=document.getElementById('LoginPassword').value; if (password.length > 2) { submit(); } else { alert('Enter your Password.'); }"></form>
使用上述资源的示例,我认为应该有效,但似乎无效:
require 'mechanize'
@agent = Mechanize.new
@agent.verify_mode = OpenSSL::SSL::VERIFY_NONE
##Login Page:
page = @agent.get 'http://www.website_here.com/intranet/login.asp'
##Username Page:
form = page.forms[0]
form['USER NAME HERE'] = LoginUser
##Submit User:
page = form.submit
##Password Page:
form = page.forms[0]
form['USER PASSWORD HERE'] = LoginPassword
##Submit Password:
page = form.submit
当我测试我的代码时,我得到以下输出:
test.rb:10:in `': 未初始化常量 LoginUser (NameError)
谁能指出我做错了什么?
Thanks
2015 年 3 月 27 日编辑:
使用 @seoyoochan 资源,我尝试形成这样的代码:
require 'rubygems'
require 'mechanize'
login_page = agent.get "http://www.website_here.com/intranet/loginauthusr.asp?Page="
login_form = login_page.form_with(action: '/sessions')
user_field = login_form.field_with(name: "session[user]")
user.value = 'My User Name'
login_form.submit
当我尝试运行我的代码时,我现在得到以下输出:
测试.rb:4:in<main>': undefined local variable or method
主代理':对象(NameError)
我需要一个关于如何分配我提供的表单将使用的正确名称/类的示例。
编辑 2015 年 4 月 4 日:
好的,现在使用 @tylermauthe 示例,我尝试测试以下代码:
require 'mechanize'
require 'io/console'
agent = Mechanize.new
page = agent.get('http://www.website_here.com/intranet/loginauthusr.asp?Page=')
form = page.forms.find{|form| form.action.include?("loginauthpwd.asp?PassedURL=")}
puts "Login:"
form.login = gets.chomp
page = agent.submit(form)
pp page
现在我的想法是,这段代码应该允许我输入并提交我的用户名,将我带到下一个页面,该页面会要求我输入密码。但是,当我尝试运行它并输入我的用户名时,我得到以下输出:
/var/lib/gems/1.9.1/gems/mechanize-2.7.3/lib/mechanize/form.rb:217:inmethod_missing': undefined method
loginUser=' for # (NoMethodError)
来自 scraper.rb:10:in ''
我缺少什么或输入错误吗?请参阅我的第一次编辑以了解我的表单是如何编码的。另外需要说明的是,我没有以这种方式编码表单。我只是想学习如何编码和抓取在我的 Dashing Dashboard 项目上显示所需的数据。