在两个单独的页面上抓取需要登录用户名和密码的网站

2024-01-24

我正在尝试从公司内联网中抓取信息,以便我可以通过仪表板在办公室墙板上显示信息。我正在尝试使用以下提供的信息:本网站 http://scraperblog.blogspot.com/2012/12/scraping-site-that-requires-login-in.html除了成为菜鸟之外,我遇到的问题是,为了访问我想要抓取的信息,我需要登录到我们的内联网,在一个页面上提供我的用户名,然后提交到另一个页面,以便我可以提供我的密码。登录后,我就可以链接和抓取我的数据。

这是我的登录用户名页面的一些源代码:

<form action='loginauthpwd.asp?PassedURL=' method='post' style='margin: 0px;'><table border='0' cellspacing='1' width='999' height='350'><tr><td width='100'>&nbsp;</td><td valign='center' width='100'><table style='width: 350px; background-color: #EEEEEE; border: 1px solid gray;'><tr><td class='fontBlack' style='padding: 10px; vertical-align: top;'><span style='font-weight: bold;'>Username:</span><br><input type='text' class='normal' autocomplete='off' id='LoginUser' name='LoginUser' style='border: 1px solid gray; height: 16px; font-family: arial; font-size: 11; width: 180px;' maxlength='30'><input class='normal_button' type='button' value='Go' style='border: 1px solid gray; font-weight: bold; width: 80px; margin-left: 10px;' onclick="var username=document.getElementById('LoginUser').value; if (username.length > 2) { submit(); } else { alert('Enter your Username.'); }"></form>

这是我的登录密码页面的一些来源:

<form action='loginauthprocess.asp?UserName=******&Page=&PassedURL=' target='_top' method='post' onsubmit='checkMyBrowser();' style='margin: 0px;'><table border='0' cellspacing='1' width='999' height='350'><tr><td width='100'>&nbsp;</td><td valign='center' width='100'><table style='width: 350px; background-color: #EEEEEE; border: 1px solid gray;'><tr><td class='fontBlack' style='padding: 10px; vertical-align: top;'><span style='font-weight: bold;'>Password:</span><br><input class='normal' type='password' autocomplete='off' id='LoginPassword' name='LoginPassword' style='border: 1px solid gray; height: 16px; font-family: arial; font-size: 11; width: 180px;' maxlength='30'><input class='normal_button' type='submit' value='Log In' style='border: 1px solid gray; font-weight: bold; width: 80px; margin-left: 10px;' onclick="var password=document.getElementById('LoginPassword').value; if (password.length > 2) { submit(); } else { alert('Enter your Password.'); }"></form>

使用上述资源的示例,我认为应该有效,但似乎无效:

require 'mechanize'
@agent = Mechanize.new
@agent.verify_mode = OpenSSL::SSL::VERIFY_NONE

##Login Page:
page = @agent.get 'http://www.website_here.com/intranet/login.asp'

##Username Page:
form = page.forms[0]
form['USER NAME HERE'] = LoginUser
##Submit User:
page = form.submit

##Password Page:
form = page.forms[0]
form['USER PASSWORD HERE'] = LoginPassword
##Submit Password:
page = form.submit

当我测试我的代码时,我得到以下输出:

test.rb:10:in `': 未初始化常量 LoginUser (NameError)

谁能指出我做错了什么?

Thanks

2015 年 3 月 27 日编辑:

使用 @seoyoochan 资源,我尝试形成这样的代码:

require 'rubygems'
require 'mechanize'
login_page  = agent.get "http://www.website_here.com/intranet/loginauthusr.asp?Page="
login_form = login_page.form_with(action: '/sessions') 
user_field = login_form.field_with(name: "session[user]") 
user.value = 'My User Name'

login_form.submit

当我尝试运行我的代码时,我现在得到以下输出:

测试.rb:4:in<main>': undefined local variable or method主代理':对象(NameError)

我需要一个关于如何分配我提供的表单将使用的正确名称/类的示例。

编辑 2015 年 4 月 4 日:

好的,现在使用 @tylermauthe 示例,我尝试测试以下代码:

require 'mechanize'
require 'io/console'

agent = Mechanize.new
page = agent.get('http://www.website_here.com/intranet/loginauthusr.asp?Page=')

form = page.forms.find{|form| form.action.include?("loginauthpwd.asp?PassedURL=")}

puts "Login:"
form.login = gets.chomp
page = agent.submit(form)
pp page

现在我的想法是,这段代码应该允许我输入并提交我的用户名,将我带到下一个页面,该页面会要求我输入密码。但是,当我尝试运行它并输入我的用户名时,我得到以下输出:

/var/lib/gems/1.9.1/gems/mechanize-2.7.3/lib/mechanize/form.rb:217:inmethod_missing': undefined methodloginUser=' for # (NoMethodError) 来自 scraper.rb:10:in ''

我缺少什么或输入错误吗?请参阅我的第一次编辑以了解我的表单是如何编码的。另外需要说明的是,我没有以这种方式编码表单。我只是想学习如何编码和抓取在我的 Dashing Dashboard 项目上显示所需的数据。


我能够通过以下示例登录。感谢所有帮助我提供所有资源和学习示例的人!

require 'nokogiri'
require 'mechanize'

agent = Mechanize.new

# Below opens URL requesting username and finds first field and fills in form then submits page.

login = agent.get('http://www.website_here.com')
login_form = login.forms.first
username_field = login_form.field_with(:name => "user_session[username]")
username_field = "YOUR USERNAME HERE"
page = agent.submit login_form

# Below opens URL requesting password and finds first field and fills in form then submits page.

login = agent.get('http://www.website_here.com')
login_form = login.forms.first
password_field = login_form.field_with(:name => "user_session[password]")
password_field = "YOUR PASSWORD HERE"
page = agent.submit login_form

# Below will print page showing information confirming that you have logged in.

pp page

我从用户那里找到了以下示例:SenthessHERE https://stackoverflow.com/questions/6629579/using-ruby-with-mechanize-to-log-into-a-website。我仍然没有 100% 了解所有单独代码的作用,因此如果有人愿意花时间分解它,请这样做。这将有助于我自己和其他人更好地理解。

Thanks!

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

在两个单独的页面上抓取需要登录用户名和密码的网站 的相关文章

随机推荐