我需要从网站上抓取数据,但这需要我先登录。我一直在使用 hpricot 成功抓取其他网站,但我对使用 mechanize 还很陌生,而且我真的对如何使用它感到困惑。
我看到这个例子经常被引用:
require 'rubygems'
require 'mechanize'
a = Mechanize.new
a.get('http://rubyforge.org/') do |page|
# Click the login link
login_page = a.click(page.link_with(:text => /Log In/))
# Submit the login form
my_page = login_page.form_with(:action => '/account/login.php') do |f|
f.form_loginname = ARGV[0]
f.form_pw = ARGV[1]
end.click_button
my_page.links.each do |link|
text = link.text.strip
next unless text.length > 0
puts text
end
end
但我发现它非常神秘。我特别不明白的部分是这里发生的事情:
f.form_loginname = ARGV[0]
f.form_pw = ARGV[1]
页面中的那些输入标签怎么突然变成了方法?我在这里错过了什么吗?当我尝试重新创建它并登录到 AppDataPro (http://www.appdata.com/login) 时,我遇到了输入名称包含括号的问题,如下所示:
<Table>
<tr><td width="150">
<label for="user_session_username">Username</label><br />
</td><td >
<input id="user_session_username" name="user_session[username]" size="30" type="text" />
</td></tr>
<tr><td>
<label for="user_session_password">Password</label><br />
</td><td>
<input id="user_session_password" name="user_session[password]" size="30" type="password" />
</td></tr>
</table>
这是我使用机械化的尝试:
a = Mechanize.new
a.get('http://www.appdata.com/login') do |page|
# Click the login link
login_page = a.click(page.link_with(:text => /Login/)) #login_page is basically a doc of appdata/login
my_page = login_page.form_with(:action => '/login') do |f|
f.user_session[username] = '****username here?****'
f.user_session[password] = '****password here?****'
end
end
但这会导致错误,
logintest01.rb:21:in `block (2 levels) in <main>': undefined method `user_session' for nil:NilClass (NoMethodError)
我正在做的事情有什么问题吗?