Python 中的机械化 - 提交后重定向不起作用

我刚刚开始在 Python 中使用 mechanize，但已经遇到了一些问题。我在 StackOverflow 和 Google 上查看过，我看到人们说文档很棒，并且应该很容易让它工作，但我想我不知道如何查找该文档，因为我所有的可以找到的代码示例并没有真正教我如何做我想做的特定事情。如果有人可以向我指出此类文档，我很乐意自己阅读并解决我的问题。

对于实际问题，我尝试通过以表单发送用户名和密码信息来登录网站。当信息正确时，我通常会被重定向，但它在机械化中不起作用。

这是我没有得到的部分，因为如果我在调用提交后立即打印页面的html内容，页面会显示一个变量，表明身份验证有效。如果我将密码更改为不正确的密码，则 html 会显示一条消息“无效凭据”，就像我正常浏览该网站时一样。

这是我如何做到这一点的代码示例。请记住，这可能是完全错误的，因为我只是尝试应用我在示例中发现的内容：

import mechanize
import cookielib

# Start Browser
br = mechanize.Browser()
cj = cookielib.LWPCookieJar()

br.set_cookiejar(cj)

br.set_handle_equiv(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)

br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

br.open('http://www.complexejuliequilles.com/')


for l in br.links(url_regex='secure'):
    br.follow_link(l)

br.select_form('form1')

br.form['fldUsername'] = 'myUsername'
br.form['fldPassword'] = 'myPassword'
br.submit()

在这个特定的例子中，我打开http://www.complexejuliequilles.com http://www.complexejuliequilles.com，然后我点击底部带有“管理”文本的链接，在表单中输入我的凭据，然后提交。通常情况下，我会被重定向到我所在的第一页，但有更多按钮只能由管理员使用。我想单击其中一个链接来填写另一个表单，以添加用户列表，其中我有他们的电子邮件地址、姓名等。

我缺少什么简单的东西吗？我想我已经掌握了基础知识，但我对库的了解不够，无法找出重定向出了什么问题。

http://wwwsearch.sourceforge.net/mechanize/documentation.html http://wwwsearch.sourceforge.net/mechanize/documentation.html

避免直接使用“_http”。名称中的第一个下划线告诉我们，开发人员将其视为私有的东西，您可能不需要它。

In [20]: mechanize.HTTPRefreshProcessor is mechanize._http.HTTPRefreshProcessor
Out[20]: True

在打开 URL 之前放置了一些您并不真正需要的内容。例如： mechanize.Browser() 不是 urllib，它已经为您管理 cookie。您不应该回避 robots.txt。您可以通过查看哪些处理程序是默认的来遵循更多“约定优于配置”：

mechanize.Browser().handlers

您可能在该列表中有 mechanize.HTTPRedirectHandler （我有），如果没有：

br.set_handle_redirect(mechanize.HTTPRedirectHandler)

for 循环很奇怪，看起来您正在循环内更改其迭代器（打开的 URL 内的链接）（浏览器打开另一个 URL）。我首先认为您想要在存在“安全”URL 匹配时递归单击。错误取决于 links() 生成器的实现方式（可能它遵循固定的 br.response() 实例），但我认为您只想遵循第一个匹配的链接：

In [50]: br.follow_link(url_regex="secure") # No loops

我不知道您需要什么样的重定向/刷新。 JavaScript 改变 window.location.href？如果是这样，mechanize 不会这样做，除非你自己解析 JavaScript。

您可以通过以下方式获取有关上次打开 URL 的“原始”信息：

last_response = br.response() # This is returned by br.open(...) too
http_header_dict = last_response.info().dict
html_string_list = last_response.readlines()
html_data = "".join(html_string_list)

即使它是 JavaScript，您也可以通过在 html_data 中定位它、使用 html_data.find()、正则表达式、BeautifulSoup 等来获取重定向 URL。

PEP8 注意：避免使用孤立的“l”（下方的“L”）作为变量，根据使用的字体和上下文，它可能会被错误地视为“one”或“I”（上方的“i”）。您应该使用“L”或其他名称。