我正在 Python 3 中创建一个脚本，该脚本访问如下页面：
example.com/daora/zz.asp?x=qqrzzt
使用 urllib.request.urlopen("example.com/daora/zz.asp?x=qqrzzt")，但这段代码只是给我相同的页面(example.com/daora/zz.asp?x=qqrzzt) 和在浏览器上我得到一个重定向到这样的页面：
example.com/egg.aspx
我该怎么做才能取回
example.com/egg.aspx
而不是
example.com/daora/zz.asp?x=qqrzzt
我认为这是相关代码，这是来自“example.com/daora/zz.asp?x=qqrzzt”的代码：
<head>
<script language="JavaScript">
<!--
function Submit()
{
document.formzz.submit();
}
-->
</script>
</head>
<body bgcolor="#FFFFFF" leftmargin="0" topmargin="0" marginwidth="0" marginheight="0" onLoad="javascript:Submit();">
<form name="formZZ" method="post" action="http://example.com/egg.aspx">
<input type="hidden" name="token" value="UFASGFJKASGDJFGAJS">
</form>
urllib.request自动遵循重定向；你不需要做任何事情。
这里的问题是没有可遵循的重定向。该网页在加载后立即使用 JavaScript 来伪造表单提交。urllib只是获取页面；它不实现浏览器 DOM 并运行 Javascript 代码。
根据您需要脚本的通用程度，最简单的解决方案可能是一些hacky。例如，如果您只是尝试抓取 500 个具有相似结构但细节不同的页面，只需找到action第一个的form并导航至该位置。
另外，如果获取页面和处理它们是两个不同的步骤，您可能需要使用超级简单的 Javascript/Greasemonkey 编写一个获取器（在浏览器中运行，因此它已经有了一个有效的 DOM 实现等）和一个单独的花哨的Python 中的处理脚本（仅在最终获取/生成的 HTML 页面上运行）。
如果您需要完全通用，最简单的解决方案可能是使用selenium浏览器自动化框架。 （或者，也许可以使用 PyWin32 或 PyObjC 来直接自动化 IE 或 Webkit。）
如果您想要最好的解决方案，并且拥有无限的资源……编写您自己的 DOM 实现并连接您最喜欢的 Javascript 解释器（可能是 Spidermonkey 或 v8）。这大约只相当于编写一个新浏览器的工作量的 2/3。 （您也许能够找到能够完成 80% 任务的部分。例如，如果您愿意使用 Jython 而不是 CPython 作为您的 Python 解释器，HtmlUnit非常光滑。）
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
