如何使用 CasperJS 通过自定义 POST 请求下载文件

我正在编写一个爬虫，需要使用 POST 下载表单请求后生成的文件。

我已成功将 this.download(url,'POST',Params) 用于常规表单。 其中一个网站有许多字段使用相同的名称，从而使我无法使用常规下载方法。

在尝试了很多事情之后，我尝试了$.ajax() and __utils.sendAJAX()像这样处理表单：

response = this.evaluate(function(){
  url=...
  params = $('form#theirForm').serialize();
  data = __utils__.sendAJAX(url, 'POST', params,false,{contentType:"application/x-www-form-urlencoded"});
return __utils__.encode(data);
});
function decode_base64(s) { var e={},i,k,v=[],r='',w=String.fromCharCode; var n=[[65,91],[97,123],[48,58],[43,44],[47,48]]; for(z in n){for(i=n[z][0];i<n[z][1];i++){v.push(w(i));}} for(i=0;i<64;i++){e[v[i]]=i;} for(i=0;i<s.length;i+=72){ var b=0,c,x,l=0,o=s.substring(i,i+72); for(x=0;x<o.length;x++){ c=e[o.charAt(x)];b=(b<<6)+c;l+=6; while(l>=8){r+=w((b>>>(l-=8))%256);} } } return r; }
casper.then(function() {
    utils.dump(response);
    fs.write("test.zip",decode_base64(response),'w');
});

这些代码返回我的 Base64 数据，我将其转换并存储在 test.zip 文件中。 但我就是无法解压它，说它已损坏。 我转储正确的 zip 文件的数据 =>

PK^C^D^T^@^H^@^H^@<F4><89><96>F^@^@^@^@^@^@^@^@^@^@^@^@?^@^@^@fourniture denr<E9>es alimentaires - dietetique infantile\CCAP.pdf<AC><BC>^ET\K<D3><F7>;^D<B7><U+0B81>^@<C1><99>^Y^F'^D<B7><E0>^D^ON<90><E0><EE><EE><EE>^Dwww'^P<9C>^D^H<EE>^^܂<C3>%'<CF>9<E7><C9><F7><U+07B5><BE>7<F7>f^SVOzf

将其与我文件的第一行进行比较：

PK^C^D^T^@^H^@^H^@)_^M^@^@^@^@^@^@^@^@^@^@^@^@^@b^@^@^@fourniture denr<FD>es alimentaires - dietetique infantile\Bordereau de prix dietetique infantile.xlsx<FD>zuT<FD>I<FD><FD><FD><FD>^^4hp^M^D^M^R^H<FD>.<FD><FD>}p<FD>3<FD>kpw<FD>@pw^M<FD><FD>^R4<FD>Gv<FD>~<FD>[<FD><FD><FD><FD><FD>

任何人都知道可能出了什么问题吗？

我已经尝试了很多东西（编码工具，编码设置，从chrome控制台转储以获得纯base64等）

我不明白为什么它与 latin-1 或 utf8 编码有关，因为网站要求我选择要使用的编码。两者都尝试过。

casper.download()很高兴接受序列化形式而不是对象，因此您仍然可以使用它。您只需预先在页面上下文中序列化表单：

var formData = casper.evaluate(function(){
  return $('form#theirForm').serialize();
});

var url;
casper.download(url, targetFile, 'POST', params);

唯一的问题可能是使用了另一个 mimeType：“text/plain; charset=x-user-defined”。

在这种情况下，您将不得不重新创建进入的整个级联函数casper.download():

var url;
var response = casper.evaluate(function(url){
    var params = $('form#theirForm').serialize();
    var data = __utils__.sendAJAX(url, 'POST', params, false);
    return __utils__.encode(data);
}, url);

var cu = require('clientutils');

fs.write("test.zip", cu.decode(response), 'wb');

默认情况下使用“application/x-www-form-urlencoded”__utils__.sendAJAX().