如何使用 CasperJS 通过自定义 POST 请求下载文件

Question

我正在编写爬虫程序，需要使用 POST 下载表单请求后生成的文件。

我已经成功地将 this.download(url,'POST',Params) 用于常规表单。其中一个站点有许多使用相同名称的字段，因此我无法使用常规下载方法。

尝试了很多东西之后，我尝试使用 $.ajax() 和 __utils.sendAJAX() 来处理这样的表单：

response = this.evaluate(function(){
  url=...
  params = $('form#theirForm').serialize();
  data = __utils__.sendAJAX(url, 'POST', params,false,{contentType:"application/x-www-form-urlencoded"});
return __utils__.encode(data);
});
function decode_base64(s) { var e={},i,k,v=[],r='',w=String.fromCharCode; var n=[[65,91],[97,123],[48,58],[43,44],[47,48]]; for(z in n){for(i=n[z][0];i<n[z][1];i++){v.push(w(i));}} for(i=0;i<64;i++){e[v[i]]=i;} for(i=0;i<s.length;i+=72){ var b=0,c,x,l=0,o=s.substring(i,i+72); for(x=0;x<o.length;x++){ c=e[o.charAt(x)];b=(b<<6)+c;l+=6; while(l>=8){r+=w((b>>>(l-=8))%256);} } } return r; }
casper.then(function() {
    utils.dump(response);
    fs.write("test.zip",decode_base64(response),'w');
});

代码 returns 我转换并存储在 test.zip 文件中的 base64 数据。但是我只是无法解压缩它，说它已损坏。我转储了正确的 zip 文件的数据 =>

PK^C^D^T^@^H^@^H^@<F4><89><96>F^@^@^@^@^@^@^@^@^@^@^@^@?^@^@^@fourniture denr<E9>es alimentaires - dietetique infantile\CCAP.pdf<AC><BC>^ET\K<D3><F7>;^D<B7><U+0B81>^@<C1><99>^Y^F'^D<B7><E0>^D^ON<90><E0><EE><EE><EE>^Dwww'^P<9C>^D^H<EE>^^܂<C3>%'<CF>9<E7><C9><F7><U+07B5><BE>7<F7>f^SVOzf

将其与我文件的第一行进行比较：

PK^C^D^T^@^H^@^H^@)_^M^@^@^@^@^@^@^@^@^@^@^@^@^@b^@^@^@fourniture denr<FD>es alimentaires - dietetique infantile\Bordereau de prix dietetique infantile.xlsx<FD>zuT<FD>I<FD><FD><FD><FD>^^4hp^M^D^M^R^H<FD>.<FD><FD>}p<FD>3<FD>kpw<FD>@pw^M<FD><FD>^R4<FD>Gv<FD>~<FD>[<FD><FD><FD><FD><FD>

有人知道哪里出了问题吗？

我已经尝试了很多东西（编码工具、编码设置、从 chrome 控制台转储以获得纯 base64 等）

我不明白为什么它与 latin-1 或 utf8 编码有关，因为一个网站要求我 select 使用哪种编码。两个都试过了。

Answer 1

casper.download() 愉快地接受序列化形式而不是对象，因此您仍然可以使用它。您只需预先在页面上下文中序列化表单：

var formData = casper.evaluate(function(){
  return $('form#theirForm').serialize();
});

var url;
casper.download(url, targetFile, 'POST', params);

唯一的问题可能是使用了另一个 mimeType："text/plain; charset=x-user-defined"。

在那种情况下，您将不得不重新创建进入 casper.download():

的整个级联函数

var url;
var response = casper.evaluate(function(url){
    var params = $('form#theirForm').serialize();
    var data = __utils__.sendAJAX(url, 'POST', params, false);
    return __utils__.encode(data);
}, url);

var cu = require('clientutils');

fs.write("test.zip", cu.decode(response), 'wb');

"application/x-www-form-urlencoded" 默认用于 __utils__.sendAJAX()。

如何使用 CasperJS 通过自定义 POST 请求下载文件

How to download a file through a custom POST request with CasperJS

javascript

encoding

binaryfiles

casperjs