Perl - HTTP::代理捕获 XHR/JSON 通信

网站http://openbook.etoro.com/#/main/ http://openbook.etoro.com/#/main/有一个实时提要，由 javascript 通过 XHR keep-alive 请求生成，并以 gzip 压缩 JSON 字符串的形式从服务器获取答案。

我想将提要捕获到文件中。

通常的方法（WWW::Mech..）（可能）不可行，因为需要对页面中的所有 JavaScript 进行逆向工程并模拟浏览器确实是一项艰巨的任务，因此，寻找替代解决方案。

我的想法是使用中间人策略，这样浏览器将完成他的工作，我想通过 perl 代理捕获通信 - 专门用于此任务。

我能够捕捉到最初的通信，但无法捕捉到提要本身。代理工作正常，因为在浏览器中，提要仅运行我的文件管理器不起作用。

use HTTP::Proxy;
use HTTP::Proxy::HeaderFilter::simple;
use HTTP::Proxy::BodyFilter::simple;
use Data::Dumper;
use strict;
use warnings;

my $proxy = HTTP::Proxy->new(
     port => 3128, max_clients => 100, max_keep_alive_requests => 100
);

my $hfilter = HTTP::Proxy::HeaderFilter::simple->new(
    sub {
        my ( $self, $headers, $message ) = @_;
        print STDERR "headers", Dumper($headers);
    }
);

my $bfilter = HTTP::Proxy::BodyFilter::simple->new(
    filter => sub {
        my ( $self, $dataref, $message, $protocol, $buffer ) = @_;
        print STDERR "dataref", Dumper($dataref);
    }
);

$proxy->push_filter( response => $hfilter); #header dumper
$proxy->push_filter( response => $bfilter); #body dumper
$proxy->start;

Firefox 使用上述代理进行所有通信的配置。

该提要在浏览器中运行，因此代理向其提供数据。 （当我停止代理时，提要也停止）。随机（无法计算何时）我收到以下错误：

[Tue Jul 10 17:13:58 2012] (42289) ERROR: Getting request failed: Client closed

有人可以告诉我一种方法，如何为浏览器和服务器之间的所有通信构建正确的 HTTP::Proxy 过滤器，无论 keep_alive XHR 是什么？

我认为这可以满足您的需求：

#!/usr/bin/perl

use 5.010;
use strict;
use warnings;

use HTTP::Proxy;
use HTTP::Proxy::BodyFilter::complete;
use HTTP::Proxy::BodyFilter::simple;
use JSON::XS     qw( decode_json );
use Data::Dumper qw( Dumper );

my $proxy = HTTP::Proxy->new(
    port                     => 3128,
    max_clients              => 100,
    max_keep_alive_requests  => 100,
);

my $filter = HTTP::Proxy::BodyFilter::simple->new(
    sub {
        my ( $self, $dataref, $message, $protocol, $buffer ) = @_;
        return unless $$dataref;
        my $content_type = $message->headers->content_type or return;
        say "\nContent-type: $content_type";
        my $data = decode_json( $$dataref );
        say Dumper( $data );
    }
);

$proxy->push_filter(
    method   => 'GET',
    mime     => 'application/json',
    response => HTTP::Proxy::BodyFilter::complete->new,
    response => $filter
);

$proxy->start;

我认为您不需要单独的标头过滤器，因为您可以使用您想要查看的任何标头$message->headers在身体过滤器中。

您会注意到我将两个过滤器推到了管道上。第一个是类型HTTP::Proxy::BodyFilter::complete它的工作是收集响应块并确保后面的真正过滤器始终获得完整的消息$dataref。然而，对于接收和缓冲的每个块，将调用以下过滤器并传递一个空的$dataref。我的过滤器通过提前返回来忽略这些。

我还设置了过滤器管道来忽略除导致 JSON 响应的 GET 请求之外的所有内容 - 因为这些似乎是最有趣的。

感谢您提出这个问题 - 这是一个有趣的小问题，您似乎已经完成了大部分艰苦的工作。