如何将 multipart/form-data 中的 HTTP POST 数据发送到 Perl 中的 REST API

How to send HTTP POST data in multipart/form-data to REST API in Perl

我正在使用 multipart/form-data 从我的 Perl 脚本向网站 REST API 发送 POST HTTP 请求,这需要基本身份验证。我将一些参数作为键值对传递给 Content 以及要上传的图像文件。我通过编码在 header 中传递了凭据。来自 REST API 的响应是错误代码 422 数据验证。我的代码片段如下:

    use warnings;
    use Data::Dumper;
    use LWP::UserAgent;
    use HTTP::Headers;
    use HTTP::Request;
    use MIME::Base64;
    use JSON;
    use JSON::Parse 'parse_json';
    
    my $url = 'https://api.xyxabc.org/objects';
    my $imgmd5 = '3740239d74858504f5345365a1e3eb33';
    my $file= "images/1839.png";
    
    my %options = (         
            "username" =>  '___APIKEY___',
            "password" => '' );             # PASSWORD FIELD IS TO BE SENT BLANK
            
    my $ua = LWP::UserAgent->new(keep_alive=>1);
    $ua->agent("MyApp/0.1 ");
    my $h = HTTP::Headers->new(
        Authorization       => 'Basic ' .  encode_base64($options{username} . ':' . $options{password}),
        Content                 =>  [
                                                'name'=> 'Ethereum',
                                                'lang' => 'en',
                                                'description' => 'Ethereum is a decentralized open-source',
                                                'main_image' => $imgmd5,                                            
                                                'parents[0][Objects][id]' => '42100',
                                                'Objects[imageFiles][0]' => $file,
                                                'objectsPropertiesValues[142][ObjectsPropertiesValues][property_id]' => 142,                                        
        ],
        Content_Type    => 'multipart/form-data',
    );
    
    my $r = HTTP::Request->new('POST', $url, $h);
    my $response = $ua->request($r);
    my $jp = JSON::Parse->new ();
    print Dumper $response->status_line;
    my $jsonobj = $response->decoded_content;    
        eval {
                        $jsonobj = $jp->parse ($jsonobj);
            };
                if ($@) {
        print $@;    
    }
    print Dumper $jsonobj;

错误是:

$VAR1 = '422 Data Validation Failed.';
$VAR1 = [
          {
            'field' => 'name',
            'message' => 'Name cannot be blank.'
          },
          {
            'message' => 'Language cannot be blank.',
            'field' => 'lang'
          }
        ];

我做错了什么?据我所知,基本上服务器没有得到格式正确的查询字符串和 headers 。我传递了大约 32 个键值对以及要在实际脚本中上传的图像文件,我在这里制作了一个最小的脚本。我知道所有参数变量都很好,因为当我通过 postman post 这个 HTTP 请求时,它会抱怨不同的错误。

我昨天晚上通过 postman 使用不同的参数值执行了类似的查询,它与上传的图像一起执行。但是现在 postman 和 Perl 脚本都在抱怨。我需要两件事: 1.First 为什么通过 postman 发出的 POST 请求会报错? 2. 其次,我正在构建 Perl LWP 脚本以将数据上传到此网站 REST API,我需要一个如上生成的功能脚本。

如果有人帮忙,我将不胜感激。

使用HTTP::Request::Common。从文档中引用:

The POST method also supports the multipart/form-data content used for Form-based File Upload as specified in RFC 1867. You trigger this content format by specifying a content type of 'form-data' as one of the request headers. ...

它在文档中也有一个例子:

POST 'http://www.perl.org/survey.cgi',
     Content_Type => 'form-data',
     Content      => [ name  => 'Gisle Aas',
                       email => 'gisle@aas.no',
                       gender => 'M',
                       born   => '1964',
                       init   => ["$ENV{HOME}/.profile"],
                     ]

Steffen's answer 以最简单的方式向您展示如何做到这一点。

如果您想要更多的控制权,尤其是如果您想要执行多个请求,请试试我的解决方案。

您的授权是正确的。我建议您将其移动到 $ua object 上的 default header。如果您发出多个请求,这很有意义。

use strict;
use warnings;

use LWP::UserAgent;
use JSON 'from_json';
use MIME::Base64 'encode_base64';
use Data::Dumper;

my $url    = 'http://localhost:3000';
my $imgmd5 = '3740239d74858504f5345365a1e3eb33';
my $file   = "images/1839.png";

my %options = (
    "username" => '___APIKEY___',
    "password" => ''
);

my $ua = LWP::UserAgent->new( keep_alive => 1 );
$ua->agent("MyApp/0.1 ");
$ua->default_header( Authorization => 'Basic '
      . encode_base64( $options{username} . ':' . $options{password} ) );

注意我将 URL 更改为本地地址。我们将进一步了解为什么以及如何测试此代码。

根据您的要求,您可以按照 Steffen 的建议使用 HTTP::Request::Common,或者您可以将其全部传递给 $ua 上的 post method。它需要多种不同的参数组合并且非常灵活。我们想发送一个包含 key/value 对的表单,以及一个 header 的内容类型。

my $res = $ua->post(
    $url,                          # where to send it
    Content_Type => 'form-data',   # key/value pairs of headers
    Content =>                     # the form VVV
    {
        'name'                    => 'Ethereum',
        'lang'                    => 'en',
        'description'             => 'Ethereum is a decentralized open-source',
        'main_image'              => $imgmd5,
        'parents[0][Objects][id]' => '42100',
        'Objects[imageFiles][0]'  => $file,
        'objectsPropertiesValues[142][ObjectsPropertiesValues][property_id]' =>
          142,
    }
);

我已经更改了您正在使用的一些模块。你不需要 JSON::Parser。只需 JSON 模块就足够了。如果你让 LWP 解码你的内容,你可以使用 from_json,因为 body 已经从它进来的任何字符编码(可能是 utf-8)变成了 Perl 的字符串表示。

现在就是这么简单。

if ( $res->is_success ) {
    my $json = eval { from_json( $res->decoded_content ) };
    print Dumper $json;
}

为了调试它,我使用了 the ojo module that comes with Mojolicious。它允许您在 one-liner.

中创建 Web 应用程序

在终端中,我是运行这个命令。它生成一个应用程序,该应用程序侦听端口 3000,使用任何方法路由 /,并且 returns 一个固定的 JSON object 供您的代码接收。

$ perl -Mojo -E 'a("/" => { json => { foo => 123 } })->start' daemon
Web application available at http://127.0.0.1:3000

接下来,我提出要求。

$ perl 66829616.pl
$VAR1 = {
          'foo' => 123
        };

这行得通。但是我们还不知道我们是否发送了正确的 headers。让我们看看那个。安装 LWP::ConsoleLogger module and load LWP::ConsoleLogger::Everywhere。它将转储来自所有 LWP objects.

的请求和响应
$ perl -MLWP::ConsoleLogger::Everywhere 66829616.pl
POST http://localhost:3000

POST Params:

.------------------------------------+-----------------------------------------.
| Key                                | Value                                   |
+------------------------------------+-----------------------------------------+
| Objects[imageFiles][0]             | images/1839.png                         |
| description                        | Ethereum is a decentralized open-source |
| lang                               | en                                      |
| main_image                         | 3740239d74858504f5345365a1e3eb33        |
| name                               | Ethereum                                |
| objectsPropertiesValues[142][Obje- | 142                                     |
| ctsPropertiesValues][property_id]  |                                         |
| parents[0][Objects][id]            | 42100                                   |
'------------------------------------+-----------------------------------------'

.---------------------------------+-------------------------------------.
| Request (before sending) Header | Value                               |
+---------------------------------+-------------------------------------+
| Authorization                   | Basic X19fQVBJS0VZX19fOg==          |
| Content-Length                  | 633                                 |
| Content-Type                    | multipart/form-data; boundary=xYzZY |
| User-Agent                      | MyApp/0.1 libwww-perl/6.52          |
'---------------------------------+-------------------------------------'

.------------------------------------------------------------------------------.
| Content                                                                      |
+------------------------------------------------------------------------------+
| [ REDACTED by LWP::ConsoleLogger.  Do not know how to display multipart/for- |
| m-data; boundary=xYzZY. ]                                                    |
'------------------------------------------------------------------------------'

.------------------------------------------------------------------------------.
| Text                                                                         |
+------------------------------------------------------------------------------+
| [ REDACTED by LWP::ConsoleLogger.  Do not know how to display multipart/for- |
| m-data; boundary=xYzZY. ]                                                    |
'------------------------------------------------------------------------------'

.--------------------------------+-------------------------------------.
| Request (after sending) Header | Value                               |
+--------------------------------+-------------------------------------+
| Authorization                  | Basic X19fQVBJS0VZX19fOg==          |
| Content-Length                 | 633                                 |
| Content-Type                   | multipart/form-data; boundary=xYzZY |
| User-Agent                     | MyApp/0.1 libwww-perl/6.52          |
'--------------------------------+-------------------------------------'

==> 200 OK

.---------------------+--------------------------------.
| Response Header     | Value                          |
+---------------------+--------------------------------+
| Client-Date         | Sat, 27 Mar 2021 11:01:31 GMT  |
| Client-Peer         | 127.0.0.1:3000                 |
| Client-Response-Num | 1                              |
| Content-Length      | 11                             |
| Content-Type        | application/json;charset=UTF-8 |
| Date                | Sat, 27 Mar 2021 11:01:31 GMT  |
| Server              | Mojolicious (Perl)             |
'---------------------+--------------------------------'

.-------------.
| Content     |
+-------------+
| {"foo":123} |
'-------------'

.---------------------.
| Text                |
+---------------------+
| {                   |
|     foo => 123,     |
| }                   |
'---------------------'

$VAR1 = {
          'foo' => 123
        };

如您所见,您的身份验证 header 就在那里,我们使用的是正确的内容类型。

请注意 User-Agent header 包括 libww-perl。那是因为在传递给 agent() 的字符串末尾有一个 space。删除白色space 以阻止它这样做。

$ua->agent("MyApp/0.1 "); # append libwww/perl
$ua->agent("MyApp/0.1");  # don't append

如果你想把它变成一个更可扩展的 API 客户端,你可以使用 Moo(或 Moose)来编写这样的模块。将其放入 lib 目录中的文件 API/Factopedia.pm


package API::Factopedia;

use HTTP::Request::Common qw(POST PUT);
use LWP::UserAgent;
use JSON 'from_json';
use MIME::Base64 'encode_base64';

use Moo;

has ua => (
    is      => 'ro',
    lazy    => 1,
    builder => sub {
        my ($self) = @_;
        my $ua = LWP::UserAgent->new( keep_alive => 1, agent => 'MyApp/0.1' );
        $ua->default_header( Authorization => $self->_create_auth );
        return $ua;
    },
);

has [qw/ username password /] => (
    is       => 'ro',
    required => 1
);

has base_uri => (
    is      => 'ro',
    default => 'https://api.factopedia.org'
);

=head2 _create_auth

Returns the basic authentication credentials to use based on username and password.

=cut

sub _create_auth {
    my ($self) = @_;
    return 'Basic ' . encode_base64( $self->username . ':' . $self->password );
}

=head2 create_object

Creates an object in the API. Takes a hashref of formdata and returns a JSON response.

    my $json = $api->create_object({ ... });

=cut

sub create_object {
    my ( $self, $data ) = @_;

    return $self->_request(
        POST(
            $self->_url('/objects'),
            Content_Type => 'form-data',
            Content      => $data
        )
    );
}

=head2 update_object

Updates a given 

=cut

sub update_object {
    my ( $self, $id, $data ) = @_;

    # parameter validation (probably optional)
    die unless $id;
    die if $id =~ m/\D/;

    return $self->_request(
        PUT(
            $self->_url("/object/$id"),
            Content_Type => 'form-data',
            Content      => $data
        )
    );
}

=head2 _request

Queries the API, decodes the response, handles errors and returns JSON. 
Takes an L<HTTP::Request> object.

=cut

sub _request {
    my ( $self, $req ) = @_;

    my $res = $self->ua->request($req);

    if ( $res->is_success ) {
        return from_json( $res->decoded_content );
    }

    # error handling here
}

=head2 _url

Returns the full API URL for a given endpoint.

=cut

sub _url {
    my ( $self, $endpoint ) = @_;

    return $self->base_uri . $endpoint;
}

no Moo;

1;

客户端允许注入自定义用户代理 object 进行测试,并让您轻松覆盖子类中的 _create_auth 方法或在单元测试中替换它。您也可以传入不同的基础 URI 进行测试,如下所示。

现在您需要在脚本中创建一个实例,然后调用 create_object 方法。

use strict;
use warnings;
use Data::Dumper;

use API::Factopedia;

my $url    = 'http://localhost:3000';
my $imgmd5 = '3740239d74858504f5345365a1e3eb33';
my $file   = "images/1839.png";

my $client = API::Factopedia->new(
    username => '__APIKEY__',
    password => '',
    base_uri => 'http://localhost:3000', # overwritted for test
);

print Dumper $client->create_object(
    {
        'name'                    => 'Ethereum',
        'lang'                    => 'en',
        'description'             => 'Ethereum is a decentralized open-source',
        'main_image'              => $imgmd5,
        'parents[0][Objects][id]' => '42100',
        'Objects[imageFiles][0]'  => $file,
        'objectsPropertiesValues[142][ObjectsPropertiesValues][property_id]' =>
          142,
    }
);

要使用我们的 one-liner 进行测试,我们需要将端点从 / 更改为 /objects 并重新运行它。

输出相同。

如果你想扩展这个客户端来做额外的端点,你只需要在你的模块中添加简单的方法。我已经用 PUT 更新了 object.