我如何将 apify actor 输出保存到 s3 或 google 存储桶

Question

我已经创建了 apify actor，它将输出保存在 apify 云中，但我想将输出保存在我的 s3 帐户或 google 存储桶中。感谢您对此的任何帮助

Answer 1

您可以在 gcp/aws 上创建一个 webhook/serverless 函数并将端点设置为 apify 任务 webhooks

传入的 webhook 主体看起来像

{
  "userId": {{userId}},
  "createdAt": {{createdAt}},
  "eventType": {{eventType}},
  "eventData": {{eventData}},
  "resource": {{resource}}
}

当 SUCCESS

时资源将如下所示

{
  "id": {{id}},
  "actId": {{actId}},
  "userId": {{userId}},
  "startedAt": "2020-03-29T04:12:07.434Z",
  "finishedAt": "2020-03-29T04:12:13.415Z",
  "status": "SUCCEEDED",
  "meta": {
    "origin": "DEVELOPMENT",
    "userAgent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36"
  },
  "stats": {
    ...
    ...
    ...
  },
  "options": {
    ...
    ...
    ...
  },
  "buildId": {{buildId}},
  "exitCode": 0,
  "defaultKeyValueStoreId": {{defaultKeyValueStoreId}},
  "defaultDatasetId": {{defaultDatasetId}},
  "defaultRequestQueueId": {{defaultRequestQueueId}},
  "buildNumber": "0.0.9",
  "containerUrl": {{containerUrl}}
}

然后您可以 download/save-to-bucket-or-s3 您的数据集 URL: https://api.apify.com/v2/datasets/{{defaultDatasetId}}/items 以编程方式

希望对您有所帮助！

我如何将 apify actor 输出保存到 s3 或 google 存储桶

How i can save apify actor output to s3 or google bucket

apify