import.io: 从批量提取中获取数据

Question

我在 import.io 上创建了一个提取器并用几个 URL 进行了测试，它正在工作。

也许这是一个简单的问题，但我怎样才能从 CLI 接收（新）数据？我花了几个小时寻找答案。我阅读了 API 手册，但是没有 CURL (shell) 方法的示例（而且我认为这对于普通用户来说相当复杂）。

我找到了一个名为 bashtractor 的工具，它可以工作（有多个 URL），但它正在创建多个 JSON 根元素 -> 结果无效 JSON文件。

https://github.com/import-io/bashtractor

Answer 1

只写一个for循环，保存json个结果到每个文件

例如：

https://github.com/import-io/bashtractor/blob/master/bashtractor.sh 将 json 保存到 $DATA_FILE-$URL 而不是 $DATA_FILE.

USER_GUID=
API_KEY=
EXTRACTOR_GUID=
URL_FILE=
DATA_FILE=

while read URL
do
    echo -n $URL
    curl -XPOST -H 'Content-Type: application/json' -s -d "{\"input\":{\"webpage/url\":\"$URL\"}}" "https://api.import.io/store/connector/$EXTRACTOR_GUID/_query?_user=$USER_GUID&_apikey=$API_KEY" >> $DATA_FILE-$URL
    sleep 1
    echo " ...done"
done < $URL_FILE

import.io: 从批量提取中获取数据

import.io: get data from bulk extract

linux

bash

shell

import.io