Shell 到运行 StreamSets 管道

Question

我想连接到 Control Hub 并想运行使用 Shell 特定的 StreamSets pipeline ] 脚本。

Answer 1

在 StreamSets Control Hub 网站 UI 中，单击 RESTful API，然后单击 Job Runner。您将看到使用 curl 从命令行进行身份验证的说明。向下滚动，您将看到 API 用于在给定作业 ID 的情况下启动作业。

将它们放在一起，您需要执行以下操作：

# login to Control Hub security app
curl -X POST -d '{"userName":"SCHUserID", "password": "SCHUserPassword"}' \
https://cloud.streamsets.com/security/public-rest/v1/authentication/login \
--header "Content-Type:application/json" --header "X-Requested-By:SCH" \
-c cookie.txt

# generate auth token from security app
sessionToken=$(cat cookie.txt | grep SSO | rev | grep -o '^\S*' | rev)
echo "Generated session token : $sessionToken"

# Start a job using the auth token
curl -X GET https://cloud.streamsets.com/jobrunner/rest/v1/job/{jobId}/start \
--header "Content-Type:application/json" --header "X-Requested-By:SCH" \
--header "X-SS-REST-CALL:true" --header "X-SS-User-Auth-Token:$sessionToken" \
-i

Shell 到运行 StreamSets 管道

Shell to run StreamSets Pipeline

shell

scripting

streamsets

Shell 到 运行 StreamSets 管道

Shell to run StreamSets Pipeline

shell

scripting

streamsets

Shell 到运行 StreamSets 管道