Sqoop 使用 crontab 进行作业调度

Question

我们如何运行 Sqoop 作业，将它们保存在 shell 脚本中，并通过 crontab 以特定频率调用它们？

Answer 1

您可以尝试这些步骤通过 cron 执行作业。

1) 创建一个脚本文件并在其中键入 Sqoop 命令。

vim my_sqoop_job.sh

2) 使脚本可执行。

chmod 755 my_sqoop_job.sh

3) 编辑 crontab。

crontab -e

4) 添加路径和作业（以下示例每 30 分钟运行s）

（确保 PATH 包含 Sqoop 的 bin 目录的位置）

PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/hdp/current/sqoop-client/bin            
*/30 * * * * /location/of/my_sqoop_job.sh >> /location/of/logs/my_sqoop_job_run.log 2>&1

作业将运行每 30 分钟一次，日志将在 my_sqoop_job_run.log

后可用

Sqoop 使用 crontab 进行作业调度

Sqoop Job scheduling with crontab

cron

sqoop