在 sqoop 导入中添加列

Question

通过 sqoop 从 SQL 导入数据时，是否可以添加一个新列并在该列中插入时间戳？

是否可以通过其他方式将数据写入HDFS？

Answer 1

您可以使用sqoop 命令的--query 参数并添加SQL 函数来获取查询中的当前时间戳。

示例：从具有 rollnum 和 name 列的 MySQL 导入种姓 table。

sqoop import --connect jdbc:mysql://localhost:3306/test --driver com.mysql.jdbc.Driver --username root --query 'select name, rollnum, current_timestamp from stud where $CONDITIONS' --target-dir '/tmp/stud1' --split-by id

注意current_timestamp mysql查询中使用的函数。

在 sqoop 导入中添加列

Adding column in sqoop import

hadoop

sqoop