将数据从 HDFS 导出到 MySQL,但在转到 MySQL 之前应更新数据

Export data from HDFS to MySQL but data should be updated before going to MySQL

我需要将数据从 MySQL 导入到 HDFS,我正在使用 Apache Sqoop 执行此操作。但问题是我还需要将数据从 HDFS 导出到 MySQL,我需要更新这些数据的一列(在 HDFS 中),然后再将该数据移动到 MySQL,我该怎么做?

您可以直接从 hdfs 更新列,并且可以使用 INSER OVERWRITE DIRECTORY "path" 将配置单元输出存储到 HDFS,然后使用以下 sqoop 命令

 sqoop export \
--connect jdbc:mysql://master/poc \
--username root \
--table employee \
--export-dir /user/hdfs/mysql/export.txt \
--update-key id \
--update-mode allowinsert \
--fields-terminated-by '\t' \
-m 1

希望这对您有所帮助..