Sqoop Export 无法自定义的Mapper个数
Number of Mapper not able to customized in Sqoop Export
有没有人以前在 Sqoop 中使用自定义映射器从 Hive Table 导出到 SQLDatabase？
我曾使用以下带有 33 个映射器的 sqoop 命令来执行 sqoop 导出：
sqoop export -Dmapred.job.queue.name=projectname -Dsqoop.export.records.per.statement=1000 --connect "jdbc:sqlserver://svrname;database=dbname" --username 'usrname' --password 'pwd' --hcatalog-database hive_schema_name --hcatalog-table hive_obj_name --table 'SQL_DB_OBJ_NAME' -- --schema SQL_DB_SCHEMA_NAME --fields-terminated-by $'\x01' -m 33 -batch
但结果是，我只能看到 4 个映射器正在从应用程序主机中使用，并且由于数据量巨大，需要很长时间才能完成。所以我想知道是否有人可以帮助确认自定义映射器是否能够在 sqoop 导出中使用
Sqoop 导出支持 number of mappers 参数，但它会在您的命令中被忽略。您必须将 -- --schema <schema-name> 移动到命令末尾，因为 Sqoop CLI 具有以下结构：
sqoop TOOL PROPERTY_ARGS SQOOP_ARGS [-- EXTRA_ARGS]
有没有人以前在 Sqoop 中使用自定义映射器从 Hive Table 导出到 SQLDatabase？
我曾使用以下带有 33 个映射器的 sqoop 命令来执行 sqoop 导出：
sqoop export -Dmapred.job.queue.name=projectname -Dsqoop.export.records.per.statement=1000 --connect "jdbc:sqlserver://svrname;database=dbname" --username 'usrname' --password 'pwd' --hcatalog-database hive_schema_name --hcatalog-table hive_obj_name --table 'SQL_DB_OBJ_NAME' -- --schema SQL_DB_SCHEMA_NAME --fields-terminated-by $'\x01' -m 33 -batch
但结果是，我只能看到 4 个映射器正在从应用程序主机中使用，并且由于数据量巨大，需要很长时间才能完成。所以我想知道是否有人可以帮助确认自定义映射器是否能够在 sqoop 导出中使用
Sqoop 导出支持 number of mappers 参数，但它会在您的命令中被忽略。您必须将 -- --schema <schema-name> 移动到命令末尾，因为 Sqoop CLI 具有以下结构：
sqoop TOOL PROPERTY_ARGS SQOOP_ARGS [-- EXTRA_ARGS]