无法识别的 --schema 参数 sqoop 作业
Unrecognized --schema argument sqoop job
我正在尝试 运行 来自 Powershell 的以下 sqoop 作业,但我最终遇到错误,说 --schema 是一个无法识别的参数:
$sqoopDef = New-AzureRmHDInsightSqoopJobDefinition -Command "import --connect $connectionString --target-dir $targetDir --fields-terminated-by \t --lines-terminated-by \n -m $numMappers --table $tableName-- --schema $schema"
如果我尝试从命令行 运行 相同的作业,它可以正常工作。 powershell 不支持 --schema 参数吗?
注意:我在 Azure HdInsight 上使用 Spark 1.6.1 Linux 集群。 Sqoop 版本为:1.4.6.2.4.2.0-258
谢谢!
PowerShell 只是将命令传递给您的 HDInsight 群集。如果当您直接在集群上 运行 Sqoop 作业时集群支持 --schema
,那么它在通过 PowerShell 提交时也应该工作。
问题可能是您在 table 名称的末尾附加了一个额外的“--
”。尝试删除它,看看是否能解决问题。
我已经设法通过在 sqoop 命令中使用 --options-file 参数来解决这个问题。我从初始命令中删除了 --schema 参数,并将其粘贴到选项文件中。
我正在尝试 运行 来自 Powershell 的以下 sqoop 作业,但我最终遇到错误,说 --schema 是一个无法识别的参数:
$sqoopDef = New-AzureRmHDInsightSqoopJobDefinition -Command "import --connect $connectionString --target-dir $targetDir --fields-terminated-by \t --lines-terminated-by \n -m $numMappers --table $tableName-- --schema $schema"
如果我尝试从命令行 运行 相同的作业,它可以正常工作。 powershell 不支持 --schema 参数吗?
注意:我在 Azure HdInsight 上使用 Spark 1.6.1 Linux 集群。 Sqoop 版本为:1.4.6.2.4.2.0-258
谢谢!
PowerShell 只是将命令传递给您的 HDInsight 群集。如果当您直接在集群上 运行 Sqoop 作业时集群支持 --schema
,那么它在通过 PowerShell 提交时也应该工作。
问题可能是您在 table 名称的末尾附加了一个额外的“--
”。尝试删除它,看看是否能解决问题。
我已经设法通过在 sqoop 命令中使用 --options-file 参数来解决这个问题。我从初始命令中删除了 --schema 参数,并将其粘贴到选项文件中。