从sybase数据库批量加载到HDFS
Bulk load to HDFS from sybase database
我需要将数据从 sybase（生产数据库）加载到 HDFS。通过使用 sqoop，它会花费很长时间并且经常访问生产数据库。所以，我正在考虑从 sybase 转储创建数据文件，然后将数据文件复制到 hdfs。是否有任何工具（开源）可用于从 sybase 转储创建所需的数据文件（平面文件）。
谢谢，
iq_bcp 命令行实用程序旨在按 table 执行此操作。你只需要生成一个table的列表，你可以遍历这个列表。
iq_bcp [ [ database_name. ] owner. ] table_name { in | out } datafile
iq_bcp MyDB..MyTable out MyTable.csv -c -t#$#
-c指定一个字符（明文）输出
-t 允许您自定义列分隔符。您将要使用未出现在您的确切字符中的一个字符或一系列字符，例如如果您的文本列包含带逗号的文本，则在不进行额外工作的情况下导入 csv 将很棘手。
我需要将数据从 sybase（生产数据库）加载到 HDFS。通过使用 sqoop，它会花费很长时间并且经常访问生产数据库。所以，我正在考虑从 sybase 转储创建数据文件，然后将数据文件复制到 hdfs。是否有任何工具（开源）可用于从 sybase 转储创建所需的数据文件（平面文件）。
谢谢，
iq_bcp 命令行实用程序旨在按 table 执行此操作。你只需要生成一个table的列表，你可以遍历这个列表。
iq_bcp [ [ database_name. ] owner. ] table_name { in | out } datafile
iq_bcp MyDB..MyTable out MyTable.csv -c -t#$#
-c指定一个字符（明文）输出
-t 允许您自定义列分隔符。您将要使用未出现在您的确切字符中的一个字符或一系列字符，例如如果您的文本列包含带逗号的文本，则在不进行额外工作的情况下导入 csv 将很棘手。