如何每天将增量记录从 Oracle 加载到 HDFS,我们可以使用 Sqoop 或 MR Jobs。哪个是首选方法
How to load incremental records from Oracle to HDFS on daily basis and Can we use Sqoop or MR Jobs. Which is the preferred method
如何每天从Oracle加载增量记录到HDFS?我们可以使用 Sqoop 或 MR Jobs 吗?
Sqoop 正是为此目的而设计的,它将导致 MR 作业完成复制数据的工作。有几种方法可以确定 Oracle table 中的新内容,例如使用 table 的 ID,或者可能是日期修改字段(如果有的话)。
与 Hadoop 中的大多数东西相比,Sqoop 相当简单。这是文档的 link——搜索 "incremental" 或从第 7.2.9 节开始了解更多信息。 http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html
仅供参考一旦你让它正常工作,检查设计用于 Oracle 数据库的 Sqoop 扩展,它使用非常有效的方法直接流式传输数据,使该过程在你的 Oracle 数据库上更快和轻量级。
如何每天从Oracle加载增量记录到HDFS?我们可以使用 Sqoop 或 MR Jobs 吗?
Sqoop 正是为此目的而设计的,它将导致 MR 作业完成复制数据的工作。有几种方法可以确定 Oracle table 中的新内容,例如使用 table 的 ID,或者可能是日期修改字段(如果有的话)。
与 Hadoop 中的大多数东西相比,Sqoop 相当简单。这是文档的 link——搜索 "incremental" 或从第 7.2.9 节开始了解更多信息。 http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html
仅供参考一旦你让它正常工作,检查设计用于 Oracle 数据库的 Sqoop 扩展,它使用非常有效的方法直接流式传输数据,使该过程在你的 Oracle 数据库上更快和轻量级。