从sqoop导出数据到couchbase 5.0
Export data from sqoop to couchbase 5.0
我有一个用例,我需要使用 sqoop 从 hive table 上传 couchbase 中的 2000 万行。
在 couchbase 文档中,我找到了用于 couchbase 2 的 couchbase Hadoop 连接器 1.2,而我使用的是 couchbase5.0。
谁能建议现在是否可以使用升级的连接器?
或实现此功能的任何替代方法。
The Couchbase Hadoop Connector has reached End-of-Life (EOL) support.
We recommend existing Hadoop integrations to migrate to a supported
version of the Couchbase Kafka Connector. Additionally, the Couchbase
Hadoop Connector is not compatible with Couchbase Server 5.x; because
it relies on the TAP feed API which has been removed in Couchbase
Server 5.x in favor of the DCP feed.
如果您由于某种原因不能使用 Kafka,那么一种可能的解决方案是使用旧版本 Couchbase 的连接器,然后将该 Couchbase 集群连接到另一个集群 运行 Couchbase 服务器5.x 使用 XDCR.
另一个解决方案可能是使用 Apache Nifi(它几乎可以连接任何东西,包括 Couchbase)。
Couchbase 未正式支持这些解决方案(Kafka connector 除外),因此您只能靠自己了。
我有一个用例,我需要使用 sqoop 从 hive table 上传 couchbase 中的 2000 万行。 在 couchbase 文档中,我找到了用于 couchbase 2 的 couchbase Hadoop 连接器 1.2,而我使用的是 couchbase5.0。 谁能建议现在是否可以使用升级的连接器? 或实现此功能的任何替代方法。
The Couchbase Hadoop Connector has reached End-of-Life (EOL) support. We recommend existing Hadoop integrations to migrate to a supported version of the Couchbase Kafka Connector. Additionally, the Couchbase Hadoop Connector is not compatible with Couchbase Server 5.x; because it relies on the TAP feed API which has been removed in Couchbase Server 5.x in favor of the DCP feed.
如果您由于某种原因不能使用 Kafka,那么一种可能的解决方案是使用旧版本 Couchbase 的连接器,然后将该 Couchbase 集群连接到另一个集群 运行 Couchbase 服务器5.x 使用 XDCR.
另一个解决方案可能是使用 Apache Nifi(它几乎可以连接任何东西,包括 Couchbase)。
Couchbase 未正式支持这些解决方案(Kafka connector 除外),因此您只能靠自己了。