我如何为 cdh 5.4.x 的 apache hadoop 使用 spring 数据?
how can i use spring data for apache hadoop for cdh 5.4.x?
官方文档说明"Spring for Apache Hadoop 2.2 GA"只支持CDH 5.3.3
有没有办法为 CDH 5 使用 "spring data hadoop"。4.X 还是我必须等待下一个版本? 2.3版本是否支持CDH 5.4.x ?
编辑:
我已经使用 Cloudera 快速启动 VM cdh 5.4.2 完成了这个 hbase sample and this spring boot sample。所以我想如果你只是想在 CDH 5.4.X 中使用 Hbase 或 hadoop shell,"Spring for Apache Hadoop 2.2 GA" 可以满足你。如果没有,请看下面Thomas Risberg的回答。
我在 Hbase 示例中使用的库是:
<spring.version>4.1.7.RELEASE</spring.version>
<spring.hadoop.version>2.2.0.RELEASE-cdh5</spring.hadoop.version>
<hadoop.version>2.6.0-cdh5.4.2</hadoop.version>
<hbase.version>1.0.0-cdh5.4.2</hbase.version>
我在 spring 引导示例中使用的库是:
<dependency>
<groupId>org.springframework.data</groupId>
<artifactId>spring-data-hadoop-boot</artifactId>
<version>2.2.0.RELEASE-cdh5</version>
</dependency>
下一个2.3版本将支持CDH 5.4 -- https://jira.spring.io/browse/SHDP-494
由于 5.4 使用 Hive 1.x,我们必须删除我们的 Hive/Thrift 代码并添加对 Hiveserver2/JDBC 的类似支持。一旦完成,我们就可以升级到 CDH 5.4。
我预计 2.3 M1 版本将在 8 月中下旬的某个时候发布。
官方文档说明"Spring for Apache Hadoop 2.2 GA"只支持CDH 5.3.3
有没有办法为 CDH 5 使用 "spring data hadoop"。4.X 还是我必须等待下一个版本? 2.3版本是否支持CDH 5.4.x ?
编辑:
我已经使用 Cloudera 快速启动 VM cdh 5.4.2 完成了这个 hbase sample and this spring boot sample。所以我想如果你只是想在 CDH 5.4.X 中使用 Hbase 或 hadoop shell,"Spring for Apache Hadoop 2.2 GA" 可以满足你。如果没有,请看下面Thomas Risberg的回答。
我在 Hbase 示例中使用的库是:
<spring.version>4.1.7.RELEASE</spring.version>
<spring.hadoop.version>2.2.0.RELEASE-cdh5</spring.hadoop.version>
<hadoop.version>2.6.0-cdh5.4.2</hadoop.version>
<hbase.version>1.0.0-cdh5.4.2</hbase.version>
我在 spring 引导示例中使用的库是:
<dependency>
<groupId>org.springframework.data</groupId>
<artifactId>spring-data-hadoop-boot</artifactId>
<version>2.2.0.RELEASE-cdh5</version>
</dependency>
下一个2.3版本将支持CDH 5.4 -- https://jira.spring.io/browse/SHDP-494
由于 5.4 使用 Hive 1.x,我们必须删除我们的 Hive/Thrift 代码并添加对 Hiveserver2/JDBC 的类似支持。一旦完成,我们就可以升级到 CDH 5.4。
我预计 2.3 M1 版本将在 8 月中下旬的某个时候发布。