Apache Spark 2.3.1 与 HDP 3.0 中的 Hadoop 3.0 的兼容性
Apache Spark 2.3.1 compatibility with Hadoop 3.0 in HDP 3.0
我计划从 Hortonworks 数据平台 [HDP]（版本 2.6.x）升级到 HDP 3.0。但是，Apache Spark 2.3.x 及其与 Hadoop 3.0 的集成似乎存在一些重大错误，这些错误在 Apache Spark JIRA 问题中仍未解决。尽管 Spark 开发团队正在努力解决它们。这些问题是否由 Hortonworks 团队 workaround/resolutions 提出，或者它们是否仍然存在于 HDP 3.0 中？
关于我的用例的一些未解决的问题：
- Spark DataFrames 不适用于 Hadoop 3.0 https://issues.apache.org/jira/browse/SPARK-18673
- Hadoop 3 中的 Kerberos 票证续订失败 https://issues.apache.org/jira/browse/SPARK-24493
- Hadoop 3 上的 Spark 运行 https://issues.apache.org/jira/browse/SPARK-23534
我检查了与 HDP Spark-2.3.1 和 Hadoop - 3.0.1 的集成。它工作完美，上述问题已在 HDP 版本的 Spark 中解决，但未在 HDP-3 发行说明中提供。
查看社区 answer
我计划从 Hortonworks 数据平台 [HDP]（版本 2.6.x）升级到 HDP 3.0。但是，Apache Spark 2.3.x 及其与 Hadoop 3.0 的集成似乎存在一些重大错误，这些错误在 Apache Spark JIRA 问题中仍未解决。尽管 Spark 开发团队正在努力解决它们。这些问题是否由 Hortonworks 团队 workaround/resolutions 提出，或者它们是否仍然存在于 HDP 3.0 中？
关于我的用例的一些未解决的问题：
- Spark DataFrames 不适用于 Hadoop 3.0 https://issues.apache.org/jira/browse/SPARK-18673
- Hadoop 3 中的 Kerberos 票证续订失败 https://issues.apache.org/jira/browse/SPARK-24493
- Hadoop 3 上的 Spark 运行 https://issues.apache.org/jira/browse/SPARK-23534
我检查了与 HDP Spark-2.3.1 和 Hadoop - 3.0.1 的集成。它工作完美，上述问题已在 HDP 版本的 Spark 中解决，但未在 HDP-3 发行说明中提供。 查看社区 answer