knime 中的 Spark 集成

Spark integration in knime

我打算从 KNIME 分析平台执行 spark。为此,我需要在 KNIME 分析平台中安装 KNIME spark 执行程序。 谁能告诉我如何在 KNIME 分析平台中为 hadoop 分发 CDH 5 安装 KNIME spark 执行程序。10.X.

我指的是下面的安装指南link:

https://www.knime.org/knime-spark-executor

我敢肯定这就像注册免费试用版(并购买超过 30 天的许可证)然后从“帮助”->“安装新软件”菜单安装软件一样简单。

我可以在 KNIME 中成功 configure/integrate spark。 我是在 CDH 5.7 中完成的。 我按照以下步骤操作: 1.Downloaded knime-full_3.3.2.linux.gtk.x86_64.tar.gz。 2.Exract 上面提到的 KNIME 包和 运行 安装。 3.After KNIME 已安装转到文件 -> 安装 KNIME 扩展 -> 安装大数据扩展(检查所有与 Spark 相关的扩展并继续)。

关注这个link: https://tech.knime.org/installation-instructions#download

4.Till 现在只安装了与大数据相关的扩展,但它们需要许可证才能运行。 5.License需要purchased.However,可以免费试用30天,之后需要购买。 按照这个 link : https://www.knime.org/knime-spark-executor

6.After 插件已安装我们需要配置 Spark-job-server。 为此,我们需要为我们拥有的 hadoop 版本下载兼容版本的 spark-job-server。

按照此 link 了解 spark-job-server 的版本及其兼容版本: https://www.knime.org/knime-spark-executor

从 KNIME 3.6(最新)版本开始,应该可以通过 Livy 连接到 Spark,在 KNIME 服务器上没有特定的执行程序部署。仍在预览中,但应该可以。

https://www.knime.com/whats-new-in-knime-36