knime 中的 Spark 集成
Spark integration in knime
我打算从 KNIME 分析平台执行 spark。为此,我需要在 KNIME 分析平台中安装 KNIME spark 执行程序。
谁能告诉我如何在 KNIME 分析平台中为 hadoop 分发 CDH 5 安装 KNIME spark 执行程序。10.X.
我指的是下面的安装指南link:
我敢肯定这就像注册免费试用版(并购买超过 30 天的许可证)然后从“帮助”->“安装新软件”菜单安装软件一样简单。
我可以在 KNIME 中成功 configure/integrate spark。
我是在 CDH 5.7 中完成的。
我按照以下步骤操作:
1.Downloaded knime-full_3.3.2.linux.gtk.x86_64.tar.gz。
2.Exract 上面提到的 KNIME 包和 运行 安装。
3.After KNIME 已安装转到文件 -> 安装 KNIME 扩展 -> 安装大数据扩展(检查所有与 Spark 相关的扩展并继续)。
关注这个link:
https://tech.knime.org/installation-instructions#download
4.Till 现在只安装了与大数据相关的扩展,但它们需要许可证才能运行。
5.License需要purchased.However,可以免费试用30天,之后需要购买。
按照这个 link :
https://www.knime.org/knime-spark-executor
6.After 插件已安装我们需要配置 Spark-job-server。
为此,我们需要为我们拥有的 hadoop 版本下载兼容版本的 spark-job-server。
按照此 link 了解 spark-job-server 的版本及其兼容版本:
https://www.knime.org/knime-spark-executor
从 KNIME 3.6(最新)版本开始,应该可以通过 Livy 连接到 Spark,在 KNIME 服务器上没有特定的执行程序部署。仍在预览中,但应该可以。
我打算从 KNIME 分析平台执行 spark。为此,我需要在 KNIME 分析平台中安装 KNIME spark 执行程序。 谁能告诉我如何在 KNIME 分析平台中为 hadoop 分发 CDH 5 安装 KNIME spark 执行程序。10.X.
我指的是下面的安装指南link:
我敢肯定这就像注册免费试用版(并购买超过 30 天的许可证)然后从“帮助”->“安装新软件”菜单安装软件一样简单。
我可以在 KNIME 中成功 configure/integrate spark。 我是在 CDH 5.7 中完成的。 我按照以下步骤操作: 1.Downloaded knime-full_3.3.2.linux.gtk.x86_64.tar.gz。 2.Exract 上面提到的 KNIME 包和 运行 安装。 3.After KNIME 已安装转到文件 -> 安装 KNIME 扩展 -> 安装大数据扩展(检查所有与 Spark 相关的扩展并继续)。
关注这个link: https://tech.knime.org/installation-instructions#download
4.Till 现在只安装了与大数据相关的扩展,但它们需要许可证才能运行。 5.License需要purchased.However,可以免费试用30天,之后需要购买。 按照这个 link : https://www.knime.org/knime-spark-executor
6.After 插件已安装我们需要配置 Spark-job-server。 为此,我们需要为我们拥有的 hadoop 版本下载兼容版本的 spark-job-server。
按照此 link 了解 spark-job-server 的版本及其兼容版本: https://www.knime.org/knime-spark-executor
从 KNIME 3.6(最新)版本开始,应该可以通过 Livy 连接到 Spark,在 KNIME 服务器上没有特定的执行程序部署。仍在预览中,但应该可以。