apache ignite 的共享 RDD 可以在嵌入式模式下工作吗
Can apache ignite's shared RDD works in embedded mode
我真的很喜欢 Apache Ignite 的 spark 共享 RDD。但是，由于限制，我无法将 ignite 部署到集群节点上。我可以使用 Ignite 的唯一方法是通过 Spark 的嵌入式模式。
我想知道，在嵌入式模式下，RDD可以通过不同的Spark应用程序共享吗？
我有两个 Spark 作业：
Job 1：生产数据，并存储到共享RDD中
作业2：从Shared RDD中获取数据，并进行一些计算。
这个任务可以使用 ignite 的嵌入式模式完成吗？
谢谢
在嵌入式模式下，Ignite 节点在受 Spark 控制的执行程序中启动。话虽如此，在我看来，这种模式更多是出于测试目的——无需单独部署和启动 Ignite，同时能够尝试基本功能。但在实际场景中，很难实现一致性和故障转移保证，因为 Spark 可以启动和停止执行程序，在嵌入式模式下，执行程序实际上保存着数据。我建议解决您的限制并确保 Ignite 可以在独立模式下单独安装。
我真的很喜欢 Apache Ignite 的 spark 共享 RDD。但是，由于限制，我无法将 ignite 部署到集群节点上。我可以使用 Ignite 的唯一方法是通过 Spark 的嵌入式模式。
我想知道，在嵌入式模式下，RDD可以通过不同的Spark应用程序共享吗？
我有两个 Spark 作业：
Job 1：生产数据，并存储到共享RDD中 作业2：从Shared RDD中获取数据，并进行一些计算。
这个任务可以使用 ignite 的嵌入式模式完成吗？
谢谢
在嵌入式模式下，Ignite 节点在受 Spark 控制的执行程序中启动。话虽如此，在我看来，这种模式更多是出于测试目的——无需单独部署和启动 Ignite，同时能够尝试基本功能。但在实际场景中，很难实现一致性和故障转移保证，因为 Spark 可以启动和停止执行程序，在嵌入式模式下，执行程序实际上保存着数据。我建议解决您的限制并确保 Ignite 可以在独立模式下单独安装。