Databricks worker 和 Elasticsearch 节点是否需要位于 AWS 中的同一 VPC 中？
Do Databricks workers and Elasticsearch nodes need to be in the same VPC in AWS?
我想从 Databricks 中将数据框写入 Elasticsearch。
我的 Elasticsearch 集群托管在 AWS 上，Databricks 正在启动具有特定角色的 EC2 实例。该角色有权与我的 Elasticsearch 集群进行交互 ，但出于某种原因，我似乎甚至无法 PING Elasticsearch 集群。
我是否需要找到一种方法将我的 Databricks worker 和我的 Elasticsearch 集群压缩到同一个 VPC 中？ 听起来像是 CloudFormation 的噩梦。
如果您在另一个 VPC 中有 ES 运行，那么您将需要 private link or peering 来确保工作人员可以访问它。为了隔离和避免工作人员的 IP 限制问题，最好将 ES 和 DB 放在不同的 VPC 中。
我想从 Databricks 中将数据框写入 Elasticsearch。
我的 Elasticsearch 集群托管在 AWS 上，Databricks 正在启动具有特定角色的 EC2 实例。该角色有权与我的 Elasticsearch 集群进行交互 ，但出于某种原因，我似乎甚至无法 PING Elasticsearch 集群。
我是否需要找到一种方法将我的 Databricks worker 和我的 Elasticsearch 集群压缩到同一个 VPC 中？ 听起来像是 CloudFormation 的噩梦。
如果您在另一个 VPC 中有 ES 运行，那么您将需要 private link or peering 来确保工作人员可以访问它。为了隔离和避免工作人员的 IP 限制问题，最好将 ES 和 DB 放在不同的 VPC 中。