Apache Beam 在 Pivotal Cloud Foundry 上使用 Spark Runner 部署
Apache Beam using Spark Runner Deployment on Pivotal Cloud Foundry
我需要使用 Spark Runtime 引擎部署 Apache Beam 应用程序。我的问题是我是否可以在 Pivotal Cloud Foundry 环境中部署 Spark 应用程序。能否请您提供示例（如果有）。
谢谢
是的，Cloud Foundry 可以 运行 Apache Spark 应用程序。 CF 现在能够挂载持久卷，管理 Spark 集群本身的容器网络，并为不同类型的计算节点提供隔离段（例如，识别具有高性能网络的子集群可能更适合 Spark 应用程序与. 通用应用程序）。
对于要输入 Spark 或从 Spark 输出的数据，您仍然需要 CF 之外的后备存储。这可能是 HDFS、Cassandra、JDBC/SQL、NFS、HTTP/S3 等
Cloud Foundry 是无状态的，但它非常有能力 运行ning 工作负载，例如今天的 Spring Cloud Data Flow，它与 Apache Spark、Hbase、Hadoop、常规 RDBMS 很好地集成， Kafka/Redis/RabbitMQ、FTP 服务器、云服务.. 任何你真正需要的东西。
这是链接，你可以参考一下。
How to leverage Pivotal Cloud Foundry, Pivotal HD, Apache Spark and EMC ECS to analyze Twitter data
我需要使用 Spark Runtime 引擎部署 Apache Beam 应用程序。我的问题是我是否可以在 Pivotal Cloud Foundry 环境中部署 Spark 应用程序。能否请您提供示例（如果有）。
谢谢
是的，Cloud Foundry 可以 运行 Apache Spark 应用程序。 CF 现在能够挂载持久卷，管理 Spark 集群本身的容器网络，并为不同类型的计算节点提供隔离段（例如，识别具有高性能网络的子集群可能更适合 Spark 应用程序与. 通用应用程序）。
对于要输入 Spark 或从 Spark 输出的数据，您仍然需要 CF 之外的后备存储。这可能是 HDFS、Cassandra、JDBC/SQL、NFS、HTTP/S3 等
Cloud Foundry 是无状态的，但它非常有能力 运行ning 工作负载，例如今天的 Spring Cloud Data Flow，它与 Apache Spark、Hbase、Hadoop、常规 RDBMS 很好地集成， Kafka/Redis/RabbitMQ、FTP 服务器、云服务.. 任何你真正需要的东西。
这是链接，你可以参考一下。
How to leverage Pivotal Cloud Foundry, Pivotal HD, Apache Spark and EMC ECS to analyze Twitter data