Spring 云数据流 - 微服务部署
Spring cloud data flow - Micro services deployment
团队，
目前我正在研究 spring-xd 并将其用作数据分析和 yarn 作业的运行时容器。
我的问题是
1) 我可以利用用于 spring-xd 的相同环境设置吗？
2）从文档中，我看到它可以部署为微服务，它是否使用嵌入式驱动程序进行流处理？如果它使用嵌入式驱动程序，我可以使用它在集群环境中部署，并使用与 spring-xd 相同的基础架构吗？
3) 是否有为 Apache Spark 构建的特定包装器？
我的环境：Spark 1.6.1，Hadoop 2.7.2，zookeeper 3.6.8，redis 3.2，spring-xd-1.3.1
如能就此特定查询提供任何帮助，我们将不胜感激。
Can I leverage the same environment setup which I used for spring-xd?
Spring 云数据流 (SCDF) 依赖于 SCDF 服务器的 spring-cloud-deployer SPI and there are implementations for Cloud Foundry, Apache YARN, Apache Mesos and Kubernetes. Given that you're already having an Hadoop cluster with YARN in use, you could provision the YARN implementation。
is it using embedded drivers for stream processing?
不清楚你的意思。如果您指的是 jdbc-驱动程序；具体来说，当使用 jdbc 作为接收器应用程序时，我们确实嵌入了 OSS 友好的驱动程序，是的。
If it is using embedded drivers, can I use it to deploy in a clustered environment with the same infrastructure leveraged for spring-xd?
#1 的答案或许涵盖了这一点。您可以利用相同的基础设施并使用 Ambari plugin 配置 YARN SCDF 服务器。
Is there any specific wrappers built for Apache Spark?
我们将 Spark 作为 client and cluster applications. You can register 他们在 SCDF 中构建 task/batch 管道。
团队， 目前我正在研究 spring-xd 并将其用作数据分析和 yarn 作业的运行时容器。
我的问题是
1) 我可以利用用于 spring-xd 的相同环境设置吗？
2）从文档中，我看到它可以部署为微服务，它是否使用嵌入式驱动程序进行流处理？如果它使用嵌入式驱动程序，我可以使用它在集群环境中部署，并使用与 spring-xd 相同的基础架构吗？
3) 是否有为 Apache Spark 构建的特定包装器？
我的环境：Spark 1.6.1，Hadoop 2.7.2，zookeeper 3.6.8，redis 3.2，spring-xd-1.3.1
如能就此特定查询提供任何帮助，我们将不胜感激。
Can I leverage the same environment setup which I used for spring-xd?
Spring 云数据流 (SCDF) 依赖于 SCDF 服务器的 spring-cloud-deployer SPI and there are implementations for Cloud Foundry, Apache YARN, Apache Mesos and Kubernetes. Given that you're already having an Hadoop cluster with YARN in use, you could provision the YARN implementation。
is it using embedded drivers for stream processing?
不清楚你的意思。如果您指的是 jdbc-驱动程序；具体来说，当使用 jdbc 作为接收器应用程序时，我们确实嵌入了 OSS 友好的驱动程序，是的。
If it is using embedded drivers, can I use it to deploy in a clustered environment with the same infrastructure leveraged for spring-xd?
#1 的答案或许涵盖了这一点。您可以利用相同的基础设施并使用 Ambari plugin 配置 YARN SCDF 服务器。
Is there any specific wrappers built for Apache Spark?
我们将 Spark 作为 client and cluster applications. You can register 他们在 SCDF 中构建 task/batch 管道。