Hadoop/Spark 上的 .NET 场景模拟(DAG 作业)的分布式计算
Distributed computing for .NET Scenario simulation (DAG jobs) on Hadoop/Spark
我目前正在研究使用 Hadoop 或 Spark 在集群上 运行 作业(场景模拟)的 .NET DAG 的方法。在这两种情况下,我 运行 都会遇到有关代码语言的问题。
如果发现 Spark 支持用以下语言编写的代码:Scala、Python、Java 和 R,但不支持 .NET。
Hadoop 确实支持在 .NET 中编写作业,但是我没有在 .NET 上找到 Hadoop 的 DAG 实现。
有没有办法使用 .NET 编程语言在 cluster/cloud 上实现作业的 DAG?
Apache Spark 的 C# 语言绑定现在可通过 SparkCLR (https://github.com/Microsoft/SparkCLR) 获得。您可以将其用于 运行 您在 Spark 集群中的 .NET 作业。
2020 年 5 月更新:
您现在可能想看看 .NET Foundation 的 .NET for Apache Spark project。
我目前正在研究使用 Hadoop 或 Spark 在集群上 运行 作业(场景模拟)的 .NET DAG 的方法。在这两种情况下,我 运行 都会遇到有关代码语言的问题。
如果发现 Spark 支持用以下语言编写的代码:Scala、Python、Java 和 R,但不支持 .NET。 Hadoop 确实支持在 .NET 中编写作业,但是我没有在 .NET 上找到 Hadoop 的 DAG 实现。
有没有办法使用 .NET 编程语言在 cluster/cloud 上实现作业的 DAG?
Apache Spark 的 C# 语言绑定现在可通过 SparkCLR (https://github.com/Microsoft/SparkCLR) 获得。您可以将其用于 运行 您在 Spark 集群中的 .NET 作业。
2020 年 5 月更新:
您现在可能想看看 .NET Foundation 的 .NET for Apache Spark project。