运行如何在Spark集群上实现C算法?

How to run C algorithm on Spark cluster?

我有一个用 C 语言编写的算法。

我想在节点集群上使用 Spark 运行。我如何在 Spark 上 运行 我的 C 可执行文件?我已经阅读了有关 JNI 和 Java 执行我的二进制文件的过程。

这是一篇来自 databricks 的精彩文章,介绍了我们如何在 apache spark 中 运行 c 和 c++ 代码。

https://kb.databricks.com/_static/notebooks/scala/run-c-plus-plus-scala.html

将c/c++代码移动到底层分布式文件系统后,可以在spark worker节点上编译代码和运行