在 Spark-kernel 中编辑 Spark 模块
Editing Spark Module in Spark-kernel
我们目前正在编辑 Spark 中的特定模块。我们正在使用 spark-kernel https://github.com/ibm-et/spark-kernel 来 运行 我们所有的 spark 作业。所以，我们所做的是再次编译我们编辑过的代码。这会生成一个 jar 文件。但是，我们不知道如何将代码指向jar文件。
看起来它又引用了旧脚本，而不是新编辑和新编译的脚本。你对如何修改一些 spark packages/modules 并用 spark-kernel 反映这些变化有什么想法吗？如果我们不打算使用 spark-kernel，有没有办法可以编辑 spark 中的特定模块，例如，spark 中的 ALS 模块：https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/ml/recommendation/ALS.scala。谢谢！
您可能编辑了 scala 或 java 文件并重新编译（即使您称它们为脚本，但它们不是严格意义上的脚本，因为它们没有被插入）。假设那是你所做的....
您可能没有在您正在测试的部署中完全替换生成的 JAR 文件。很可能你新编译的 JAR 文件在某个地方，只是不在你正在观察的地方。要将其正确安装到那里，您需要构建的不仅仅是 JAR 文件，还需要重新打包您的可安装文件并重新安装。
存在其他技术，如果您可以识别安装中的解压项目，有时您可以将其复制到位；然而，这种技术本质上是不可维护的，所以我建议只在验证更改时使用它，而不是在将要使用的任何系统上使用。
请记住，使用 Spark 时，有时会动态部署工作节点。如果是这样，您可能必须找到可安装的动态部署系统并确保您也有正确的包装。
我们目前正在编辑 Spark 中的特定模块。我们正在使用 spark-kernel https://github.com/ibm-et/spark-kernel 来 运行 我们所有的 spark 作业。所以，我们所做的是再次编译我们编辑过的代码。这会生成一个 jar 文件。但是，我们不知道如何将代码指向jar文件。
看起来它又引用了旧脚本，而不是新编辑和新编译的脚本。你对如何修改一些 spark packages/modules 并用 spark-kernel 反映这些变化有什么想法吗？如果我们不打算使用 spark-kernel，有没有办法可以编辑 spark 中的特定模块，例如，spark 中的 ALS 模块：https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/ml/recommendation/ALS.scala。谢谢！
您可能编辑了 scala 或 java 文件并重新编译（即使您称它们为脚本，但它们不是严格意义上的脚本，因为它们没有被插入）。假设那是你所做的....
您可能没有在您正在测试的部署中完全替换生成的 JAR 文件。很可能你新编译的 JAR 文件在某个地方，只是不在你正在观察的地方。要将其正确安装到那里，您需要构建的不仅仅是 JAR 文件，还需要重新打包您的可安装文件并重新安装。
存在其他技术，如果您可以识别安装中的解压项目，有时您可以将其复制到位；然而，这种技术本质上是不可维护的，所以我建议只在验证更改时使用它，而不是在将要使用的任何系统上使用。
请记住，使用 Spark 时，有时会动态部署工作节点。如果是这样，您可能必须找到可安装的动态部署系统并确保您也有正确的包装。