Spark 单元测试框架示例 com.holdenkarau

Question

我正在尝试编写 spark scala 应用程序代码的测试用例。因此，我打算为此目的使用 SharedSparkSession。

我看过其他框架，例如 com.holdenkarau，但我正在寻找任何其他替代方案，尤其是使用 SharedSparkSeesion.

所以我尝试从网上找到使用此 SharedSparkSession 的示例，但我无法这样做。

如果你有任何例子，请post。

Answer 1

Spark自带的测试框架可以在Scala中使用，SparkSession存在于Scala中。必须包含一些依赖项，对于下面的 Maven，可以转换为 Sbt。 ScalaTest 示例：https://apache.googlesource.com/spark/+/master/sql/core/src/test/scala/org/apache/spark/sql/ColumnExpressionSuite.scala

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_${scala.suffix}</artifactId>
        <version>${spark.version}</version>
        <scope>test</scope>
        <type>test-jar</type>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_${scala.suffix}</artifactId>
        <version>${spark.version}</version>
        <scope>test</scope>
        <type>test-jar</type>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-catalyst_${scala.suffix}</artifactId>
        <version>${spark.version}</version>
        <scope>test</scope>
        <type>test-jar</type>
    </dependency>

Spark 单元测试框架示例 com.holdenkarau

spark unit test framework examples OTHER THAN com.holdenkarau

unit-testing

scalatest

apache-spark