WSO2 DAS 火花脚本

Question

我正在尝试部署新的数据发布车。我查看了 APIM_LAST_ACCESS_TIME_SCRIPT.xml spark 脚本（由 api 经理使用），但不明白创建的两个临时表之间的区别：API_LAST_ACCESS_TIME_SUMMARY_FINAL和 APILastAccessSummaryData

Answer 1

两个Spark临时tables代表不同的JDBC tables（可能在不同的数据源中），其中一个作为Spark的源，另一个作为目的地。

为了更好地说明这一点，请查看相关的简化脚本：

create temporary table APILastAccessSummaryData using CarbonJDBC options (dataSource "WSO2AM_STATS_DB", tableName "API_LAST_ACCESS_TIME_SUMMARY", ... );

CREATE TEMPORARY TABLE API_LAST_ACCESS_TIME_SUMMARY_FINAL USING CarbonAnalytics OPTIONS (tableName "API_LAST_ACCESS_TIME_SUMMARY", ... );

INSERT INTO TABLE APILastAccessSummaryData select ... from API_LAST_ACCESS_TIME_SUMMARY_FINAL;

如您所见，我们首先在 Spark 中创建一个名为 APILastAccessSummaryData 的临时 table，它表示一个名为 [=12] 的实际关系数据库 table =] 在 WSO2AM_STATS_DB 数据源中。请注意 using CarbonJDBC 关键字，它可用于在 Spark 中直接映射 JDBC tables。这样的tables（和它们的行）没有编码，可以被用户读取。

其次，我们正在创建另一个名为 API_LAST_ACCESS_TIME_SUMMARY_FINAL 的临时 Spark table。然而，在这里，我们使用的是 CarbonAnalytics 分析提供程序，这意味着这个 table 将不是普通的 JDBC table，而是编码的 table与您 .

中的相似

现在，从第三个语句中，您可以看到我们正在读取 (SELECT) 第二个 table API_LAST_ACCESS_TIME_SUMMARY_FINAL 中的多个字段并插入它们 (INSERT INTO ) 进入第一个，即 APILastAccessSummaryData。这表示 Spark 摘要过程。

有关 CarbonAnalytics 和 CarbonJDBC 分析提供程序之间的差异或 Spark 通常如何处理此类 table 的更多详细信息，请查看文档页面 Spark Query Language.

WSO2 DAS 火花脚本

WSO2 DAS spark script

wso2

wso2-das