AWS Glue 数据目录、临时表和 Apache Spark createOrReplaceTempView
AWS Glue Data Catalog, temporary tables and Apache Spark createOrReplaceTempView
根据 AWS Glue 数据目录文档https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html
Temporary tables are not supported.
我不清楚还是在Temporary tables下我也可以考虑在Apache Spark中通过DataFrame.createOrReplaceTempView方法创建的Temporary views？
所以，换句话说 - 我不能对 AWS Glue 和 AWS Glue 数据目录使用 DataFrame.createOrReplaceTempView 方法，对吗？我现在只能通过 AWS Glue 和 AWS Glue 数据目录使用永久 tables/view 进行操作，并且必须使用 AWS EMR 集群才能获得全功能的 Apache spark 功能吗？
您可以在 AWS Glue 中使用 DataFrame.createOrReplaceTempView()。您必须使用 toDF() 将动态帧转换为数据帧。
但是这些视图将保留在您当前的粘合作业实例的范围内，并且无法从其他粘合作业或相同作业或雅典娜的其他实例访问
根据 AWS Glue 数据目录文档https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html
Temporary tables are not supported.
我不清楚还是在Temporary tables下我也可以考虑在Apache Spark中通过DataFrame.createOrReplaceTempView方法创建的Temporary views？
所以，换句话说 - 我不能对 AWS Glue 和 AWS Glue 数据目录使用 DataFrame.createOrReplaceTempView 方法，对吗？我现在只能通过 AWS Glue 和 AWS Glue 数据目录使用永久 tables/view 进行操作，并且必须使用 AWS EMR 集群才能获得全功能的 Apache spark 功能吗？
您可以在 AWS Glue 中使用 DataFrame.createOrReplaceTempView()。您必须使用 toDF() 将动态帧转换为数据帧。
但是这些视图将保留在您当前的粘合作业实例的范围内，并且无法从其他粘合作业或相同作业或雅典娜的其他实例访问