哪些选项可以传递给 AWS Glue DynamicFrame.toDF()？

Question

toDF() 方法的文档指定我们可以将选项参数传递给此方法。但它没有指定这些选项可以是什么 (https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-crawler-pyspark-extensions-dynamic-frame.html)。有谁知道是否有关于此的进一步文档？ 我特别感兴趣的是在从 DynamicFrame 创建 DataFrame 时传入模式。

Answer 1

不幸的是，可用的文档不多，但是 dynamicframe 的源代码的研发和分析表明如下：

• toDF 中可用的选项更多地与 ResolveOption class 有关，然后是 toDF 本身，因为 ResolveOption class 增加了参数的含义（请阅读代码）。
• ResolveOption class 接受 ChoiceType 作为参数。
• 文档中提供的选项示例类似于 ResolveChoice 中提供的 specs，其中也提到了 ChoiceType。
• 选项被进一步转换为序列，并从 _jdf here.
引用 toDF 函数

我在看到 specs、dynamicFrame 的 toDF 实现和 spark 的 后的理解是，当从 DynamicFrame 创建 DataFrame 时，我们不能传递模式，但只能进行较小的列操作.

说到这里，一种可能的方法是从动态框架中获取数据框，然后对其进行操作以更改其架构。