如何将输入参数传递给 AWS Glue Map.apply 函数
How to pass input parameter to AWS Glue Map.apply function
我正在做一个 AWS Glue 工作,我有一个函数 "some_function"
,我想在 DynamicFrame dy_f
上应用,但我也想将输入参数传递给 some_function.
Map.apply(frame=products_combination, f=search)
其中 some_function 的定义是:
some_function(record, k)
到目前为止我尝试过的:
作品:
Map.apply(frame=products_combination, f=search) ##provided i'm not taking k as input in some_function def as well
出现什么错误:
Map.apply(frame=products_combination, f=search(k=10))
这个 returns“TypeError:search() 缺少 1 个必需的位置参数:'record'”
如何将参数传递给 Map.apply 函数?我已经阅读了 [此处] 的文档,但在那里找不到我的解决方案。1
我最终使用 Spark udf 而不是 DynamicFrame.Map.apply。为我工作。
您始终可以使用 lambda 传递额外的参数:
Map.apply(frame=products_combination, f=lambda record: search(record, k=10))
我正在做一个 AWS Glue 工作,我有一个函数 "some_function"
,我想在 DynamicFrame dy_f
上应用,但我也想将输入参数传递给 some_function.
Map.apply(frame=products_combination, f=search)
其中 some_function 的定义是:
some_function(record, k)
到目前为止我尝试过的: 作品:
Map.apply(frame=products_combination, f=search) ##provided i'm not taking k as input in some_function def as well
出现什么错误:
Map.apply(frame=products_combination, f=search(k=10))
这个 returns“TypeError:search() 缺少 1 个必需的位置参数:'record'”
如何将参数传递给 Map.apply 函数?我已经阅读了 [此处] 的文档,但在那里找不到我的解决方案。1
我最终使用 Spark udf 而不是 DynamicFrame.Map.apply。为我工作。
您始终可以使用 lambda 传递额外的参数:
Map.apply(frame=products_combination, f=lambda record: search(record, k=10))