U-SQL + Python return 列数未知的数据框

Question

如果我的 python 脚本正在旋转并且我无法预测将输出多少列，可以使用 U-SQL REDUCE 语句来完成吗？

例如

@pythonOutput  =
    REDUCE @filteredBets ON [BetDetailID]
    PRODUCE [BetDetailID] string, EventID float
    USING new Extension.Python.Reducer(pyScript:@myScript);

可能有多个列，所以我不能在 Produce 部分硬设置名称。

有什么想法吗？

Answer 1

如果您有办法从 Python 中生成 SqlMap<string,string> 值（我不确定现在是否支持，您可以使用 C# reducer 来实现:)），那么您可以将地图用于动态模式部分。

如果 Python 不支持，请在 http://aka.ms/adlfeedback 提交功能请求。

Answer 2

现在唯一的方法是将所有列序列化为一个列，在您的 python 脚本中作为 byte[] 或字符串。 SqlMap/SqlArray 尚不支持作为输出列。

U-SQL + Python return 列数未知的数据框

U-SQL + Python return dataframe with unknown number of columns

python

azure

azure-data-lake

u-sql