在 pyspark 中将 int 数据类型转换为数组 <int>

Question

我正在尝试转换 Azure databricks 中增量 table 的数据类型 notebook.Existing 类型是“int”并希望转换 array.But 出现以下错误。

Answer 1

首先导入csv文件，插入数据到DataFrame。然后尝试找出 DataFrame 的架构。

cast() 函数用于将一列的数据类型转换为另一列 e.g.int 为字符串，双精度为浮点数。您不能使用它将列转换为数组。要将列转换为数组，您可以使用 numpy.

df = pd.DataFrame(data={'X': [10, 20, 30], 'Y': [40, 50, 60], 'Z': [70, 80, 90]}, index=['X', 'Y', 'Z'])


# Convert specific columns
df[['X', 'Y']].to_numpy()
array([[10, 70],
       [20, 80],
       [30, 90]])

Answer 2

使用F.array('landing_priority')

在 pyspark 中将 int 数据类型转换为数组 <int>

Casting int data type to array<int> in pyspark

pyspark

azure-databricks