如何在 pyspark 中访问用户添加的元数据？

Question

我创建了一个数据框并向其中的列添加了一些元数据

import pandas as pd
from pyspark.sql.functions import col

from pyspark.sql import column

df = spark.createDataFrame(pd.DataFrame({'a':[1,2,3],'b':[4,5,6]}))

df=df.withColumn('a',col('a').alias('a',metadata={'numClasses':2}))

如何访问添加到列 a 的元数据？ 我尝试查看 df.schema 但它没有使用元数据更新

Answer 1

试试下面的方法。

print(df.schema['a'].metadata['numClasses'])