检查 PySpark DataFrame 是否嵌套的简单方法
Easy way of Checking Whether PySpark DataFrame is nested
有没有简单的方法来检查 PySpark 数据框是否嵌套？我知道您可以打印出架构并直观地查看数据框是否嵌套。有没有程序化的方法来检查这个？
您可以使用 dtypes 方法，returns 将所有列名及其数据类型作为一个列表并遍历该列表以检查它是否具有嵌套字段。
df = # Input dataframe
dt = df.dtypes
for t in dt:
if(t[1].startswith('struct')):
print('nested')
break
有没有简单的方法来检查 PySpark 数据框是否嵌套？我知道您可以打印出架构并直观地查看数据框是否嵌套。有没有程序化的方法来检查这个？
您可以使用 dtypes 方法，returns 将所有列名及其数据类型作为一个列表并遍历该列表以检查它是否具有嵌套字段。
df = # Input dataframe
dt = df.dtypes
for t in dt:
if(t[1].startswith('struct')):
print('nested')
break