pySpark 检查数据框是否存在

Question

有没有办法检查 pySpark 中是否存在数据帧？

我知道在本地 python，检查数据帧是否存在：

exists(df_name) && is.data.frame(get(df_name))

如何在 pySpark 中完成此操作？由于命令 exists 抛出错误。

Answer 1

试试这个：df_name is not None and isinstance(df_name, DataFrame)

Answer 2

与Petel代码相同。您可以导入数据框类型。

 from pyspark.sql import DataFrame

 df= sc.parallelize([
 (1,2,3), (4,5,7)]).toDF(["a", "b", "c"])

 if df is not None and isinstance(df,DataFrame):
      #<some operation>
      print("dataframe exists")

Answer 3

我想您想知道 df_name 是否已定义并指向 DataFrame。 None 以上答案处理未设置 df_name 的情况。这样做：

from pyspark.sql import DataFrame

try:
  if df_name is not None and isinstance(df_name,DataFrame):
    print('df_name exists')

except NameError as error:
  print('df_name does not exist and not defined')

pySpark 检查数据框是否存在

pySpark check if dataframe exists

python

dataframe

pyspark

exists