pySpark 检查数据框是否存在
pySpark check if dataframe exists
有没有办法检查 pySpark 中是否存在数据帧?
我知道在本地 python,检查数据帧是否存在:
exists(df_name) && is.data.frame(get(df_name))
如何在 pySpark 中完成此操作?由于命令 exists
抛出错误。
试试这个:df_name is not None and isinstance(df_name, DataFrame)
与Petel代码相同。您可以导入数据框类型。
from pyspark.sql import DataFrame
df= sc.parallelize([
(1,2,3), (4,5,7)]).toDF(["a", "b", "c"])
if df is not None and isinstance(df,DataFrame):
#<some operation>
print("dataframe exists")
我想您想知道 df_name
是否已定义并指向 DataFrame
。 None 以上答案处理未设置 df_name
的情况。这样做:
from pyspark.sql import DataFrame
try:
if df_name is not None and isinstance(df_name,DataFrame):
print('df_name exists')
except NameError as error:
print('df_name does not exist and not defined')
有没有办法检查 pySpark 中是否存在数据帧?
我知道在本地 python,检查数据帧是否存在:
exists(df_name) && is.data.frame(get(df_name))
如何在 pySpark 中完成此操作?由于命令 exists
抛出错误。
试试这个:df_name is not None and isinstance(df_name, DataFrame)
与Petel代码相同。您可以导入数据框类型。
from pyspark.sql import DataFrame
df= sc.parallelize([
(1,2,3), (4,5,7)]).toDF(["a", "b", "c"])
if df is not None and isinstance(df,DataFrame):
#<some operation>
print("dataframe exists")
我想您想知道 df_name
是否已定义并指向 DataFrame
。 None 以上答案处理未设置 df_name
的情况。这样做:
from pyspark.sql import DataFrame
try:
if df_name is not None and isinstance(df_name,DataFrame):
print('df_name exists')
except NameError as error:
print('df_name does not exist and not defined')