如何在通过 DataFrame 查询计数查询时获取整数值?
how to get an integer value while querying a count query through DataFrame?
我正在编写此代码以获取指定 table:
中计数的整数值
sc = SparkContext("local", "spar")
hive_context = HiveContext(sc)
hive_context.sql("use zs_trainings_trainings_db")
df = hive_context.sql("select count(*) from ldg_sales")
或者:
hive_context.table("sales").count
或
hive_context.sql("select count(*) from ldg_sales").first()[0]
将 dataframe 转换为 rdd,这样您就可以 运行 在其上映射任务以仅提取行值,例如 -
df = hive_context.sql("select count(*) as cnt from ldg_sales")
count = df.rdd.map(lambda _ : _.cnt).collect()[0]
我正在编写此代码以获取指定 table:
中计数的整数值sc = SparkContext("local", "spar")
hive_context = HiveContext(sc)
hive_context.sql("use zs_trainings_trainings_db")
df = hive_context.sql("select count(*) from ldg_sales")
或者:
hive_context.table("sales").count
或
hive_context.sql("select count(*) from ldg_sales").first()[0]
将 dataframe 转换为 rdd,这样您就可以 运行 在其上映射任务以仅提取行值,例如 -
df = hive_context.sql("select count(*) as cnt from ldg_sales")
count = df.rdd.map(lambda _ : _.cnt).collect()[0]