如何为一周中的某一天求和某个值？

Question

我有一个 phone 调用的 DataFrame，其中包含调用的时间戳和持续时间。我如何计算所有 phone 通话每天的总持续时间？时间戳是一个字符串，所以我无法将其解析为实际日期。我不确定 spark 是否支持时间戳。

DataFrame table

  timestamp   |  duration
1414592818364 |   210
1414575535061 |   110
1411328461890 |   140
1434606396339 |   90

Answer 1

您可以使用 UDF 来解析时间戳。您可以在下面找到一个 Python 解决方案，但使用另一种支持的语言应该很容易做同样的事情：

原始 SQL:

from datetime import datetime

df = sqlContext.createDataFrame(sc.parallelize([
    {'timestamp': 1414592818364, 'duration': 210},
    {'timestamp': 1414575535061, 'duration': 110},
    {'timestamp': 1411328461890, 'duration': 140},
    {'timestamp': 1434606396339, 'duration': 90}]))


def parse_timestamp(tm):
    dt = datetime.fromtimestamp(tm / 1000)
    return '{0}-{1}-{2}'.format(dt.year, dt.month, dt.day)

sqlContext.registerFunction('parse_timestamp', parse_timestamp)

df.registerTempTable('df')

query = '''
    SELECT parse_timestamp(timestamp) AS date, sum(duration) AS total_durtaion
    FROM df GROUP BY parse_timestamp(timestamp)'''

(sqlContext
    .sql(query)
    .show())

或SQL DSL:

from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

(df
    .withColumn('date', udf(parse_timestamp, StringType())(df.timestamp))
    .select('date', 'duration')
    .groupby('date')
    .sum()
    .show())

编辑:

从 Spark 1.5 开始，不再需要自定义 udf。

from pyspark.sql.functions import from_unixtime, col, sum

(df
  .groupBy(from_unixtime(df.timestamp / 1000, "yyyy-MM-dd").alias("date"))
  .agg(sum(col("duration"))))

如何为一周中的某一天求和某个值？

How do I sum a certain value for certain day of the week?

sql

dataframe

apache-spark

apache-spark-sql