一天的 Apache Beam 窗口
Apache Beam windowing for day
我想在 apache beam 上使用 windows 函数按天提取数据。
我在 python 上工作并使用 FixedWindow 来捕获数据。
我遇到了数据一致性问题，因为这段代码是按计数持续时间戳工作的，
beam.WindowInto(window.FixedWindows(1440*60)) # minute of whole day * second
这意味着如果我在 6 月 3 日开始 Beam 管道 3:00PM，它将在 6 月 4 日结束 3:00PM。
我想要类似的东西，
如果我必须在 6 月 3 日 3:00PM 开始管道，时间到了 6 月 4 日 0:00AM，
windows 函数应该开始新的捕获，在 June-3 11:59:59 PM
之后
有人知道吗？或者 windows 函数不支持此类工作。
windows 不是基于管道的开始时间，而是基于 Unix 纪元。
在您的情况下，如果您希望 windows 对齐天数，您可以使用 CalendarWindows。您只需指定计算天数的时区。
我想在 apache beam 上使用 windows 函数按天提取数据。 我在 python 上工作并使用 FixedWindow 来捕获数据。
我遇到了数据一致性问题，因为这段代码是按计数持续时间戳工作的，
beam.WindowInto(window.FixedWindows(1440*60)) # minute of whole day * second
这意味着如果我在 6 月 3 日开始 Beam 管道 3:00PM，它将在 6 月 4 日结束 3:00PM。
我想要类似的东西，
如果我必须在 6 月 3 日 3:00PM 开始管道，时间到了 6 月 4 日 0:00AM，
windows 函数应该开始新的捕获，在 June-3 11:59:59 PM
有人知道吗？或者 windows 函数不支持此类工作。
windows 不是基于管道的开始时间，而是基于 Unix 纪元。
在您的情况下，如果您希望 windows 对齐天数，您可以使用 CalendarWindows。您只需指定计算天数的时区。