假设我有一个包含记录的数据文件，其中每个记录都有一个时间戳，如下所示：
foo,bar,blaz,timestamp1
foo,flibble,baz,timestamp2
bleh,foo,gnarly,timestamp3
...
我想使用 Spark 来处理这个问题，需要使用 window() 函数。有没有办法读取这些记录，并将每一条记录放入 DStream 中，以便我的代码显式提供 window() 函数将使用的时间戳（在本例中基于解析输入记录中的时间戳字段） ）？
不是，默认的 Spark 处理是基于系统时间的。如果您想使用事件时间构建窗口。我建议您使用“updateStateByKey”函数来处理更新函数内部的逻辑。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
