背景
用flink做数据处理的时候,我们经常会想要将数据分成几类处理,或者有一批特殊数据需要单独处理。但是我们又想复用同一个流式任务,避免重复处理数据。
这种需求,使用sideoutput完美解决。建议直接看官方文档就好了:https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/side_output.html
官方github示例:https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples/sideoutput/SideOutputExample.java
小细节
我们会发现OutputTag在实例化的时候是使用了匿名内部类。这个时候很容易一脸问号,为什么要用匿名内部类?后边加了两个大括号,啥都没干。。。
private static final OutputTag<String> rejectedWordsTag = new OutputTag<String>("rejected") {};
其实这个是有用的,OutputTag有两个构造函数,当前用的这个构造函数只有一个参数,传入一个string,用来标识分流的数据是什么含义;另一个构造函数还可以传入一个TypeInformation对象,这个是用来说明分流的数据是什么类型的。
使用单参数的构造函数,flink会自动推测TypeInformation,但是OutputTag带了泛型,在编译的时候会丢失这个信息,所以只能生成匿名内部类把泛型里的信息带上(推测,未验证)
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)