Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Flink 检查点到 Google Cloud Storage
我正在尝试为 GCS 中的 flink 作业配置检查点 如果我在本地运行测试作业 没有 docker 和任何集群设置 一切正常 但如果我使用 docker compose 或集群设置运行它并在 flink 仪表板中使用作业部署 fat ja
googlecloudstorage
apacheflink
googleclouddataproc
Flink 流顺序
Flink 能保证流的执行顺序吗 我有两个 Kafka 主题 每个主题都有一个分区 流 1 和流 2 并使用keyBy 流由一个处理coprocess功能 在我的测试过程中 我可以看到两个流的内容并不总是按顺序执行 我可以将并行度设置为 1
Java
apacheflink
Flink 的简单 hello world 示例
我正在寻找 Apache flink 的 hello world 体验的最简单的示例 假设我刚刚在一个干净的盒子上安装了 flink 那么为了 让它做某事 我需要做的最低限度是什么 我意识到这很模糊 这里有一些例子 来自终端的三个 pyth
apacheflink
Apache Flink - 作业内部无法识别自定义 java 选项
我已将以下行添加到 flink conf yaml 中 env java opts Ddy props path PATH TO PROPS FILE 启动 jobmanager jobmanager sh start cluster 时
Java
apacheflink
flinkstreaming
在 Flink 流中使用静态 DataSet 丰富 DataStream
我正在编写一个 Flink 流程序 其中我需要使用一些静态数据集 信息库 IB 来丰富用户事件的数据流 对于例如假设我们有一个买家的静态数据集 并且有一个传入的事件点击流 对于每个事件 我们希望添加一个布尔标志来指示事件的执行者是否是买家
Bigdata
apacheflink
dataanalysis
flinkstreaming
在 Flink 中,我可以在同一个槽中拥有一个算子的多个子任务吗?
探索Apache Flink几天了 对Task Slot的概念有些疑惑 虽然有人问了几个问题 但有一点我不明白 我正在使用一个玩具应用程序进行测试 运行本地集群 我已禁用运算符链接 我从文档中知道插槽允许内存隔离而不是 CPU 隔离 阅读文
apacheflink
Apache Flink、JDBC 和 fat jar 是否存在类加载问题?
使用 Apache Flink 1 8 并尝试运行RichAsyncFunction 我得到No Suitable Driver Found初始化 Hikari 池时出错RichAsyncFunction open 在 IDE 中它运行得很
Java
classLoader
apacheflink
Apache Flink 环境中的 AWS SDK 冲突
我正在尝试将我的作业部署到 Flink 环境 但总是收到错误 java lang NoSuchMethodError com amazonaws AmazonWebServiceRequest putCustomQueryParameter
awssdk
apacheflink
Flink CEP:对于不同类型的事件,使用哪种方法加入数据流?
假设我有两种不同类型的数据流 一种提供天气数据 另一种提供车辆数据 我想使用 Flink 对数据进行复杂的事件处理 Flink 1 3 x 中哪种方法是正确的使用方法 我看到了不同的方法 如 Union Connect Window Joi
apacheflink
flinkcep
Flink TaskManager 超时?
我正在运行 Flink 应用程序 通过 Yarn 似乎有时任务管理器会随机超时 这是错误 java util concurrent TimeoutException Heartbeat of TaskManager with id some
apacheflink
Apache Flink 检查点卡住
我们正在运行一个 ListState 介于 300GB 到 400GB 之间的作业 并且有时该列表可能会增加到数千 在我们的用例中 每个项目都必须有自己的 TTL 因此我们使用 S3 上的 RocksDB 后端为此 ListState 的每
apacheflink
flinkstreaming
rocksdb
Apache Flink AWS S3 Sink 是否需要 Hadoop 进行本地测试?
我对 Apache Flink 比较陌生 我正在尝试创建一个简单的项目 将文件生成到 AWS S3 存储桶 根据文档 我似乎需要安装 Hadoop 才能执行此操作 如何设置本地环境来测试此功能 我在本地安装了 Apache Flink 和
Hadoop
amazons3
apacheflink
flinkstreaming
示例 flink 作业的错误消息:无法使字段 private Final byte[] java.lang.String.value 可访问
我正在开始使用 Apache Flink 我将发布我遇到的错误 然后复制它的步骤 这是我运行的命令 bin flink run examples streaming WordCount jar input 这是错误文本 org apache
apacheflink
Python + Beam + Flink
我一直在尝试让 Apache Beam 可移植性框架与 Python 和 Apache Flink 一起使用 但我似乎找不到一套完整的指令来让环境正常工作 是否有任何参考资料包含使简单的 python 管道正常工作的先决条件和步骤的完整列表
python
Bigdata
apacheflink
ApacheBeam
Apache Beam 计数器/指标在 Flink WebUI 中不可用
我正在使用 Flink 1 4 1 和 Beam 2 3 0 并且想知道是否可以在 Flink WebUI 或任何地方 中提供可用的指标 如 Dataflow WebUI 中那样 我用过类似的计数器 import org apache be
Java
apacheflink
Metrics
ApacheBeam
Flink 日志记录限制:如何将日志记录配置传递给 Flink 作业
我有一个 flink 作业 它使用 logback 作为日志记录框架 因为日志需要发送到logstash 而 logback 有一个 logstash 附加程序 Logstash logback appender Appender 工作正常
logback
apacheflink
logstashlogbackencoder
flink kafka生产者在检查点恢复时以一次模式发送重复消息
我正在写一个案例来测试 flink 两步提交 下面是概述 sink kafka曾经是kafka生产者 sink stepmysql接收器是否扩展two step commit sink comparemysql接收器是否扩展two step
Streaming
apacheflink
flinkstreaming
blink
Flink:处理数据早于应用程序水印的键控流
我正在使用带有运动源和事件时间键控窗口的 F link 该应用程序将监听实时数据流 窗口 事件时间窗口 并处理每个键控流 我有另一个用例 我还需要能够支持某些关键流的旧数据的回填 这些将是事件时间 鉴于我正在使用水印 这会成为一个问题 因为
apacheflink
flinkstreaming
watermark
Flink 中的水印和触发器有什么区别?
我读到 排序运算符必须缓冲它接收到的所有元素 然后 当它接收到水印时 它可以对时间戳低于水印的所有元素进行排序 并按排序顺序发出它们 这是正确 因为水印表明不能有更多元素到达并与已排序元素混合 https cwiki apache org
Stream
Bigdata
Realtime
apacheflink
flinkstreaming
在任务管理器之间均匀分配 Flink 运算符
我正在 15 台机器的裸机集群上构建 Flink 流应用程序原型 我使用带有 90 个任务槽 15x6 的纱线模式 该应用程序从单个 Kafka 主题读取数据 Kafka主题有15个分区 所以我也将源算子的并行度设置为15 但是 我发现 F
apacheflink
flinkstreaming
«
1
2
3
4
5
6
...8
»