Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
如何统计Apache Flink在给定时间窗口内处理的记录数
在flink中定义一个时间窗口后如下 val lines socket timeWindowAll Time seconds 5 如何计算该特定 5 秒窗口内的记录数 执行计数聚合的最有效方法是ReduceFunction 然而 reduc
apacheflink
flinkstreaming
如何为 Kubernetes 中的 Flink 应用程序自定义资源提供 Vault 密钥
我想为 Kubernetes 集群中运行的 Apache Flink 作业提供来自 Hashicorp Vault 的机密 这些积分将用于访问状态后端以进行检查点和保存点 例如 状态后端可以是 Minio S3 存储 有人可以提供一个工作示
Kubernetes
apacheflink
vault
管理具有大量内存使用的状态 - 从存储中查询
如果这听起来很愚蠢 请道歉 我们正在使用 flink 进行异步 IO 调用 很多时候 IO 调用会重复 相同的参数集 并且我们调用的大约 80 的 API 对相同的参数返回相同的响应 因此 我们希望避免再次拨打电话 我们认为我们可以使用状态
apacheflink
flinkstreaming
在实践中(而非理论上),小批量与实时流有什么区别?
在实践中 而非理论上 小批量与实时流有什么区别 从理论上讲 我理解迷你批次是在给定时间范围内进行批处理的东西 而实时流更像是在数据到达时执行某些操作 但我最大的问题是为什么不使用带有 epsilon 时间范围 例如一毫秒 的迷你批次或者我想
Flink KeyedCoProcessFunction 处理状态
I use KeyedCoProcessFunction使用来自另一个流的数据丰富主数据流的函数 Code class AssetDataEnrichment extends KeyedCoProcessFunction String Pa
apacheflink
flinkstreaming
Flink广播状态如何初始化?
我们正在尝试构建一个用例 其中来自流的数据通过计算公式运行 但公式本身也应该 很少 可更新 通过阅读文档 在我看来 Flink 广播状态非常适合这种情况 作为实验 我构建了一个简化版本 假设我有一个整数流 以及第二个包含这些整数的乘法因子的
apacheflink
BROADCAST
flinkstreaming
Flink:行时间属性不得位于常规联接的输入行中
使用 flink SQL API 我想将多个表连接在一起并在时间窗口内进行一些计算 我有 3 个来自 CSV 文件的表 一个来自 Kafka 在卡夫卡表中 我有一个字段timestampMs 我想将其用于我的时间窗口操作 为此 我执行了以下
Java
apacheflink
flinksql
Apache Flink 中的 Keyby 数据分布,逻辑运算符还是物理运算符?
根据 Apache Flink 文档 KeyBy 转换在逻辑上将流划分为不相交的分区 所有具有相同键的记录都被分配到同一个分区 KeyBy是100 逻辑转换吗 它不包括跨集群节点分布的物理数据分区吗 如果是这样 那么如何保证所有具有相同键的
apacheflink
distributedcomputing
flinkstreaming
datapartitioning
Apache Flink Rest-Client Jar-Upload 不起作用
我正在努力使用 Flink Rest api 可能会发现 在我们的 CI CD 工作流程中自动部署新的 Flink 作业在 flink Github 存储库中 文档仅说明 jar 上传可以通过使用来实现 jars upload 但不是如何准
apacheflink
Flink SQL 支持 Java Map 类型吗?
我正在尝试使用 Flink 的 SQL API 从地图访问密钥 它失败并出现错误 Exception in thread main org apache flink table api TableException Type is not
apacheflink
flinkstreaming
flinksql
从Redis读取数据到Flink
我一直在尝试找到一个连接器来将数据从Redis读取到Flink Flink 的文档包含用于写入 Redis 的连接器的描述 我需要在 Flink 作业中从 Redis 读取数据 在使用 Apache Flink 进行数据流传输 Fabian
Redis
apacheflink
flinkstreaming
Apache Flink:如何在摄取时间模式下获取事件的时间戳?
我想知道是否可以使用Flink的摄取时间模式来获取记录的时间戳 考虑以下 flink 代码示例 https github com apache flink blob master flink examples flink examples
Stream
apacheflink
flinkstreaming
如何在 Flink 中将 HashMap 附加到 Configuration 对象?
我想分享一个HashMap跨 Flink 中的每个节点并允许节点更新该 HashMap 到目前为止我有这个代码 object ParallelStreams val env StreamExecutionEnvironment getExe
scala
apacheflink
将 protobuf 与 flink 结合使用
我正在使用 flink 从 kafka 读取数据并将其转换为 protobuf 我面临的问题是当我运行 java 应用程序时出现以下错误 如果我修改unknownFields将变量名称更改为其他名称 它可以工作 但很难在所有 protobu
Java
apacheflink
flinkstreaming
flink 中的 Kafka 消费者
我正在使用 kafka 和 apache flink 我正在尝试使用 apache flink 中的 kafka 主题的记录 采用 avro 格式 下面是我正在尝试使用的代码片段 使用自定义反序列化器对主题中的 avro 记录进行反序列化
Java
ApacheKafka
apacheflink
org.apache.commons.compress.archivers.zip.ZipFile$1 类的 flink InputStream 未实现 InputStreamStatistics
我试图将 Excel 加载到 Flink 程序中的 POI 工作簿中 有这样的错误 引起原因 java lang IllegalArgumentException 类org apache commons compress archivers
Excel
scala
apachepoi
apacheflink
Apache Flink:Python 流 API 中的 Kafka 连接器,“无法加载用户类”
我正在尝试 Flink 的新 Python 流 API 并尝试使用以下命令运行我的脚本 flink 1 6 1 bin pyflink stream sh examples read from kafka py python 脚本相当简单
python
ApacheKafka
apacheflink
flinkstreaming
pyflink
如何使用部署在 Kubernetes 上的 Flink 运行 Beam Python 管道?
有谁知道当 Flink 在 Kubernetes 中作为 Pod 运行时如何使用 Flink 运行 Beam Python 管道 我已经成功地使用 Portable runner 和指向在 Docker 容器中运行的本地 Flink 服务器
python
Kubernetes
apacheflink
ApacheBeam
如何在 flink-kafka 中省略空值异常,任何帮助都可以
我正在尝试编写一个代码 当温度高于阈值温度 如代码中定义 时创建警报 但键控流正在产生问题 我是 flink 的新手 也是 scala 的中间人 我需要这段代码的帮助 我几乎尝试了一切 def main args Array String
json
scala
ApacheKafka
sbt
apacheflink
如果某个任务失败,是否会重新启动整个作业
我的工作有状态操作员并且还启用了检查点 Staful Operator 的其中一项任务由于某种原因失败 已重新启动并恢复检查点状态 我想问以下哪一个是重启行为 仅重新启动并恢复失败的任务 所有操作员 包含失败的任务 的任务都将重新启动并恢复
apacheflink
«
1
2
3
4
5
6
7
8
»