Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
flink大数据处理流式计算详解
flink大数据处理 文章目录 flink大数据处理 二 WebUI可视化界面 测试用 三 Flink部署 3 1 JobManager 3 2 TaskManager 3 3 并行度的调整配置 3 4 区分 TaskSolt和parall
其他
flink
大数据
Linux
流式计算
Apache Flink Checkpoint 应用实践
Checkpoint 与 state 的关系 Checkpoint 是从 source 触发到下游所有节点完成的一次全局操作 下图可以有一个对 Checkpoint 的直观感受 红框里面可以看到一共触发了 569K 次 Checkpoint
flink
checkpoint
Apache Flink
如何在 Flink 1.9 中使用 Hive?
Flink on Hive 介绍 SQL 是大数据领域中的重要应用场景 为了完善 Flink 的生态 发掘 Flink 在批处理方面的潜力 我们决定增强 FlinkSQL 的功能 从而让用户能够通过 Flink 完成更多的任务 Hive 是
Apache Flink
hive
flink
Flink on Zeppelin-2
Flink Interpreter类型 首先介绍下Zeppelin中的Flink Interpreter类型 Zeppelin的Flink Interpreter支持Flink的所有API DataSet DataStream Table
flink
zeppelin
flink学习42:tableAPI的join、union、排序、插入操作
连接 内连接 外连接 集合操作 union 获取交集 获取差集 in 操作 排序操作 插入操作
flink
学习
大数据
flink学习44:基于行的操作分组和窗口的聚合
flink
学习
大数据
大数据—— Flink 的优化
目录 一 Flink内存优化 1 1 Flink 内存配置 二 配置进程参数 2 1 场景 2 2 操作步骤 三 解决数据倾斜 3 1 场景描述 3 2 解决方式 3 2 1 数据源的消费不均匀 调整并发度 3 2 2 数据分布不均匀 四
flink
spark
big data
flink 1.4版本flink table方式消费kafka写入hive方式踩坑
最近在搞flink 搞了一个当前比较新的版本试了一下 当时运行了很长时间 hdfs里面查询有文件 但是hive里面查询这个表为空 后面用了很多种方式 一些是说自己去刷新hive表 如下 第一种方式刷新 alter table t kafka
kafka
hive
flink
Flink消费kafka出现空指针异常
文章目录 出现场景 表现 问题 解决 tombstone Kafka中提供了一个墓碑消息 tombstone 的概念 如果一条消息的key不为null 但是其value为null 那么此消息就是墓碑消息 出现场景 双流join时 采用的是l
flink
kafka
分布式
Flink设置Source数据源使用kafka获取数据
流处理说明 有边界的流bounded stream 批数据 无边界的流unbounded stream 真正的流数据 Source 基于集合 package com pzb source import org apache flink ap
大数据
HDFS
flink
kafka
flink-connector-jdbc_2.12 简介、中文文档、中英对照文档 下载
flink connector jdbc 2 12 文档 下载链接 含jar包 源码 pom 组件名称 中文 文档 下载链接 中英对照 文档 下载链接 flink connector jdbc 2 12 1 14 3 jar flink c
Java开源组件简介
flink
大数据
数据库
JDBC
USDP使用笔记(八)Flink配置及简单测试
Flink配置Flink配置及简单测试 上一篇 https lizhiyong blog csdn net article details 123560865 将USDP2 0自带的Flink更换为Flink1 14后 还没有来得及改配置
云计算大数据
笔记
flink
JVM
Java
【源码改造】Flink-jdbc-connector源码简析+改造支持谓词下推
一 需求背景分析 flink sql在维表关联时 会有一个场景 当右表的数据量比较大且有些数据虽然符合join条件 但其实对于下游来说数据可能没用 这样就浪费了flink的计算资源 且拉低了数据处理能力 如果在join前就把维表的数据进一步
flink 实战
性能
flink
Java
Flink checkPoint和SavePoint
savepoint和checkpoint都是flink为容错提供的强大功能特性 能够自动或手动保存job的运行状态 两者区别 checkpoint 应用定时触发 用户保存状态 会过期 内部应用失败重启的时候启用 但是手动cancel时 会删
flink
大数据
big data
Flink学习27:驱逐器
import org apache flink api common eventtime SerializableTimestampAssigner WatermarkStrategy import org apache flink api
flink
学习
大数据
«
1
2
3
4
5
6
...16
»