程序员经验分享-hwhale

车联网项目学习笔记

2023-11-14

学习目标：

了解车联网大数据行业
了解车联网项目系统架构
理解车联网数据量计算方法
掌握json数据解析
掌握复杂json解析方法

能掌握的技能：

1 车联网领域大数据系统设计与开发
2 车联网业务类型与指标设计
3 实时数据ETL开发
4 实时数据分析
5 实现Flink结合业务主题解决方案
6 离线数据仓库设计、使用场景、技术栈
7 掌握数据服务接口开发
8 掌握数据报表和数据可视化
9 使用Flink以及关联技术栈解决车联网领域复杂业务

实时数据分析：

技术组件 说明
Flink 流批一体计算引擎
Kafka 高吞吐量的消息中间件
Hbase 海量列式存储数据库
Phoenix 为基于Hadoop的OLTP和操作分析提供低延时
Mysql 最流行的关系型数据库管理系统
Hadoop 大数据计算、存储、资源管理引擎
Hive 管理分布式存储中大型数据集
Zeppelin 数据驱动交互式数据分析
Superset 清晰美观的报表开发技术

车联网项目整体架构：

在这里插入图片描述

车联网项目整体架构

Flink+Kafka 是目前完美的分布式计算解决方案，Kafka提供了一个高吞吐量、高可靠性、持久 性高、以及多样化的消费处理模型，可以用来解决百万级别的数据中生产者和消费者之间数据传输 的问题，Flink提供分布式实时计算能力

海量数据存储

HBase：一个开源的非关系型分布式数据库，它参考了谷歌的BigTable建模，实现的编程语言为Java。
它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为 Hadoop 提供
类似于BigTable 规模的服务
Phoenix：一个开源的HBASE SQL层。它不仅可以使用标准的JDBC API替代HBASE client API创建
表，插入和查询HBASE，也支持二级索引、事物以及多种SQL层优化。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

笔记

flink

Hadoop

HDFS

kafka

车联网项目学习笔记 的相关文章

随机推荐

  • C++中的引用

    引用的概念 引用可以看作一个已定义变量的别名 引用的语法 Type name var 普通引用在声明时必须用其它的变量进行初始化 声明时必须初始化 引用的使用举例 a和b指代的都是同一段内存空间 程序输出的结果 a 5 b 5 a和b的地址

  • vue动图加载图片不能正确显示的解决方法

    vue动图加载图片不能正确显示的解决方法 解决核心 代码 运行结果 上次解决过一次 没有记录 后来发现有小伙伴问我这个问题 我今天就顺手记录一下 具体的原因我这里就不详细说 加载不出来简略的原因是vue简析地址时候把你原的地址当做了一个模块

  • jupyter notebook快捷键

    Jupyter Notebook的快捷键包括 Ctrl Enter 运行当前单元格 Shift Enter 运行当前单元格并转到下一个单元格 Alt Enter 运行当前单元格并在下面插入新单元格 Ctrl S 保存文件 Ctrl Z 撤消

  • 回调函数

    单线程的时候同步的话 很容易阻塞在那边 用户体验极差 例如 异步是可以多线程的 因为UI主线程一旦阻塞整个界面就卡死了 一旦异步 两个线程下一个可以后台处理数据 一个可以做UI显示 js是单线程的 如果所有的操作 ajax 获取文件等I O

  • mmsegmentaion环境配置cuda11.0+pytorch1.7.1

    参考 https blog csdn net CSDNxiaoh article details 125321921 官方文档 https gitcode net mirrors open mmlab 1 创建虚拟环境 conda crea

  • LVGL-tileview控件

    控件特点 以page为基础扩展的控件 增加了释放后会有动画定格效果 lv tileview set tile act tileview ext gt act id x x move ext gt act id y y move true 切

  • 区块链-Web3.0-什么是Web3.0？

    一 什么是Web 3 0 Web 3 0 也被称为 去中心化Web 或 智能Web 是互联网的下一代 它使用了分布式系统技术 区块链技术和智能合约等新型技术 旨在构建一个更加去中心化 安全 透明和智能的互联网 Web 3 0 可以带来更广泛

  • 语言模型与数据集

    1 语言模型 给定文本序列x1 xT 其目的是估计联合概率p x1 xT 其应用包括做预训练模型 生成文本 给定几个词不断使用xt p xt x1 xt 1 生成后续文本 和判断多个序列中那个更常见 2 使用计数建模 N元语法 3 读取长序

  • Redis之SortedSet

    0 字符串String 1 哈希表Hash 2 列表List 3 集合Set 例子 4 有序集合SortedSet 例子myzset 5 发布 订阅Pub Sub 6 事务Transaction 7 脚本Script 8 连接Connect

  • R中设置图形参数--函数par()详解

    R有着非常强大的绘图功能 我们可以利用简单的几行代码绘制出各种图形来 但是有时候默认的图形设置没法满足我们的需要 甚至会碰到各种各样的小问题 如坐标轴或者标题出界了 或者图例说明的大小或者位置遮挡住了图形 甚至有时候默认的颜色也不能满足我们

  • 算法竞赛个人注意事项

    浅浅记录一下自己在算法竞赛中的注意事项 数据类 注意看数大小 数学库中的函数尽量加上 1 0 转成double 防止整型溢出 int型相乘如果可能溢出 乘 1LL 数据范围大于1e6 注意用快读 浮点数输入输出 少用float scanf

  • 北大肖臻老师＜＜区块链技术＞＞笔记2

    比特币的数据结构 这里着重研究一下hash pointers 哈希指针 首先普通指针只保存地址 hash指针不仅有保存地址的功能 还有保存哈希值的功能 这里保存哈希值可以用来检测数据是否被篡改 比特币中基本的数据结构是区块链 一个个块用链表

  • 如何提高少样本学习中的参数有效性以及数据有效性

    原创作者 康德 链接 https arxiv org abs 2110 06274 Github https github com microsoft LiST 本文提出一种在少样本学习情况下对大型预训练语言模型 PLMs 进行有效微调的方

  • 台式计算机BIOS怎么查,各种台式电脑主板查看硬盘开启项的流程

    进入bios设置U盘启动方法 不同的bios会有所不同 Phoenix AwardBIOS 2010年之后的电脑 1 开机按Del键进入该BIOS设置界面 选择高级BIOS设置Advanced BIOS Features 2 高级BIOS设

  • ESP32 M5 超级问卷星：轻松收集数据

    作者 默 不知不觉疫情已持续 3 年了 最近门卫王大爷很苦恼 因为领导要求所有进入单位的人员与车辆按照防疫要求进行登记 登记的内容有来访人员的车牌号 姓名 性别 体温 联系电话 被访人及其进入单位的时间 等 大爷年纪大了 有些时候记性也不太

  • 密码学-hash加密

    以下代码分别为乘法hash sha256 md5 ripemd160的使用方法 package main import fmt crypto sha256 os io crypto md5 encoding hex golang org x

  • String的trim方法

    不能理解成只是去除两端空格 t n v f r x0085 x00a0 u2028 u2029 翻译过来分别是 水平制表符 换行符 垂直制表符 换页符 回车 后面的这几个除了问号外 其他的都是转义符形式写法 并且Trim方法执行删除的过程是

  • WebGL中图片多级处理（FrameBuffer）

    在webgl的使用过程中 我们通常会想对texture进行多级处理并对其贴在表面显示 如对较精准的边缘检测 要先后使用灰度shader 模糊shader 边缘shader来进行处理 而每次的处理对象则是上一次处理后的texture 这就要对

  • 2023.08.17sigprocmask用法解析

    实例一 配合signalfd使用 include head h include

  • 车联网项目学习笔记

    学习目标 了解车联网大数据行业 了解车联网项目系统架构 理解车联网数据量计算方法 掌握json数据解析 掌握复杂json解析方法 能掌握的技能 1 车联网领域大数据系统设计与开发 2 车联网业务类型与指标设计 3 实时数据ETL开发 4 实

热门标签