程序员经验分享-hwhale

Kylin--简介及图解架构

2023-11-17

Kylin(麒麟)的诞生背景

  • ebay-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目
  • Hive的性能比较慢，支持SQL灵活查询，特别慢
  • HBase的性能快，原生不支持SQL，可以使用phoenix构建二级索引。
  • Kylin是将先将数据进行预处理，将预处理的结果放在HBase中。效率很高

Kylin的应用场景

  • Kylin 典型的应用场景如下：

  • 用户数据存在于Hadoop HDFS中，利用Hive将HDFS文件数据以关系数据方式存取，数据量巨大，在500G以上

  • 每天有数G甚至数十G的数据增量导入

  • 有10个以内较为固定的分析维度

  • Kylin 的核心思想是利用空间换时间，在数据 ETL 导入 OLAP 引擎时提前计算各维度的聚合结果并持久化保存

  • 使用kylin的公司
    在这里插入图片描述

为什么要使用Kylin

  • Kylin 是一个 Hadoop 生态圈下的 MOLAP 系统，是 ebay 大数据部门从2014 年开始研发的支持 TB 到 PB 级别数据量的分布式 Olap分析引擎。其特点包括:
  • 可扩展的超快的 OLAP 引擎
  • 提供 ANSI-SQL 接口
  • 交互式查询能力
  • MOLAP Cube 的概念（立方体）
  • 与 BI 工具可无缝整合

Kylin的总体架构

  • Kylin 依赖于 Hadoop、Hive、Zookeeper 和 Hbase
  • kylin数据流程图
    在这里插入图片描述
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Kylin

Kylin--简介及图解架构 的相关文章

  • electron在Windows、Linux和KYLIN操作系统下的不同表现

    一 electron简介 Electron 是一个由 Github 开发 用 HTML xff0c CSS 和 JavaScript 来构建跨平台桌面应用程序的框架 xff0c 然后这些应用程序可以打包在macOS Windows和Linu

  • Kylin接入外部Jdbc Mysql数据源

    前言 Kylin目前不仅仅支持Hive作为数据源构建cube xff0c 也可以支持使用外部jdbc作为数据源进行构建 xff0c 比如使用MySQL数据源的时候会让我们下载sqoop安装包 xff0c 本质上是使用sqoop全量同步我们要

  • ubuntu kylin下宽带拨号

    用pppoeconf这个命令 xff0c 一般来说 xff0c 里面已经安装好了的 按照提示过程处理即可 xff0c 要提供adsl用户名和密码 一般很多用户会配置成开机自动启动adsl xff0c 也可以手动 xff1a pon dsl

  • kylin ubuntu20.04使用记录

    1 配置dns vim etc systemd resolved conf 修改 DNS 61 119 29 29 29 223 5 5 5 多个DNS地址使用空格分隔 2 配置samba sudo vim etc samba smb co

  • 【信创】麒麟操作系统配置在线源及手动查找所需软件包

    获取操作系统信息 命令 nkvers 关注倒数第2行 示例中大版本 V10 小版本 SP2 CPU架构 aarch64 root localhost nkvers Kylin Linux Version Release Kylin Linu

  • ubuntu 20.04 安装 微信，QQ等客户端，一键安装，亲测成功，最新更新，优麒麟

    之前一直使用网页版微信 但是聊天记录完全无法存留 一旦断网就会退出登录 然后每次登录都要确认 很麻烦 要是有ubuntu下的微信客户端就好了 但是并不是所有的客户端都一样好用 博主安装并实测了几个ubuntu下的微信客户端 发现基于wine

  • 2023 QEMU模拟FT2000+（armv8）运行麒麟V10并安装tensorflow2

    2023 QEMU模拟FT2000 armv8 运行麒麟V10并安装tensorflow2 资源准备 麒麟V10SP1 桌面 QEMU 4 1 0以上 qeum安装kylin python tensorflow2 10 0 资源准备 麒麟V

  • 都是 HBase 上的 SQL 引擎，Kylin 和 Phoenix 有什么不同？

    大数据时代 数据的价值越来越被重视 企业从海量大数据中挖掘所需要的信息 用来驱动业务决策以获得更大的商业价值 与此同时 出现了越来越多的大数据技术帮助企业进行大数据分析 例如 Apache Hadoop Hive Spark Presto

  • Kylin 10 SP1(UI)磁盘自行配置lvm

    1 登录服务器 输入 lsblk 查看新磁盘名称 我以sdb为例 sdb1是我为其建立的分区 2 新建分区 fidsk dev sdb 先输入n 新建分区 然后输入p 建立分区 其余选项默认 最后一步输入w保存 3 格式化分区 mkfs x

  • Kylin Flink Cube 引擎的前世今生

    Apache Kylin 是一个开源的 分布式的分析型数据仓库 提供Hadoop Spark 之上的 SQL 查询接口及多维分析 OLAP 能力以支持超大规模数据 它能在亚秒内查询巨大的表 Kylin 的核心思想是 预计算 将数据按照指定的

  • Kylin问题解决

    1 libLLVM 7 so不是符号链接 root t60 ldconfig v ldconfig usr lib64 libLLVM 7 so 不是符号链接 解 root t60 ln sf usr lib64 libLLVM 7 0 0

  • CentOS Linux的最佳替代方案（三）_银河麒麟Kylin Linux Advanced Server V10 SP2 for X86安装教程

    文章目录 CentOS Linux的最佳替代方案 三 银河麒麟Kylin Linux Advanced Server V10 SP2 for X86安装教程 1 银河麒麟Kylin Linux Advanced Server V10简介 1

  • kylin随笔

    1 kylin中一个segment是hbase中的一张表 可以通过修改kylin配置来决定将hbase这张表分为几个regin 以此来提高查询的并发度 2 增量日期分区表的合并 每天一个cube构建一个segment 存入hbase一张表

  • 中间件运维分析中的选型与实践

    在近期的 Kylin Data Summit 上 好买财富平台架构总监王晔倞在互联网专场上分享了好买财富在中间件运维分析平台的演进过程 好买财富为什么选择从广泛应用的 ELK 转向 Apache Kylin 呢 王晔倞 我们在监控上 通常会

  • KyLin的网页界面使用

    1 美图 上一篇 http blog csdn net qq 21383435 article details 75198823 1 根据上一张分析的内容得知 涉及到的字段是 pro表的 字段 ID 商品名称 价格 购买数量 付款 类别ID

  • Kylin 最佳实践｜爱奇艺如何处理千亿级数据

    1 使用 Kylin 的缘由 爱奇艺 OLAP 服务演变 爱奇艺大数据 OLAP 服务演变的过程可以用如下架构图说明 数据处理流程分为如下几个层级 最下方是采集平台 收集业务的埋点和日志 数据按时效性分为两种类型 离线类型的灌入到 HDFS

  • 01_配置yum源-银河麒麟V10（Kylin Linux Advanced Server V10 (Tercel)）操作系统

    本文章收录于 国产银河服务器安装文档集 将详细的讲解 国产银河服务器操作系统各种软件的部署与说明 目录 配置yum源的两种方式 一 配置外网 yum 源 1 查看yum源 2 备份yum源 3 配置外网yum源 4 查看yum源 5 使yu

  • Kylin 大数据下的OLAP解决方案和行业典型应用

    最近工作中应用到了 Kylin 因此调研了 Kylin的原理和行业应用 本文参考了官网和众多其他公司中 Kylin的应用案例 文末给出了出处 希望对大家有帮助 Apache Kylin的原理和技术架构 Apache Kylin 从数据仓库中

  • 经典SQL面试题讲解(11-20)

    本文转自公众号俊红的数据分析之路 本篇节选自书籍 对比Excel 轻松学习SQL数据分析 一书 主要讲解数据分析面试中常见的30道SQL面试题 1 10题见 几道经典SQL面试题讲解 11 行列互换 现在我们有下面这么一个表row col

  • 12_Linux ARM架构_安装JDK8-银河麒麟V10（Kylin Linux Advanced Server V10 ）操作系统

    12 Linux ARM架构 安装JDK8 银河麒麟V10 Kylin Linux Advanced Server V10 操作系统 1 官网下载aarch64架构jdk包 2 linux服务器中创建java文件夹 方便后期快速寻找 3 将

随机推荐

  • 解决多个Tabs频繁切换造成数据错乱问题的方案

    一 利用axios的cancelToken import post from util ajax import axios from axios const CancelToken axios CancelToken post let ca

  • BUUCTF:[GXYCTF2019]BabyUpload1

    文件上传漏洞 不过这里我要吐槽一下 这个题首先他不允许传 png文件 再者 jpg文件不能大 打了也报错 传不上去 可想而知 我当时在做这个题的时候跟见了鬼一样难受 什么文件都传不了 接着做题吧 试着传一个PHP文件 告诉我不能传ph开头的

  • 全新中国交通标志检测数据集2021—CCTSDB 2021: A More Comprehensive Traffic SignDetection Benchmark（全新分类-多算法测评）

    CCTSDB 2021 重磅发布 全新数据集 全新分类 多种算法测评 欢迎大家使用 数据集发布网址 GitHub csust7zhangjm CCTSDB2021 论文原文 HCIS All Issue Human Centric Comp

  • 创建Access数据的ODBC数据源时没有Access数据源驱动器

    在作数据库实例的时候 实例2需要创建Access数据库的ODBC数据源 我的管理工具 ODBC数据源管理器里面只有SQL Server 没有Access等其他 当时我以为是装的时候少装了什么 于是就放下了 没有做这个实例 直接做下边的了 想

  • vue+spring boot+websocket模拟服务端实时向前端推送数据

    一 后端 1 安装websocket依赖

  • Qt类总结（一）QTextEdit

    1 QTextEdit简介 Header include lt QTextEdit gt qmake QT widgets Inherits QAbstractScrollArea Inherited By QTextBrowser QTe

  • UML时序图的画法

    现在是二月 而且到如今你或许已经读到 或听到人们谈论UML 2 0 包括若干进步的 UML 的新规范 所做的变化 考虑到新规范的重要性 我们也正在修改这个文章系列的基础 把我们的注意力从 OMG 的 UML 1 4 规范 转移到 OMG 的

  • SmartImage图片第三方控件android

    1 新建 SmartImageDemo app src main res xml network security config xml 该配置用于HTTP请求

  • 用Arduino读取MLX90393三轴霍尔传感器

    一 模块简介 Melexis MLX90393是一个三轴霍尔传感器 可以检测各个方向的磁场强度 MCU通过I2C或SPI读取X Y Z三轴磁场分量 MLX90393的数据手册已上传 https download csdn net downl

  • 【华为OD机试c++/java/python】微服务的集成测试【2023 Q1 A卷

    华为OD机试 题目列表 2023Q1 点这里 2023华为OD机试 刷题指南 点这里 题目描述 现在有n个容器服务 服务的启动可能有一定的依赖性 有些服务启动没有依赖 其次服务自身启动加载会消耗些时间 给你一个nxn 的二维矩阵 useTi

  • element的遮罩层v-loading，隐藏上面的文字和图标，添加自定义内容

    element的遮罩层v loading 隐藏上面的文字和图标 添加自定义内容 之前有个需求是想要一个遮罩层 项目组件用的是element 想用v loading 但是上面的图标和文字格式不是我想要的 效果图 思路如下 1 隐藏自带的文字和

  • go语言的iota是什么意思_Go语言学习——三分钟看透iota

    Go语言学习 三分钟看透iota 源起枚举 最近做需求时 有一个需要枚举的场景 大概有10 个枚举类型 不愿意像定义一个开关那样敷衍的写成 const SwitchOff 0 SwitchOn 1 显得不够精致 于是想到了iota 深入了解

  • 基于Keras的卷积神经网络手写数字识别

    coding utf 8 Created on Sun Aug 1 16 22 47 2021 author Yang Hongyun 构建卷积神经网络模型代码 import tensorflow as tf import keras ke

  • 使用Keras进行LSTM实战

    0 前言 在上文中进行ARIMA时序预测后 了解到强大的LSTM在处理时序预测有更为优秀的表现 因此对LSTM进行了学习 LSTM是一种时间递归神经网络 它出现的原因是为了解决RNN的一个致命的缺陷 原生的RNN会遇到一个很大的问题 叫做T

  • Redis主从集群

    Redis主从集群 1 集群结构 我们搭建的主从集群结构如图 共包含三个节点 一个主节点 两个从节点 这里我们会在同一台虚拟机中开启3个redis实例 模拟主从集群 信息如下 IP PORT 角色 192 168 150 101 7001

  • 文件上传 拿 shell

    启动docker开启镜像环境 成功在主机上访问到 根据弱密码tomcat tomcat登陆管理后台 在下面位置可以找到上传点 上传对应的war文件 先把一剑jsp马保存到zip压缩包中 再修改后缀名为war上传 可以看到上传成功 连接成功

  • 获取表单中某个元素，返回数组

    获取id为editForm的表中中所有input元素的对象 input editForm 获取每个input中name和val var ret input editForm each function var nm this attr na

  • OpenWrt后台管理启用https-OpenSSL

    OpenWrt 默认使用http 访问管理后台 这样不安全 推荐修改为 https 访问 加密数据传输 本文介绍配置步骤 1 卸载旧的ssl软件包 root OpenWrt opkg remove luci ssl px5g px5g mb

  • 深入《C++ Core Guidelines解析》：提升C++编程实践的关键指南

    目录 1 写在前面 2 推荐理由 3 内容介绍 4 作者介绍 5 赠书 or 购买 1 写在前面 C Core Guidelines是一个正在进行的开源项目 通过将广泛认可的现代C 上佳实践集中在一个地方来解决这些问题 Core Guide

  • Kylin--简介及图解架构

    Kylin简介 Kylin 麒麟 的诞生背景 Kylin的应用场景 为什么要使用Kylin Kylin的总体架构 Kylin 麒麟 的诞生背景 ebay 中国团队研发的 是第一个真正由中国人自己主导 从零开始 自主研发 并成为Apache顶

热门标签