Kylin4.0下载安装指南———附带详细安装过程

2023-05-16

文章目录

  • 0 结果
  • 1 下载
    • 1.1 下载kylin
    • 1.2 下载spark
    • 1.3 jdk、hadoop、hive、zookeeper安装
    • 1.4 Mysql安装
  • 2 配置Mysql数据存储
    • 2.1 配置mysql
    • 2.2 配置Zookeeper
    • 2.3 检查运行环境
  • 3 操作kylin
  • 参考

0 结果

在这里插入图片描述

在这里插入图片描述

1,前置条件:

Kylin 依赖于 Hadoop 集群处理大量的数据集。您需要准备一个配置好 HDFS,YARN,MapReduce,Hive,Zookeeper 和其他服务的 Hadoop 集群供 Kylin 运行。

Kylin 可以在 Hadoop 集群的任意节点上启动。方便起见,您可以在 master 节点上运行 Kylin。但为了更好的稳定性,我们建议您将 Kylin 部署在一个干净的 Hadoop client 节点上,该节点上 Hive,HDFS 等命令行已安装好且 client 配置(如 core-site.xml,hive-site.xml及其他)也已经合理的配置且其可以自动和其它节点同步。

运行 Kylin 的 Linux 账户要有访问 Hadoop 集群的权限,包括创建/写入 HDFS 文件夹,Hive 表的权限。

2,硬件要求:

  • 运行 Kylin 的服务器建议最低配置为 4 core CPU,16 GB 内存和 100 GB 磁盘。

3,操作系统要求:
CentOS 6.5+ 或Ubuntu 16.0.4+

4,软件要求:

  • Hadoop: cdh5.x, cdh6.x, hdp2.x, EMR5.x, EMR6.x, HDI4.x
  • Hive: 0.13 - 1.2.1+
  • Spark: 2.4.7/3.1.1
  • Mysql: 5.1.17 及以上
  • JDK: 1.8+
  • OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+

1 下载

1.1 下载kylin

wget --no-check-certificate https://dlcdn.apache.org/kylin/apache-kylin-4.0.1/apache-kylin-4.0.1-bin-spark3.tar.gz

解压

tar -zxvf apache-kylin-4.0.1-bin-spark3.tar.gz

添加环境变量(添加如下内容到/etc/profile,然后运行source /etc/profile):

#kylin
export KYLIN_HOME=/usr/local/apache-kylin-4.0.1-bin-spark3
export PATH=$KYLIN_HOME/bin:$PATH

1.2 下载spark

wget --no-check-certifica https://mirrors.bfsu.edu.cn/apache/spark/spark-3.1.3/spark-3.1.3-bin-hadoop3.2.tgz

解压,并将 spark包解压后放置在 ${KYLIN_HOME} 目录下,并重命名为 spark,以避免兼容性问题:

tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz
mv spark-3.1.3-bin-hadoop3.2 $KYLIN_HOME/spark

添加环境变量:

#SPARK_HOME
export SPARK_HOME=/usr/local/apache-kylin-4.0.1-bin-spark3/spark
export PATH=$SPARK_HOME/bin:$PATH

1.3 jdk、hadoop、hive、zookeeper安装

方法网址

1.4 Mysql安装

方法网址

2 配置Mysql数据存储

2.1 配置mysql

修改原数据配置(路径:$KYLIN_HOME/conf/kylin.properties):

找到如下语句并进行修改:

#kylin.metadata.url=kylin_metadata@jdbc,url=jdbc:mysql://localhost:3306/kylin,username=XXXX,password=XXXXXX,maxActive=10,maxIdle=10

需要修改其中的 Mysql 用户名和密码,以及存储元数据的 database 和 table(如果数据库没有,需要手动创建数据库CREATE DATABASE kylin)。

kylin.metadata.url=kylin_metadata@jdbc,url=jdbc:mysql://10.20.3.82:3306/kylin,username=root,password=123456,maxActive=10,maxIdle=10

下载 MySQL JDBC 驱动 ( mysql-connector-java-<version>.jar) 并放置到 $KYLIN_HOME/ext/ 目录下,下载地址,提取码: gdp6

更多内容。

如果后面kylin启动成功后,kylin就会自动在数据库中创建相应的表格。
在这里插入图片描述

2.2 配置Zookeeper

#kylin.env.zookeeper-connect-string=sandbox.hortonworks.com

修改了为指定的端口:

kylin.env.zookeeper-connect-string=localhost:2181

mysql jdbc connector 放在$KYLIN_HOME/ext目录下(如/usr/local/apache-kylin-4.0.1-bin-spark3/ext),没有该目录时请自行创建。

2.3 检查运行环境

检查运行环境

Kylin 运行在 Hadoop 集群上,对各个组件的版本、访问权限及 CLASSPATH 等都有一定的要求,为了避免遇到各种环境问题,运行以下脚本来进行环境检测,如果没有报错信息,代表您的环境适合 Kylin 运行。

$KYLIN_HOME/bin/check-env.sh

如果直接启动,会遇到如下错误:

022-06-20 15:40:33,040 ERROR [localhost-startStop-1] context.ContextLoader:350 : Context initialization failed
org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerMapping': Invocation of init method failed; nested exception is java.lang.NoClassDefFoundError: org/apache/commons/configuration/ConfigurationException

在这里插入图片描述

解决方法:

下载commons-configuration-1.6.jar后,解压放在$KYLIN_HOME/lib/目录下,下载路径.

在这里插入图片描述

下面是网上给出的另一个解决方法(尝试后,对4.0的kylin版本并没有用处):

进入$KYLIN_HOME/bin/,编辑find-spark-dependency.sh

spark_dependency=`find -L $spark_home/jars -name '*.jar' ! -name '*slf4j*' ! -name '*jackson*' ! -name '*metastore*' ! -name '*calcite*' ! -name '*doc*' ! -name '*test*' ! -name '*sources*' ''-printf '%p:' | sed 's/:$//'`

if [ ! -d "$spark_home/jars" ]
  then
    quit "spark not found, set SPARK_HOME, or run bin/download-spark.sh"
else
     verbose "spark dependency: $spark_dependency"
     export spark_dependency
fi

3 操作kylin

启动:

$KYLIN_HOME/bin/kylin.sh start

停止:

$KYLIN_HOME/bin/kylin.sh stop

查看日志(查看最后50行):

tail -50f $KYLIN_HOME/logs/kylin.log 

Kylin 启动后您可以通过浏览器http://<hostname>:7070/kylin进行访问。其中<hostname>为具体的机器名、IP 地址或域名,默认端口为 7070。初始用户名和密码是ADMIN/KYLIN

参考

kylin官方文档

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Kylin4.0下载安装指南———附带详细安装过程 的相关文章

  • 一帧数据接收方法

    最近在做485数据通讯 xff0c 遇到一些通讯问题 xff0c 特意去查找资料 xff0c 一帧数据接收有三种方法 xff0c 现分享如下 xff1a 第一种方法 xff1a 根据帧头和帧尾进行校验 xff0c 串口发送2字节例如 xff
  • 如何使用RTKLIB进行RTK定位(一)

    今天从这个demo xff0c 教给大家如何使用RTKLIB进行RTK定位 xff0c 包括配置文件 数据等 xff1b RTKLIB源码和exe下载地址 xff1a RTKLIB An Open Source Program Packag
  • C++ “::” 作用域符 双冒号

    一 是作用域符 xff0c 是运算符中等级最高的 xff0c 它分为三种 1 global scope 全局作用域符 xff09 xff0c 用法 xff08 name 2 class scope 类作用域符 xff09 xff0c 用法
  • OpenMv测距(Apriltag)

    利用OpenMv测离Apriltag的距离 xff08 其他色块啥的算法都差不多 xff0c 主要是Apriltag精确一些 xff09 span class token comment 本次利用OpenMv单目测距Apriltag离摄像头
  • CMake Error at /usr/lib/x86_64-linux-gnu/cmake/Qt5Core/Qt5CoreConfig.cmake:27 (message)

    CMake Error at usr lib x86 64 linux gnu cmake Qt5Core Qt5CoreConfig cmake 27 message 在catkin make的时候 xff0c 如果提示 so文件报错 x
  • Deep-Sort多目标追踪算法代码解析

    Deep SORT是多目标跟踪 Multi Object Tracking 中常用到的一种算法 xff0c 是一个Detection Based Tracking的方法 这个算法工业界关注度非常高 xff0c 在知乎上有很多文章都是使用了D
  • 红黑树的查找时间复杂度O(logn)

    红黑树查找时间复杂度 如果二叉排序树是平衡的 xff0c 则n个节点的二叉排序树的高度为Log2n 43 1 其查找效率为O Log2n xff0c 近似于折半查找 如果二叉排序树完全不平衡 xff0c 则其深度可达到n xff0c 查找效
  • Ubuntu16.04环境下STM32和ROS间的串口通信

    目录 前言介绍 lt 1 gt 最终协议的样子 lt 2 gt 本方案提供的API实现的功能 原理 lt 1 gt 简要叙述 lt 2 gt 这里是如何使用共用体的 xff1f 前期准备 lt 1 gt 确保硬件连接 lt 2 gt 查看串
  • C++版本OpenCv教程(三十五 )Laplacian算子

    上述的边缘检测算子都具有方向性 xff0c 因此需要分别求取X方向的边缘和Y方向的边缘 xff0c 之后将两个方向的边缘综合得到图像的整体边缘 Laplacian算子具有各方向同性的特点 xff0c 能够对任意方向的边缘进行提取 xff0c
  • 【从零开始学深度学习编译器】五,TVM Relay以及Pass简介

    TVM Relay以及Pass简介 0x0 介绍0x2 Relay介绍0x2 1 使用Relay建立一个计算图0x2 2 Module xff1a 支持多个函数 xff08 Graphs xff09 0x2 3 Let Binding an
  • 模型量化的原理与实践 —基于YOLOv5实践目标检测的PTQ与QAT量化

    这里写自定义目录标题 一 量化基础知识 1 1 Tops是什么意思 1 2 什么是定点数 1 3 定点数转换 1 4 什么是量化 1 5 定点计算 1 5 1 定点计算 误差计算 1 5 2 定点计算 内存对比 1 5 3 定点计算 速度对
  • TensorRT INT8量化说明文档

    TensorRT developer guide intro quantization 7 Working with INT8 7 1 Introduction to Quantization 7 1 1 Quantization Work
  • YOLO-NAS讲解

    Meet YOLO NAS New YOLO Object Detection Model Beats YOLOv6 amp YOLOv8 代码链接 What is YOLO NAS What does the NAS in YOLO NA
  • Windows下jupyter notebook的安装和使用

    1 安装 xff1a xff08 1 xff09 首先打开Windows命令终端 xff1a 输入命令 xff1a pip install jupyter notebook 慢慢等待安装完成就可以了 我的是已经是安装完成了 在命令行窗口中输
  • 无人驾驶模型预测控制carSIM和MATLAB联合仿真

    本例参照龚建伟的 无人驾驶车辆模型预测控制 书中第四章节 1 carSIM软件介绍 carSIM是由美国MSC公司开发的车辆动力学仿真软件 xff0c 它可以方便灵活地定义实验环境和试验过程 xff0c 准确预测和仿真汽车的操纵稳定性 动力
  • Ubuntu之间通过有线网sftp传输文件

    两台Ubuntu设备之间有线网直连 xff0c 通过sftp传输文件 xff1a 打开有线连接 xff0c 配置ipv4 xff0c 可参考下图 xff1a 两台Ubuntu设备使用同一个网关 xff0c 但是地址ip必须不同 xff0c
  • 虚拟机VMware15中安装Ubuntu18.04步骤

    先安装虚拟机VMware15 xff1a 下载地址 xff1a Windows 10 64位下载链接 xff1a pan baidu com s 1Q9MVsEzVVoeOb99lQ1tsVQ 提取码 xff1a dggh Windows
  • 机械手基础知识(2)之机械手的正运动学和逆运动学问题

    开篇总结 xff1a 机械手运动学是机器人控制中的重要研究内容 xff0c 得知机械手各关节变量的大小 xff0c 可以计算出机械手末端的位姿 xff0c 这个过程叫做机械手的正向运动学 xff1b 获得机械手末端在笛卡尔空间中的位姿 xf

随机推荐