文章目录
- 0 结果
- 1 下载
- 1.1 下载kylin
- 1.2 下载spark
- 1.3 jdk、hadoop、hive、zookeeper安装
- 1.4 Mysql安装
- 2 配置Mysql数据存储
- 2.1 配置mysql
- 2.2 配置Zookeeper
- 2.3 检查运行环境
- 3 操作kylin
- 参考
0 结果
1,前置条件:
Kylin 依赖于 Hadoop 集群处理大量的数据集。您需要准备一个配置好 HDFS,YARN,MapReduce,Hive,Zookeeper 和其他服务的 Hadoop 集群供 Kylin 运行。
Kylin 可以在 Hadoop 集群的任意节点上启动。方便起见,您可以在 master 节点上运行 Kylin。但为了更好的稳定性,我们建议您将 Kylin 部署在一个干净的 Hadoop client 节点上,该节点上 Hive,HDFS 等命令行已安装好且 client 配置(如 core-site.xml,hive-site.xml及其他)也已经合理的配置且其可以自动和其它节点同步。
运行 Kylin 的 Linux 账户要有访问 Hadoop 集群的权限,包括创建/写入 HDFS 文件夹,Hive 表的权限。
2,硬件要求:
- 运行 Kylin 的服务器建议最低配置为 4 core CPU,16 GB 内存和 100 GB 磁盘。
3,操作系统要求:
CentOS 6.5+ 或Ubuntu 16.0.4+
4,软件要求:
- Hadoop: cdh5.x, cdh6.x, hdp2.x, EMR5.x, EMR6.x, HDI4.x
- Hive: 0.13 - 1.2.1+
- Spark: 2.4.7/3.1.1
- Mysql: 5.1.17 及以上
- JDK: 1.8+
- OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+
1 下载
1.1 下载kylin
wget --no-check-certificate https://dlcdn.apache.org/kylin/apache-kylin-4.0.1/apache-kylin-4.0.1-bin-spark3.tar.gz
解压
tar -zxvf apache-kylin-4.0.1-bin-spark3.tar.gz
添加环境变量(添加如下内容到/etc/profile
,然后运行source /etc/profile
):
#kylin
export KYLIN_HOME=/usr/local/apache-kylin-4.0.1-bin-spark3
export PATH=$KYLIN_HOME/bin:$PATH
1.2 下载spark
wget --no-check-certifica https://mirrors.bfsu.edu.cn/apache/spark/spark-3.1.3/spark-3.1.3-bin-hadoop3.2.tgz
解压,并将 spark包解压后放置在 ${KYLIN_HOME}
目录下,并重命名为 spark,以避免兼容性问题:
tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz
mv spark-3.1.3-bin-hadoop3.2 $KYLIN_HOME/spark
添加环境变量:
#SPARK_HOME
export SPARK_HOME=/usr/local/apache-kylin-4.0.1-bin-spark3/spark
export PATH=$SPARK_HOME/bin:$PATH
1.3 jdk、hadoop、hive、zookeeper安装
方法网址
1.4 Mysql安装
方法网址
2 配置Mysql数据存储
2.1 配置mysql
修改原数据配置(路径:$KYLIN_HOME/conf/kylin.properties
):
找到如下语句并进行修改:
#kylin.metadata.url=kylin_metadata@jdbc,url=jdbc:mysql://localhost:3306/kylin,username=XXXX,password=XXXXXX,maxActive=10,maxIdle=10
需要修改其中的 Mysql 用户名和密码,以及存储元数据的 database 和 table(如果数据库没有,需要手动创建数据库CREATE DATABASE kylin
)。
kylin.metadata.url=kylin_metadata@jdbc,url=jdbc:mysql://10.20.3.82:3306/kylin,username=root,password=123456,maxActive=10,maxIdle=10
下载 MySQL
的 JDBC
驱动 ( mysql-connector-java-<version>.jar
) 并放置到 $KYLIN_HOME/ext/
目录下,下载地址,提取码: gdp6
更多内容。
如果后面kylin启动成功后,kylin就会自动在数据库中创建相应的表格。
2.2 配置Zookeeper
#kylin.env.zookeeper-connect-string=sandbox.hortonworks.com
修改了为指定的端口:
kylin.env.zookeeper-connect-string=localhost:2181
将 mysql jdbc connector
放在$KYLIN_HOME/ext
目录下(如/usr/local/apache-kylin-4.0.1-bin-spark3/ext
),没有该目录时请自行创建。
2.3 检查运行环境
检查运行环境
Kylin 运行在 Hadoop 集群上,对各个组件的版本、访问权限及 CLASSPATH 等都有一定的要求,为了避免遇到各种环境问题,运行以下脚本来进行环境检测,如果没有报错信息,代表您的环境适合 Kylin 运行。
$KYLIN_HOME/bin/check-env.sh
如果直接启动,会遇到如下错误:
022-06-20 15:40:33,040 ERROR [localhost-startStop-1] context.ContextLoader:350 : Context initialization failed
org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerMapping': Invocation of init method failed; nested exception is java.lang.NoClassDefFoundError: org/apache/commons/configuration/ConfigurationException
解决方法:
下载commons-configuration-1.6.jar
后,解压放在$KYLIN_HOME/lib/
目录下,下载路径.
下面是网上给出的另一个解决方法(尝试后,对4.0的kylin版本并没有用处):
进入$KYLIN_HOME/bin/
,编辑find-spark-dependency.sh
spark_dependency=`find -L $spark_home/jars -name '*.jar' ! -name '*slf4j*' ! -name '*jackson*' ! -name '*metastore*' ! -name '*calcite*' ! -name '*doc*' ! -name '*test*' ! -name '*sources*' ''-printf '%p:' | sed 's/:$//'`
if [ ! -d "$spark_home/jars" ]
then
quit "spark not found, set SPARK_HOME, or run bin/download-spark.sh"
else
verbose "spark dependency: $spark_dependency"
export spark_dependency
fi
3 操作kylin
启动:
$KYLIN_HOME/bin/kylin.sh start
停止:
$KYLIN_HOME/bin/kylin.sh stop
查看日志(查看最后50行):
tail -50f $KYLIN_HOME/logs/kylin.log
Kylin 启动后您可以通过浏览器http://<hostname>:7070/kylin
进行访问。其中<hostname>
为具体的机器名、IP 地址或域名,默认端口为 7070。初始用户名和密码是ADMIN/KYLIN
。
参考
kylin官方文档
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)