大数据之linux环境下jdk hadoop以及hbase，hive等配置

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

linux环境 ubun16 或者CentOS6.5

1：jdk配置

//jdk包解压并复制到指定路径

tar -zxf ~/Downloads/jdk-8u121-linux-x64.tar.gz -C /usr/local/hadoop

//在/etc/profile配置环境变量

export JAVA_HOME=/usr/local/hadoop/jdk1.8.0_121
export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAH​OME/bin:PATH
export CLASSPATH=.: J A V A H O M E / l i b / d t . j a r : JAVA_HOME/lib/dt.jar: JAVAH​OME/lib/dt.jar:JAVA_HOME/lib/tools.jar

2：hadoop

//同上将hadoop包解压到指定路径

tar -zxf ~/Downloads/hadoop-2.6.0.tar.gz -C /usr/local/hadoop

//伪分布式配置需要配置两个文件

core-site.xml 和 hdfs-site.xml

/etc/hadoop/core-site.xml

gedit编辑 加入如下内容

hadoop.tmp.dir file:/usr/local/hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000

/etc/hadoop/hdfs-site.xml：

dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data

export HADOOP_HOME=/usr/local/hadoop export HADOOP_INSTALL= H A D O O P H O M E e x p o r t H A D O O P M A P R E D H O M E = HADOOP_HOME export HADOOP_MAPRED_HOME= HADOOPH​OMEexportHADOOPM​APREDH​OME=HADOOP_HOME export HADOOP_COMMON_HOME= H A D O O P H O M E e x p o r t H A D O O P H D F S H O M E = HADOOP_HOME export HADOOP_HDFS_HOME= HADOOPH​OMEexportHADOOPH​DFSH​OME=HADOOP_HOME export YARN_HOME= H A D O O P H O M E e x p o r t H A D O O P C O M M O N L I B N A T I V E D I R = HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR= HADOOPH​OMEexportHADOOPC​OMMONL​IBN​ATIVED​IR=HADOOP_HOME/lib/native export PATH= P A T H : PATH: PATH:HADOOP_HOME/sbin:$HADOOP_HOME/bin //在hadoop相关目录下执行start-all.sh,也可以在/etc/profile中配置hadoop路径，使得hadoop命令全局可用

配置完成后需要

./bin/hdfs namenode -format 格式化一下
3：hbase配置

1：同上解压并复制到相关目录

tar -zxf ~/Downloads/hbase-1.0.1.1-bin.tar.gz -C /usr/local/hadoop

2：修改配置文件

配置环境变量：
export HBASE_HOME=/home/hadoop/hbase-1.0.1.1
export PATH= P A T H : PATH: PATH:HBASE_HOME/bin
hbase-env.sh：
export JAVA_HOME=/usr/local/hadoop/jdk1.8.0_121

export HBASE_MANAGES_ZK=true//此配置信息，设置由hbase自己管理zookeeper，不需要单独的zookeeper。
hbase-site.xml:
(本地模式)

hbase.rootdir file:///home/testuser/hbase hbase.zookeeper.property.dataDir /home/testuser/zookeeper

(伪分布模式)

hbase.cluster.distributed true hbase.rootdir hdfs://localhost:9000/hbase hbase.zookeeper.property.dataDir /home/hadoop/appdata/zookeeper

//hbase启动

start-hbase.sh

使用 hbase shell 命令进入hbase（hbase是非关系型数据库，查询使用get 和scan相关过滤器）

4：hive配置

//解压文件到指定目录

tar -zxf ~/Downloads/apache-hive-1.2.1-bin.tar.gz -C /usr/local/hadoop

//配置环境变量

export HIVE_HOME=/usr/local/hadoop/hive
export PATH= P A T H : PATH: PATH:HIVE_HOME/bin
//修改配置文件

hive-site.xml（将hive-default.xml.template重命名为hive-default.xml，或者说新建一个hive-site.xml文件，它的内容如下）

<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver class name for a JDBC metastore javax.jdo.option.ConnectionUserName hive username to use against metastore database javax.jdo.option.ConnectionPassword hive password to use against metastore database

关于环境变量配置，/etc/profile和~/.bashrc 文件代表不同的指向，前者代表更广，后者更加倾向于单个用户，但是linux启动时系统首先启动的是/etc/profile 因此在配置是需要格外注意，不然会遭成系统无法启动等原因。