-
安装虚拟机
安装虚拟机时使用下载的iso文件安装即可,注意网络选择NAT,这样可以简单些。
-
配置账户
创建账户:
sudo useradd -m hadoop -s /bin/bash
设置密码
sudo passwd hadoop
为hadoop用户增加管理员权限
sudo adduser hadoop sudo
切换到hadoop账户
su - hadoop
更新hadoop用户的apt,方便后面的安装
sudo apt-get update
-
安装ssh-server
在安装ubuntu的过程中,可以选中一并安装好openssh-server,在选择密钥的选项中不用选什么认证账户,直接no即可。
或者安装好系统后再安装openssh-server:
sudo apt-get install openssh-server
如果已安装成功,则会提示。如果手动安装openssh-server, 则可能 需要配置一下KEY。
-
远程登录虚拟机
在Windows下运行cmd,登录虚拟机,我虚拟机ip为192.168.110.129:
ssh 192.168.110.129 -l hadoop
ip改为自己虚拟机的ip, -l为用户名,输入密码后登录。
使用远程登录方便些,一是切换虚拟机始终有些不方便,二是在ubuntu虚拟机下vi/vim编辑配置文件时,会出现有些字符不显示的问题,不知道原因。注意在windows下使用powershell也会出现有时字符显示不出来的问题。
-
安装jdk
运行java测试一下,如果没安装java,选择下面脚本中提示的最后一行安装java,这里是openjdk-8
lyq@ubuntu:~/Desktop$ java -version
Command 'java' not found, but can be installed with:
sudo apt install default-jre # version 2:1.11-72, or
sudo apt install openjdk-11-jre-headless # version 11.0.7+10-3ubuntu1
sudo apt install openjdk-13-jre-headless # version 13.0.3+3-1ubuntu2
sudo apt install openjdk-14-jre-headless # version 14.0.1+7-1ubuntu1
sudo apt install openjdk-8-jre-headless # version 8u252-b09-1ubuntu1
安装java
sudo apt install openjdk-8-jre-headless
安装好后,切换到安装目录下,将目录改一名为java,以方便配置:
cd /usr/lib/jvm
sudo mv java-8-openjdk-amd64 java
配置java环境变量:
vim ~/.bashrc
添加以下几行:
export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
让配置生效:
source ~/.bashrc
检查安装结果:
hadoop@lyq:~$ java -version
openjdk version "1.8.0_252"
OpenJDK Runtime Environment (build 1.8.0_252-8u252-b09-1ubuntu1-b09)
OpenJDK 64-Bit Server VM (build 25.252-b09, mixed mode)
-
安装hadoop
下载hadoop,我这里用的是2.8.5这个版本,如果要其他版本,则更换这个数字即可:
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
解压安装到/usr/local目录下:
sudo tar -zxvf hadoop-2.8.5.tar.gz -C /usr/local
更换目录名为hadoop以简化配置文件,
cd /usr/local
sudo mv hadoop-2.8.5 hadoop
切换用户权限
sudo chown -R hadoop ./hadoop
配置hadoop环境变量,还是在~/.bashrc文件中
vim ~/.bashrc
添加以下几行:
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
再执行一下生效配置:
source ~/.bashrc
运行hadoop,检查一下:
hadoop@lyq:~$ hadoop@lyq:~$ hadoop version
Hadoop 2.8.5
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 0b8464d75227fcee2c6e7f2410377b3d53d3d5f8
Compiled by jdu on 2018-09-10T03:32Z
Compiled with protoc 2.5.0
From source with checksum 9942ca5c745417c14e318835f420733
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-2.8.5.jar