ubuntu20.04server下安装hadoop2.8.5

2023-05-16

参考Ubuntu下Hadoop安装(全命令行版)

安装环境

项目名称版本
电脑硬件Huwei Matebook X Proi7-8550U 16G 512G
操作系统Windows 10家庭中文版
虚拟机VMware® Workstation 15 Pro15.0.0 build-10134415
运行系统ubuntu 20.04 server20.04 amd64
Java虚拟机OpenJDK1.8.0_252-8u252-b09
HadoopHadoop2.8.5

安装步骤

  1. 安装虚拟机

    安装虚拟机时使用下载的iso文件安装即可,注意网络选择NAT,这样可以简单些。

  2. 配置账户

    创建账户:

    sudo useradd -m hadoop -s /bin/bash
    

    设置密码

    sudo passwd hadoop
    

    为hadoop用户增加管理员权限

    sudo adduser hadoop sudo
    

    切换到hadoop账户

    su - hadoop
    

    更新hadoop用户的apt,方便后面的安装

    sudo apt-get update
    
  3. 安装ssh-server

    在安装ubuntu的过程中,可以选中一并安装好openssh-server,在选择密钥的选项中不用选什么认证账户,直接no即可。

    或者安装好系统后再安装openssh-server:

      sudo apt-get install openssh-server
    

    如果已安装成功,则会提示。如果手动安装openssh-server, 则可能 需要配置一下KEY。

  4. 远程登录虚拟机

    在Windows下运行cmd,登录虚拟机,我虚拟机ip为192.168.110.129:

    ssh 192.168.110.129 -l hadoop
    

    ip改为自己虚拟机的ip, -l为用户名,输入密码后登录。

    使用远程登录方便些,一是切换虚拟机始终有些不方便,二是在ubuntu虚拟机下vi/vim编辑配置文件时,会出现有些字符不显示的问题,不知道原因。注意在windows下使用powershell也会出现有时字符显示不出来的问题。

  5. 安装jdk

    运行java测试一下,如果没安装java,选择下面脚本中提示的最后一行安装java,这里是openjdk-8

    lyq@ubuntu:~/Desktop$ java -version
    
    Command 'java' not found, but can be installed with:
    
    sudo apt install default-jre              # version 2:1.11-72, or
    sudo apt install openjdk-11-jre-headless  # version 11.0.7+10-3ubuntu1
    sudo apt install openjdk-13-jre-headless  # version 13.0.3+3-1ubuntu2
    sudo apt install openjdk-14-jre-headless  # version 14.0.1+7-1ubuntu1
    sudo apt install openjdk-8-jre-headless   # version 8u252-b09-1ubuntu1
    

    安装java

    sudo apt install openjdk-8-jre-headless
    

    安装好后,切换到安装目录下,将目录改一名为java,以方便配置:

    cd /usr/lib/jvm
    sudo mv java-8-openjdk-amd64 java
    

    配置java环境变量:

    vim ~/.bashrc
    

    添加以下几行:

    # java config
    export JAVA_HOME=/usr/lib/jvm/java
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH

    让配置生效:

    source ~/.bashrc

    检查安装结果:

    hadoop@lyq:~$ java -version
    openjdk version "1.8.0_252"
    OpenJDK Runtime Environment (build 1.8.0_252-8u252-b09-1ubuntu1-b09)
    OpenJDK 64-Bit Server VM (build 25.252-b09, mixed mode)
  6. 安装hadoop

    下载hadoop,我这里用的是2.8.5这个版本,如果要其他版本,则更换这个数字即可:

    wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz

    解压安装到/usr/local目录下:

    sudo tar -zxvf hadoop-2.8.5.tar.gz -C /usr/local

    更换目录名为hadoop以简化配置文件,

    cd /usr/local
    sudo mv hadoop-2.8.5 hadoop

    切换用户权限

    sudo chown -R hadoop ./hadoop

    配置hadoop环境变量,还是在~/.bashrc文件中

    vim ~/.bashrc

    添加以下几行:

    # hadoop config
    export HADOOP_HOME=/usr/local/hadoop
    export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    再执行一下生效配置:

    source ~/.bashrc

    运行hadoop,检查一下:

    hadoop@lyq:~$ hadoop@lyq:~$ hadoop version
    Hadoop 2.8.5
    Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 0b8464d75227fcee2c6e7f2410377b3d53d3d5f8
    Compiled by jdu on 2018-09-10T03:32Z
    Compiled with protoc 2.5.0
    From source with checksum 9942ca5c745417c14e318835f420733
    This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-2.8.5.jar
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

ubuntu20.04server下安装hadoop2.8.5 的相关文章

  • Ubuntu20.04安装ROS Neotic修复依赖问题过程记录

    出现的问题 xff1a 下列软件包有未满足的依赖关系 xff1a ros noetic desktop full 依赖 ros noetic desktop 但是它将不会被安装 依赖 ros noetic perception 但是它将不会
  • Ubuntu20.4 休眠之后网络出现问题的解决方案

    问题简介 Ubuntu20 04 在休眠之后 xff0c 如果网络出现了无法连接或者无法共享的各种问题 xff0c 只有重启才能解决 xff0c 那么以下操作可以让你不用重启电脑 解决方案 重启 network kernel modules
  • Ubuntu20.04 配置D435i相机

    文章目录 一 安装使用 InterRealSenseD435i SDK21 注册服务器的公钥2 安装3 安装开发者和调试包4 测试SDK2 二 安装realsense ros1 创建工作空间2 源码安装3 编译 xff1a 三 安装kali
  • ubuntu20.04跑PL-VINS

    PL VINS源码 xff1a https github com cnqiangfu PL VINS 编译时报错 catkin make Ceres报错 报错信息 CMake Error at usr local lib cmake Cer
  • Ubuntu20.04 论文CCNet:语义分割的交叉注意力 复现

    Ubuntu20 04 论文CCNet 语义分割的交叉注意力 复现 一 安装显卡驱动 1 1 源代码 1 2 驱动安装 二 环境配置 2 1 Anaconda3下创建新环境 2 2 安装CUDA10 2 2 3 安装cuDNN 三 编译 3
  • 在ubuntu20.04上配置VINS_Fusion(亲测有效,一应俱全)

    最近在做科研训练的时候配置了HKUST Aerial Robotics实验室的VINS Fusion代码项目 xff0c 经历了一些编译报错的问题 xff0c 在网上查找的时候博客内容良莠不齐 xff0c 且实质针对性意见不多 xff0c
  • 【linux】ubuntu20.04 运行软件 提示找不到过时的库 libQtCore.so.4、libQtGui.so.4、libpng12.so.0

    先上结果 1 nxView运行起来 环境 硬件 xff1a Jetson Xavier NX 套件 系统 xff1a Ubuntu 20 04 软件 xff1a nxView 43 libQtCore so 4 解决 0 现象 运行软件提示
  • ros2话题的发布者和订阅者——ubuntu20.04+自定义话题接口类型

    文章目录 话题的发布者话题的订阅者自定义话题的接口类型将自定义的话题引入到程序中 话题的发布者 导入消息类型 xff0c ros自带的消息类型在std msgs msg 下面 xff0c 有string等类型定义一个类 xff0c 里面声明
  • 树莓派4B Ubuntu20.04 ROS2 DSO realsense d455

    在git上下载dso 并编译 opencv version 61 4 2 0 span class token builtin class name cd span lib dso dso span class token function
  • 【Ubuntu】Ubuntu20.04安装GPU显卡驱动

    一 安装显卡驱动 方式一 xff1a 图形界面安装 等待安装即可 方式二 xff1a 命令行安装 sudo apt get install nvidia driver 515 有些显卡只支持455 安装完成记得重启一下 xff0c 然后验证
  • 【Ubuntu】Ubuntu20.04安装NVIDIA Container Toolkit

    基于Apollo的CUDA的docker镜像需要依赖于NVIDIA Container Toolkit xff0c 运行以下命令安装NVIDIA Container ToolKit xff1a distribution 61 etc os
  • 【ORB_SLAM】Ubuntu20.04 配置ORB_SLAM3

    本文主要记录基于Ubuntu20 04环境下 xff0c 对普通的ORB SLAM3和稠密版本的ORB SLAM3进行环境的配置 一 配置ORB SLAM3 lt 普通版本 gt 1 安装ROS开发环境 这里采用鱼香ros的一键安装 xff
  • 命名空间图像和编辑日志

    摘自 Hadoop 权威指南 在主题下名称节点和数据节点其中提到 namenode 管理文件系统名称空间 它保持了 文件系统树以及所有文件和目录的元数据 那个树 该信息永久保存在本地磁盘上 两个文件的形式 命名空间图像和编辑日志 辅助名称节
  • Amazon Emr - 当我们拥有核心节点时,任务节点需要什么?

    我最近在学习Amazon EMR 据我所知 EMR集群让我们选择3个节点 Master 运行主要 Hadoop 守护进程 如 NameNode 作业跟踪器和资源管理器 运行 Datanode 和 Tasktracker 守护进程的核心 仅运
  • 在 Spark Java 中将文本文件转换为序列格式

    在 Spark Java 中 如何将文本文件转换为序列文件 以下是我的代码 SparkConf sparkConf new SparkConf setAppName txt2seq sparkConf setMaster local set
  • 如何使用用户提供的 Hadoop 正确配置 Spark 2.4

    我想使用 Spark 2 4 5 当前稳定的 Spark 版本 和 Hadoop 2 10 2 x 系列中当前稳定的 Hadoop 版本 此外 我需要访问 HDFS Hive S3 和 Kafka http spark apache org
  • 如何处理 YARN MapReduce 作业的容器故障?

    YARN 中如何处理软件 硬件故障 具体来说 如果容器发生故障 崩溃 会发生什么 容器和任务失败由节点管理器处理 当容器失败或死亡时 节点管理器会检测到失败事件并启动一个新容器来替换失败的容器并在新容器中重新启动任务执行 如果应用程序主机发
  • Hadoop安装问题:

    我跟着this http www bogotobogo com Hadoop BigData hadoop Install on ubuntu single node cluster phpHadoop 安装教程 不幸的是 当我运行全部启动
  • Hadoop:读取ORC文件并放入RDBMS中?

    我有一个以 ORC 文件格式存储的配置单元表 我想将数据导出到 Teradata 数据库 我研究了 sqoop 但找不到导出 ORC 文件的方法 有没有办法让 sqoop 为 ORC 工作 或者有什么其他工具可以用来导出数据 Thanks
  • 在映射器的单个输出上运行多个减速器

    我正在使用地图缩减实现左连接功能 左侧有大约 6 亿条记录 右侧有大约 2300 万条记录 在映射器中 我使用左连接条件中使用的列来创建键 并将键值输出从映射器传递到减速器 我遇到性能问题 因为两个表中的值数量都很高的映射器键很少 例如分别

随机推荐

  • LeetCode的语言使用

    看来以后不能再用python来写算法的题目了 用python竟然是一种取巧的办法 xff0c 以后还是用C 43 43 来写吧 python里面有很多内置的库 xff0c 这也就导致掩盖了很多复杂的算法的特性 虽然在写代码的时候很简单 xf
  • Windows10安装Ubuntu16.04

    由于最近要在Ubuntu上面开发 xff0c 得安装一个Ubuntu的系统 xff0c 这些是很常见的安装 xff0c 但是也踩了一些坑 xff0c 下面记录下来 安装环境 Windows10Ubuntu16 04 基础理论 在安装的时候有
  • python 下划线 _ __ 开头的变量 详解

    在python中 xff0c 我们经常能看到很多变量名以 下划线开头 xff0c 而且下划线的数量还不一样 xff0c 那么这些变量的作用到底是什么 xff1f 变量名分类 xff1a 以数字 字母开头 xff1a 正常的公有变量名 a 6
  • 两个画图工具助力论文绘图

    欢迎关注笔者的微信公众号 如果使用matplotlib绘制论文图片时需要做非常多的设置 xff0c 字体 xff0c 大小 xff0c 间距 xff0c 多子图配置等 xff0c 而这些操作可以封装好从而简化用户工作量 Proplot对ma
  • 对自然数e的理解,推导(基础)

    对自然数e的理解 xff0c 推导 基础 在前面的博文 古典概型事件数计算 分房 xff0c 配对 xff0c 乱序 概统1 一文中 xff0c 已经写到了对e的理解 xff0c 在n把钥匙配n把锁的 乱序配对 问题中 xff0c 当n很大
  • 检验和算法

    1 CRC xff08 循环冗余码 校验和的算法为 xff1a 所有各字节的和模256的余 即各字节二进制算术和 xff0c 不计超过256的溢出值 xff08 即只取其和 的低8位数据 xff09 xff0c 然后用0x100减去这个算数
  • 我的四轴专用PID参数整定方法及原理---超长文慎入

    给四轴调了好久的PID xff0c 总算是调好了 xff0c 现分享 PID 参数整定的心得给大家 xff0c 还请大家喷的时候手下留情 首先说明一下 xff0c 这篇文章的主旨并不是直接教你怎么调 xff0c 而是告诉你这么调有什么道理
  • px4原生源码学习-(1)

    接触px4代码有几天了 xff0c 想把自己所学所想记录下来 px4就不过多介绍了 xff0c 算得上目前使用的最广泛的开源飞控了 为什么说 px4原生代码学习呢 xff0c 这还得追溯到被大疆干死的3DR xff0c 3DR想做消费级无人
  • px4原生源码学习-(2)--实时操作系统篇

    po上我使用到的硬件和开发环境 px4硬件 xff1a 某宝销量最高的pixhawk套件 xff08 主机 xff0c gps 43 指南针 xff0c 数传 xff0c pwm转pmm xff0c 安全开关 xff0c 蜂鸣器 xff0c
  • px4原生源码学习-(3)--Nuttx实时操作系统的使用

    po上我使用到的硬件和开发环境 px4硬件 xff1a 某宝销量最高的pixhawk套件 xff08 主机 xff0c gps 43 指南针 xff0c 数传 xff0c pwm转pmm xff0c 安全开关 xff0c 蜂鸣器 xff0c
  • 为单反拍摄照片批量加入地理位置信息(POS点)和EXIF信息

    很多航测朋友对于照片中没有POS点很是懊恼 xff0c 单反同飞控是分离的 xff0c 照片由单反生成 xff0c 而POS点的数据由飞控生成 对于后期数据处理相当不利 xff0c 尤其是目前对于倾斜摄影的朋友 xff0c 地理位置信息一定
  • 解决angular中的版本问题,Metadata version mismatch for module,found version 4, expected 3

    angular版本问题解决办法 xff1b 第一步 xff1a 查出错误模块的当前安装版本 以 ng bootstrap模块为例 npm list ng bootstrap 第二步 xff1a 查出所有版本号 npm view ng boo
  • python2.7爬取京东商品评论

    大神请绕路 xff0c 新手先别急着上车 我们先来了解一下京东商品评论的地址 xff0c 他们的客户评论看似是在商品页 xff08 item jd com xff09 xff0c 但实际上是在club jd com review 这个url
  • 进入docker容器的方法

    最近想着怎么进入到容器内部 xff0c 然后把里面的配置文件拷贝出来 xff0c 下面是一些操作记录 1 进入docker容器的方法 命令 xff1a docker exec it 容器id bin sh 进入容器后相当于进入了另外一个li
  • spring bean的循环引用

    看过一次spring公开课 xff0c 记录一下bean的循环引用问题 问题 public class IndexService 64 Autowired IndexDao indexDao public class IndexDao 64
  • Excel文本格式怎么出现小三角

    左上角的小三角是文本型数字标志 xff0c 将一列数值的左上角一次性加上绿色的三角标示 就是将常规或数值型的数字改变为文本格式数字 办法 xff1a 选定该列数据 xff0c 点菜单 数据 分列 xff0c 点两次 下一步 xff0c 在
  • docker磁盘占用清理问题

    本文转自http dockone io article 3056 如何清理Docker占用的磁盘空间 编者的话 用了Docker xff0c 好处挺多的 xff0c 但是有一个不大不小的问题 xff0c 它会一不小心占用太多磁盘 xff0c
  • sql exists用法

    转自https www cnblogs com xuanhai p 5810918 html 转载于 https www cnblogs com yongan p 11362595 html
  • 深入了解QtCreator的实用功能

    重构代码 在源代码中搜索 重命名 重排代码格式是原生支持的功能 在代码中右键弹出的菜单中 xff0c 有一个Refactor菜单项 xff0c 根据当前光标位置不同的代码元素 xff0c 具有相应的重构子菜单 xff0c 可以很方便地完成很
  • ubuntu20.04server下安装hadoop2.8.5

    参考Ubuntu下Hadoop安装 xff08 全命令行版 xff09 安装环境 项目名称版本电脑硬件Huwei Matebook X Proi7 8550U 16G 512G操作系统Windows 10家庭中文版虚拟机VMware Wor