分布式系统详解--框架(Hadoop-单机版搭建)

2023-10-27

                    分布式系统详解--框架(Hadoop-单机版搭建)

       前面讲了这么多的理论知识,也有一些基础的小知识点,很简单的概括了一下。从这篇文章开始,就会进入到一个理论实践相结合中,这篇文章主要是讲的Hadoop,讲解它的基础认识、安装、常用命令、还有就是代码实现。让我们开始跟着小象走一遭~~

一、hadoop是什么?

        Apache Hadoop软件库是一个框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机,每台计算机都提供本地计算和存储。库本身不是依靠硬件来提供高可用性,而是设计用于检测和处理应用程序层的故障,从而在计算机集群之上提供高可用性服务,每个计算机都可能容易出现故障。

好专业的样子(点击这个连接,这是 Hadoop的官网)。

二、hadoop安装教程--单机版

2.1 下载hadoop

登录Apache Hadoop的官网。下载适合的版本,文章下载的是 2.7.5版本。当然现在已经到了3.x版本了~

2.2 解压hadoop

解压hadoop到指定目录,比如说放在 /opt 目录下面。

2.3 配置hadoop的安装环境变量

修改系统配置文件 /etc/profile文件。   操作命令 :vi  /etc/profile    添加上HADOOP_HOME

2.4 修改hadoop的配置文件

因为hadoop依赖于jdk,所以需要告诉hadoop JDK 的位置

找到hadoop的安装目录。 我自己的目录是  /opt/hadoop-2.7.5/etc/hadoop 找到一个文件是hadoop-env.sh。

2.5 测试 which hadoop或者 hadoop version

2.6 根据官网给出的测试实例,我们自己做一个简单单机版的使用测试

进行上面官网的四部操作。不过这里需要有一些注意 。

第一步中新建了一个文件夹,要记住input文件夹放在了哪一个位置。

第二步就是将在etc/hadoop/下面所有的xml文件 放在上面建立的input文件夹中。

第三步就是运行 hadoop中的jar包 运行的是input 文件夹,运行完的结果放在了output文件夹下(output文件夹不要提前建立)。

第四步就是查看output文件夹。(下面用的命令是 more output part-r-00000

注:后面数字乃是input文件夹下面的8个文件出现的次数。

三、HDFS--原理

(1)HDFS原理图

(2)HDFS读写流程

使劲看(要仔细)就行了~~

欢迎订阅公众号(JAVA和人工智能)

                                                                        获取更过免费书籍资源视频资料

                                                     

 

知识点超级链接:

 1,分布式系统详解--基础知识(概论

 2,分布式系统详解--基础知识(线程)

 3,分布式系统详解--基础知识(通信)

 4,分布式系统详解--基础知识(CAP)

 5,分布式系统详解--基础知识(安全)

 6,分布式系统详解--基础知识(并发)

 7,分布式系统详解--架构简介(微服务)

 8,分布式系统详解--Linux(权限)

 9,分布式系统详解--框架(Hadoop-单机版搭建)

10,分布式系统详解--架构(Hadoop-克隆服务器)

11,分布式系统详解--框架(Hadoop-集群搭建)

12,分布式系统详解--框架(Hadoop-Ssh免密登陆配置)

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

分布式系统详解--框架(Hadoop-单机版搭建) 的相关文章

随机推荐

  • 大学物理实验:迈克尔逊干涉仪的调整与使用

    若本文对你有帮助 记得点赞 关注我哟 大学物理专栏https blog csdn net qq 41587612 category 9323622 html
  • Java图形化界面设计之容器(JFrame)详解

    Java图形化界面设计之容器 JFrame 详解 Java图形化界面设计 容器 JFrame 程序是为了方便用户使用的 因此实现图形化界面的程序编写是所有编程语言发展的必然趋势 在命令提示符下运行的程序可以让我们了解java程序的基本知识体
  • kvm的快照功能 (二、基于libvirt的快照)

    实例二 利用libvirt使用快照 virsh snapshot create domain name 一 创建虚机快照 名字自动生成 可在开机 关机 suspend等各种状态下做 virsh snapshot create test Do
  • 【TensorFlow 入门】6、eval 函数

    eval 其实就是tf Tensor的Session run 的另外一种写法 但两者有差别 eval 将字符串string对象转化为有效的表达式参与求值运算返回计算结果 eval 也是启动计算的一种方式 基于Tensorflow的基本原理
  • 算法入门之最常用的排序:快速排序算法

    回顾前面2篇文章我们提到了桶算法和冒泡算法 虽然冒泡算法解决了桶算法的空间问题 但是如果排序的基数比较大 你会发现冒泡算法的时间复杂度O N 也是惊人的 有没有一种更好的算法既能解决空间问题又能解决时间复杂度的问题呢 答案就是我们今天要说的
  • 华为机试题:【中级】报文转换

    描述 报文转换 报文中如果出现0x7E 转义成为2个字节0x7D 0x5E 如果出现0x7D 转义成为2个字节
  • leetcode 110.平衡二叉树

    110 平衡二叉树 leetcode 110 平衡二叉树 题目描述 平衡二叉树 每个节点的左右两个子树的高度差的绝对值不超过1 该二叉树不是平衡二叉树 不是 每个节点的左右子树高度差不超过1 递归解法 每次递归结束时都是当二叉树为一个根节点
  • R绘图笔记

    前面介绍过一些图形的绘制 我们有时候进行GO富集分析 需要绘制富集结果 这里介绍怎么将GO BP GO MF GO CC绘制到同一图形中 library ggplot2 library RColorBrewer display brewer
  • 如何做好技术团队review

    一 Code Review的好处 想要做好Code Review 必须让参与的工程师充分认识到Code Review的好处 1 互相学习 彼此成就 无论是高手云集的架构师团队 还是以CURD为主的业务开发团队 大家的技术能力 经验都是有差异
  • numpy库笔记

    一 ndarray类常用的属性 我用的是jupyter编程 将就看一下 import numpy as np a np random rand 3 4 生成3行4列的随机数组 a reshape 4 3 修改a为4行3列 a reshape
  • 为什么8位数据范围是-128到127,而不是-127到128?

    很表面很浅薄的问题 简单说爱怎么规定就怎么规定 甚至 1到254都行 无非是显示时通过编码表做个转换的问题而已 不过 当初选择 补码 这种编码形式 却并不像表面看起来那么浅薄 背后的道道可多着呢 首先 8位二进制一共可以提供256个 码点
  • web前端技术笔记(七)CSS3动画、选择器和权重

    CSS3动画 圆角 效果图 html 透明 rgba 新的颜色值表示法 效果 html transition动画 html 综合练习 transform变换 transform origin 旋转中心点 三维旋转 animation动画 方
  • MDK外部Flash烧录算法文件制作

    MDK外部Flash烧录算法文件制作 硬件平台 算法制作工程配置 Flash算法驱动 修改硬件初始化代码 修改外部Flash的描述信息 完善Flash的驱动接口 屏蔽无效代码 使用Flash算法 测试验证 分散加载文件的修改 执行编译 常见
  • 深度学习------tensorflow张量创建

    1 数值类型张量 创建标量 向量 矩阵 a 1 2 python 语言方式创建标量 aa tf constant 1 2 tf方式创建标量 b tf constant 1 2 创建一个元素的向量 c tf constant
  • 贝叶斯定理

    贝叶斯定理 通常 事件A在事件B的条件下的概率 与事件B在事件A的条件下的概率是不一样的 然而 这两者是有确定的关系 贝叶斯法则就是这种关系的陈述 贝叶斯法则又被称为贝叶斯定理 贝叶斯规则 是指概率统计中的应用所观察到的现象对有关概率分布的
  • window 安装/连接 MySQL8

    前言 开发服务器崩溃两次了 感觉老不靠谱了 所以自己在本地搞一个环境 正文 1 下载 MySQL8官方下载地址 2 下载后执行安装命令 初始化 留意末尾打印的初始密码 mysqld initialize console 安装mysql服务
  • WPF简单导航框架(Window与Page互相调用)

    相当多的WPF程序都有着丰富的页面和功能 如何使程序在不同页面间转换并降低资源占用 选择适合自己的导航框架就很重要了 最近花了一点时间做了一个简单的导航框架 并在这个过程中对Window Page UserControl有了更多的认识 1
  • 同步+异步日志系统(C++实现)

    对于一个服务器而言 不论是在调试中还是在运行中 都需要通过打日志的方式来记录程序的运行情况 本文设计的日志系统实现了同步与异步两种功能 原理见下图 同步日志 日志写入函数与工作线程串行执行 由于涉及到I O操作 当单条日志比较大的时候 同步
  • AI写诗,写对联

    AI写诗 写对联 人工智能把我们觉得机器不可能做的事变成了可能 把我们的世界变得简单 以前我们要读完 唐诗三百首 之后才能作诗艰巨任务 怎么也想不到现在只要输入主题 计算机就可以刷刷的出来一堆的好诗 以后大家人人都是诗人 李白的棺材板按不住
  • 分布式系统详解--框架(Hadoop-单机版搭建)

    分布式系统详解 框架 Hadoop 单机版搭建 前面讲了这么多的理论知识 也有一些基础的小知识点 很简单的概括了一下 从这篇文章开始 就会进入到一个理论实践相结合中 这篇文章主要是讲的Hadoop 讲解它的基础认识 安装 常用命令 还有就是