win10下安装Hadoop3.2.2

2023-05-16

因为Hadoop需要依赖java环境,因此需要先安装JDK1.8(大于1.8版本的jdk需要收费,因此很多厂家开发都是依赖与jdk1.8,hadoop当然也是啦)

1.安装JDK1.8

下载JDK1.8安装包,直接清华源:https://mirrors.tuna.tsinghua.edu.cn/AdoptOpenJDK/,可以到其他的方去下载。我给忘记了是不是从这个源下载的,这个比较容易我是找的***x86_64.exe安装的。
在这里插入图片描述
注意:安装的时候需要就最好不要安装在Programe Files下面了,因为有空格,所以最好自己创建一个没有空格的文件夹,比如ProgrameDate

安装好了之后配置环境,参考:https://blog.csdn.net/weixin_44084189/article/details/98966787/

2.安装Hadoop

我下载的是hadoop3.2.2版本,在清华源下载的:https://mirror.tuna.tsinghua.edu.cn/apache/hadoop/core/
在这里插入图片描述

2.1 解压Hadoop镜像

文件到磁盘目录下,注意:可以解压在非C盘下,存储目录不要包含中文和空格

2.2 配置HADOOP_HOME环境变量

,并在系统环境变量Path中添加Hadoop环境变量
在这里插入图片描述在这里插入图片描述
打开cmd窗口,输入hadoop version命令验证
在这里插入图片描述
备注: 若出现 Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd的报错,则是因为JAVA_HOME环境变量配置的路径含有空格的原因

2.2 Hadoop伪分布式部署配置

就一台win10所以就叫伪分布式
a. 下载windows专用二进制文件和工具类依赖库: hadoop在windows上运行需要winutils支持和hadoop.dll等文件
https://gitcode.net/mirrors/cdarlint/winutils/-/tree/master/
在github仓库中找到对应版本的二进制库hadoop.dll和winutils.exe文件,然后把文件拷贝到hadoop解压的bin目录中去
注意: hadoop.dll等文件不要与hadoop冲突,若出现依赖性错误可以将hadoop.dll放到C:\Windows\System32下一份

b. 修改etc目录下的core-site.xml文件
各个文件的意义参考:https://blog.csdn.net/qq_31151125/article/details/101785843
1)core-site.xml
主要配置

  1. 文件系统采用hdfs实现
  2. 临时数据存放的位置
  3. 缓冲区大小,实际工作中根据服务器性能动态调整
  4. 开启hdfs的垃圾桶机制,删除掉的数据可以从垃圾桶中回收,单位分钟
<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
<!-- 临时数据存放的位置 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/D:/hadoop-3.2.2/data/tmp</value>
	</property>
		<!--  缓冲区大小,实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>
		<!--  开启hdfs的垃圾桶机制,删除掉的数据可以从垃圾桶中回收,单位分钟  10080 相当与7天  60*24*7-->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

2)hdfs-site.xml
主要配置

  1. NameNode与2nn的访问地址
  2. NameNode与DataNode数据的存放路径
  3. FSImage,Edits,Checkpoint的存放位置
  4. 设置文件的副本数,一份文件保存多少份
  5. 设置文件存储的block块大小 128M

新建两个文件夹,在hadoop的安装目录下
**\data\dfs\namenode
**\data\dfs\datanode

<configuration>
   <property>
        <name>dfs.namenode.name.dir</name>
        <value>D:/hadoop-3.2.2/data/dfs/namenode</value>
   </property>
   <property>
        <name>dfs.datanode.data.dir</name>
        <value>D:/hadoop-3.2.2/data/dfs/datanode</value>
   </property>
</configuration>

3)mapred-site.xml

<configuration>
<!-- 指定我们mapreduce运行在yarn集群上面 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!-- 开启mapreduce的小任务模式,用于调优 -->
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	   </property>
</configuration>

4)yarn-sute.xml

<?xml version="1.0"?>
<configuration>
	<!-- NodeManager的通信方式 -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!-- 日志的聚合功能,方便我们查看任务执行完成之后的日志记录 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
</configuration>

2.3cmd下进行测试

hdfs namenode -format

接下来进入sbin文件,执行如下代码:

start-all.cmd

会弹出来四个窗口如下 :
在这里插入图片描述
在这里插入图片描述

3 验证配置成功

访问 http://localhost:8088 看看会不会显示出来如下:
在这里插入图片描述
访问 http://localhost:9870 看看会不会显示出来如下:
在这里插入图片描述

参考链接:
https://www.jianshu.com/p/aa8cfaa26790
https://www.freesion.com/article/47651012308/

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

win10下安装Hadoop3.2.2 的相关文章

  • win10+中标麒麟双系统安装步骤

    win7 10 中标麒麟双系统安装步骤 场景要求 联想启天M415台机出厂预装的是win10 现在要改成win7和中标麒麟7 0双系统 开机在选择系统界面要有两个系统选择 并且默认进入win7 注 先安装win7 再安装中标麒麟 一开始是用
  • 联想小新潮7000安装deepin 系统

    deepin 是国内比较好的开源linux操作系统 安装也比较方便 1 下载ISO镜像文件和深度启动盘制作工具 deepin官网下载ISO 启动盘制作工具下载 2 按照官网的指导 一步一步安装系统 官网指导安装过程 win10进入bios的
  • 2022-2-19 vmware workstation pro安装-15.0.2和15.5.7(含guest OS运行导致蓝屏解决)

    vmware workstation pro安装 1 安装 2 运行 3 导入虚拟机 ovf文件 4 导入虚拟机 vmx文件 含蓝屏问题解决 5 VMX格式转换成OVF 6 升级VM 1 安装 版本VMware workstation fu
  • win10默认浏览器里多余了一个无效选项

    到注册表里删除以下位置里的无效项 HKEY CURRENT USER SOFTWARE Clients StartMenuInternet HKEY LOCAL MACHINE SOFTWARE Clients StartMenuInter
  • VMware Workstation 与 Device/Credential Guard 不兼容 解决方案

    win10专业版官方解决方案 https kb vmware com s article 2146361 win10家庭版解决方案 win10家庭版本身是不支持Hyper V服务的 但是如果是 win10预览体验家庭版 会在 服务 中发现有
  • 如何查看win10系统的激活情况

    前言 我们经常不知道 所使用的系统是永久激活版 还是 短时间激活的 一般的 电脑属性 里面是看不到的 解决 点击 运行 输入 slmgr vbs xpr确定 会弹出激活情况 也可以看更详细的 运行 输入 slmgr vbs dlv确定 会列
  • 修改注册表解决Win10 SSD卡顿

    转自 http www pconline com cn win10 739 7395324 html 11月12日 微软发布了Win10的首个大版本更新TH2 Threshold 2 小编也在第一时间下载并安装了它 然而奇怪的是 自从装上这
  • Win10中使用Hyper-V安装Ubuntu18.04、实现ssh远程连接及Hpyer-V中Ubuntu全屏问题

    利用Windows10自带的虚拟机Hyper V安装Ubuntu18 04 并实现配置主机通过ssh连接Hpyer V中Ubuntu虚拟机 同时解决Ubuntu虚拟机在Hpyer V全屏时不能铺满屏幕的问题 首先安装Hyper V 打开Wi
  • Access violation at address 00000000. Read of address 00000000.的解决办法

    Access violation at address 00000000 Read of address 00000000 原理 解决办法 在使用spacesniffer查看C盘空间的时候报错 原理 这个问题是关于Access Violat
  • Windows10如何添加开机启动项

    在日常生活中 偶尔要求其中的软件在开机时便能自动启动 比如MySQL一般被设置为自启动项 今天将为大家介绍window10中如何添加开机启动项 操作过程 1 按下win R调出运行窗口 并输入 shell startup 即可进入开机启动文
  • WSL2 使用 docker

    一 下载docker 这篇文章发布的时候正式版的docker 仍然不支持docker wsl 因此需要下载edge 版本 下载地址 https docs docker com docker for windows edge release
  • Microsoft Store无法打开解决方法

    Microsoft Store 无法启动 网络出错问题解决 Microsoft Store 无法启动 一直在转圈 最后显示网络出错的问题 解决方法 1 通过搜索打开 gt 控制面板 2 打开 gt 网络和Internet 3 打开 gt I
  • win10 系统开启自带热点,手机无法连接(连接超时)

    win10开始自带热点 手机成功连接 颇费周折 所以在此记录一下 也给其他人一个参考 今天想在win10上安装个WIFI软件 好让手机连接 结果无意间发现win10自带了热点功能 于是赶紧打开 手机的WIFI列表也显示出来了 本以为就这样愉
  • WIN10局域网共享方法

    1 控制面板 网络和 Internet 网络和共享中心 高级共享设置 打开启动网络发现 启动文件共享和打印机共享 2 win r运行gpedit msc 打开本地组策略编辑器 找到 计算机配置 管理模板 网络 Lanman工作站 启动不安全
  • 关闭WIN10的wsappx进程服务

    关闭原因 打开电脑登录系统后 发现wsappx进程服务占用CPU极高 并且一直没有降低 如下图所示 解决办法 将以下注册表的值由3修改为4重启系统即可 计算机 HKEY LOCAL MACHINE SYSTEM CurrentControl
  • win10 的图标丢失了怎么办?

    情况说明 几分钟前 自己手贱 居然一不小心把那D盘的分区表给删了 虽然说是借助DiskGenius即使找了回来 但是一个尴尬的情况出现了 原来装在D盘的程序虽然可以用 但是图标却没了 这对于有强迫症的我来说 让我浑身不舒服 解决方案 首先
  • WIN10 修改用户下文件夹的名称

    转载note 我是为了解决正当防卫3不能存档 我的用户名当初设置的数字 转载的原因是 走了很多百度知道和经验的弯路 如果有人看到就别走了 我因为走了弯路前弄后弄导致原先的个人数据文件还丢失 只得跳出步骤新建用户 在PE下复制还有的数据 所以
  • Hadoop-3.1.2:Datanode 和 Nodemanager 关闭

    我尝试在 Windows 10 上安装 Hadoop 3 1 2 但数据节点和节点管理器关闭 我尝试下载 winutils exe 和 hadoop dll 文件并将其放置在 bin 目录下 我还尝试更改文件的权限并以管理员身份运行 但它并
  • Hadoop namenode 格式化窗口 - java.lang.UnsupportedOperationException

    我在学校上数据库课 我的教授让我们使用 hadoop v3 2 1 在遵循在 Windows 上安装的 YouTube 教程时 我陷入了格式化名称节点部分 这是 cmd 中出现的内容 2020 03 15 15 38 05 819 INFO
  • 如何在 HDP 3.1 中不使用仓库连接器的情况下从 Spark 将表写入 Hive

    当尝试在 HDP 3 1 上使用 Spark 2 3 写入 Hive 表时 无需使用仓库连接器直接写入 Hive 模式 spark shell driver memory 16g master local 3 conf spark hado

随机推荐

  • os.system执行.py文件

    import os os system r 39 E start py 39 错误写法 xff0c 没声明文件类型 xff0c 默认按你系统文件原始格式打开 os system r 39 python E start py 39 正确写法
  • python图像识别 - paddleocr (小白安利款)

    前言 之前我有记载过 xff0c 关于Python的图像识别的文章 xff0c 但是识别率不高且不够灵活 xff0c 实用性不强 xff0c 所以不怎么推荐 最近发现一个新的Python写好的的轮子 paddleocr xff0c 本人也安
  • 【QtScrcpy】开源的投屏控制软件 - 安利

    前言 因为本人有在做群控项目 xff0c 有很多手机设备的开发和研究 xff0c 这里给大家介绍安利一个好用的安卓 电脑的投屏控制软件 xff0c 简洁好用 xff0c 不仅可以投屏 xff0c 还能反向批量控制 xff0c 并且它是免费的
  • 【解决】:error:Microsoft Visual C++ 14.0 is required.报错

    前言 有时候在新电脑上要安装个Python包 xff0c 会出现这个问题 xff0c 所以专门写篇文章做个记录 xff0c 方便以后好找 问题表现 xff1a 从上图中可以看到错误 error Microsoft Visual C 43 4
  • 逆向分析:还原 App protobuf 协议加密

    前言 之前有记录js逆向 安卓逆向等 xff0c 今天这里记录下一些协议逆向 xff0c 这种一般出现在websocket 协议 protobuf 协议等 xff0c 某音 xff0c B站 APP等都有用到这些协议加密 xff0c 而我们
  • 【解决】常见反爬总结之SVG映射

    前言 记得好早之前 xff0c 我做过关于外卖平台字体加密反爬的总结笔记 xff0c 今天给大家记录另外一种常见的反爬 SVG 映射 什么是SVG呢 xff1f SVG 全称为 Scalable Vector Graphics xff0c
  • Django实现用户注册登录

    学习Django中 xff1a 写一个用户注册登录系统 xff0c 开始搞事情 61 61 61 61 61 O O 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 6
  • 详谈PC端软件 - 加壳与脱壳

    加壳一般是指保护程序资源的方法 xff0c 在二进制的程序中植入一段代码 xff0c 在运行的时候优先取得程序的控制权 xff0c 属于软件加密 脱壳一般是指除掉程序的保护 用来修改程序资源 壳的概念 软件的壳分为加密壳 压缩壳 伪装壳 多
  • 机器学习专业名词中英文对照

    activation 激活值 activation function 激活函数 additive noise 加性噪声 autoencoder 自编码器 Autoencoders 自编码算法 average firing rate 平均激活
  • 个人总结 - JS逆向解析

    目前加密的方式总结有下面几点 xff1a 对称加密 xff08 加密解密密钥相同 xff09 xff1a DES DES3 AES 非对称加密 xff08 分公钥私钥 xff09 xff1a RSA 信息摘要算法 签名算法 xff1a MD
  • Hadoop的读写流程

    HDFS的读流程 1 HDFS采用的是 一次写入多次读取 的文件访问模型 一个文件经过创建 写入和关闭之后就不需要改变 这一假设简化了数据一致性问题 xff0c 并且使高吞吐量的数据访问成为可能 2 client让NameNode获取该文件
  • Python中的迭代器与可迭代对象

    可迭代对象 xff08 Iterable xff09 与迭代器 xff08 Iterator xff09 是python中的重要概念 xff0c 两者容易被弄混淆 xff0c 这里来总结一下 for循环 我们通常用for循环遍历一个可迭代对
  • 计算机串口程序配置,串口设置软件 串口调试工具如何使用

    串口调试工具 可以用来调试 串口通信程序 这时 xff1a 串口调试工具 作为一端 xff0c 串口通信程序 作为另外一端 调试时 xff0c 一端发送 xff0c 另外一端接收 多机情况下 xff0c 用串口线 连接 2台电脑就可以了 注
  • EGO-PLANNER代码阅读(地图部分)

    plan env grid map cpp 最近由于多个比较实验的原故 xff0c 把ego planner及Fast planner中TOPO REPLAN的代码都分析了一遍 EGO主要是为了看gridmap的使用 TOPO Replan
  • vueRouter 的使用及实现

    前言 我们经常会在vue项目中用到 vueRouter xff0c 通过路由实现页面的跳转 xff0c 不同的url展示相应的页面或内容 那么前端的路由究竟是如何实现的呢 xff0c 首先让我们先来了解一下路由的基本知识吧 xff01 前端
  • 对象的删除

    obj deleteLater 删除一个对象时 也会解除它与父对象之间的关系 deleteLater 并没有将对象立即销毁 而是向主消息循环发送了一个event 下一次主消息循环收到这个event之后才会销毁对象 这样做的好处是可以在这些延
  • VNC共享剪切板,打开远程复制粘贴功能

    出现原因 xff1a 本地剪切文件向服务器粘贴 xff0c 发现没有粘贴内容 xff08 服务器端执行 xff09 1 打开任务管理器 xff0c 找到rdpclip exe 结束任务 2 任务管理器面板 xff0c 文件 新建任务 输入r
  • centos7怎么永久关闭防火墙

    1 命令行界面输入命令 systemctl status firewalld service 并按下回车键 2 然后在下方可度以查看得到 active xff08 running xff09 xff0c 此时说明防火墙已经被打开了 3 在命
  • Ubuntu18.04创建用户

    1 创建用户 Step1 创建用户 sudo useradd username m Step2 设置密码 sudo passwd username 在弹出来的提示窗口中设置密码即可 Step3 切换用 su username 2 删除用户
  • win10下安装Hadoop3.2.2

    因为Hadoop需要依赖java环境 xff0c 因此需要先安装JDK1 8 xff08 大于1 8版本的jdk需要收费 xff0c 因此很多厂家开发都是依赖与jdk1 8 hadoop当然也是啦 xff09 1 安装JDK1 8 下载JD