程序员经验分享-hwhale

怎么停止和重新启用hadoop的DataNode

2023-11-02

停止

比如我原来有10个节点的集群. 现在我想停掉2个,但数据不能丢失,只能让它们的数据转移到其它8台上.这道过程就是decommission. 我们不能直接把那2台停掉, 要在停掉之前把数据转移出去.

首先建立一个excludes文件.它是一个文本, 里面每行就是想要停掉的主机名.这里excludes 放在 $HADOOP_HOME下
例如
CS02
CS03
CS04
CS05
CS06
CS07
CS08
CS09
CS10
这样就表明要把9台机器给停了.


然后在conf/hadoop-site.xml添加这样的属性:
  <property>                                                                                                                       
        <name>dfs.hosts.exclude</name>                                                                                             
        <value>excludes</ value>                                                                                                    
  </property>  

做完这步, 用bin/hadoop dfsadmin -refreshNodes命令更新结点以及hadoop配置

然后你可以通过 bin/hadoop dfsadmin -report 就可以查看到类似这样的信息:
Name: 192.168.0.86:50010
State          : Decommission in progress
Total raw bytes: 30452150272 (28.36 GB)
Remaining raw bytes: 17727606637(16.51 GB)
Used raw bytes: 6480990208 (6.04 GB)
% used: 21.28%
Last contact: Thu Nov 27 02:25:40 CST 2008

Name: 192.168.0.89:50010
State          : Decommissioned
Total raw bytes: 0 (0 KB)
Remaining raw bytes: 0(0 KB)
Used raw bytes: 4703211520 (4.38 GB)
% used: ∞%
Last contact: Thu Jan 01 08:00:00 CST 1970

可以看到86在停止中, 89已经停止了.
在没停止之前, mapreduce会拒绝操作. 会出异常的

 

重新启用

 

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

mapreduceampparallel

Hadoop

MapReduce

xml

怎么停止和重新启用hadoop的DataNode 的相关文章

随机推荐

  • 终于来了！耗时268天，7大模块、2983页58万字，Android开发核心知识笔记！对标阿里P7！

    版权声明 本文为博主原创文章 未经博主允许不得转载 https www jianshu com u 3348b92f77a4 前言 转眼就快到 金九银十 又是个面试求职的黄金期 近来许多网友都在求一份完整 系统的学习资料和最新的大厂面试真题

  • Objective-C中的@dynamic

    Objective C中的 dynamic 一 dynamic与 synthesize的区别 property有两个对应的词 一个是 synthesize 一个是 dynamic 如果 synthesize和 dynamic都没写 那么默认

  • 【Linux】线程池

    文章目录 1 线程池概念 2 线程池的优点 3 线程池的应用场景 4 线程池的实现 5 STL和智能指针和线程安全 5 1其他常见锁 5 2读写锁 1 线程池概念 线程池是一种线程使用模式 线程过多会带来调度开销 进而影响缓存局部性和整体性

  • Linux UDP编程流程

    文章目录 UDP编程流程 UDP协议无连接的特点 UDP协议数据报的特点 UDP编程流程 UDP 提供的是无连接 不可靠的 数据报服务 服务器端和客户端没有什么本质上的区别 编程流程如下 socket 用来创建套接字 使用 udp 协议时

  • 友盟埋点详解

    数据埋点让产品或运营等相关人员能按照具体的需求 定制性地统计较为复杂的用户数据 例如想要追踪用户的行为 观察页面相关点击数据 关键路径转化率 分析某个事件活动效果时 就需要事先进行数据埋点 关于友盟的初始化配置不是此文的重点 网上一搜一堆的

  • Pycharm配置——解释器（interpreter）

    今天打开pycharm运行一段代码 结果遇到了这个问题 以上应该是没有配置解释器的问题 那我是怎么解决这个问题的呢 1 打开文件 File 2 打开设置 Setting 3 打开新project的默认设置 4点击project Interp

  • vue3使用高德地图api，海量点，多边形围栏，热力图，轨迹线（二）

    五 MassMarks海量点标记 let mass 此处我定义了6种海量点图标 此处url我用的是项目中本地引入的图片 也可以填在线url链接 props infoList是项目后端返回的所有点的信息数组 其中每个点对象有个style字段

  • ArcGIS Pro 一打开Notebook笔记本工具软件就崩溃（停止运行）

    先说结论 如果对于ArcGIS Pro的笔记本工具 包括新建 添加 打开等一切操作 只要一点开 ArcGIS Pro就停止运行 一个可能的原因是Temp文件夹或者是其他文件的路径中有中文 可以尝试将路径修改为全英文 再次运行 其实这个问题是

  • 程序员的自我修养--链接、装载与库笔记：可执行文件的装载与进程

    可执行文件只有装载到内存以后才能被CPU执行 1 进程虚拟地址空间 程序和进程有什么区别 程序 或者狭义上讲可执行文件 是一个静态的概念 它就是一些预先编译好的指令和数据集合的一个文件 进程则是一个动态的概念 它是程序运行时的一个过程 很多

  • centos开放端口号的常用命令

    1 开放端口 firewall cmd zone public add port 5672 tcp permanent 开放5672端口 firewall cmd zone public remove port 5672 tcp perma

  • spring cloud项目升级spring boot 2.0爬过的坑

    注 升级后spring boot为2 0版本 spring cloud为Finchley M8版本 2 0官方文档地址 https docs spring io spring boot docs current reference html

  • 活动报名丨LLaMA一作：如何构建开源高效的基础语言模型（智源Live 38期）

    4月26日 星期三 下午16 00 17 30 智源LIVE 第38期 线上活动上 Meta AI研究科学家 LLaMA一作Hugo Touvron将分享 LLaMA Open and Efficient Foundation Langua

  • DOM4J对SOAP的返回信息解析

    用DOM4J的XML解析式拿不到节点的 所以网上利用DOM4J提供的VisitorSupport解决此问题 不废话 直接看代码 package com starhub util import org dom4j Document impor

  • 7个超好用的测试框架（总有一款适合你）

    昨天吃饭的时候和同事聊到测试框架 于是决定根据自己的实战工作经验总结一波好用的测试框架 本来文章里一共11个的 最后想想还是剔除掉了Maxim Cypress Gauge和ZTF Zentao Testing Framework 工具在精而

  • 【Python系列】eval 函数

    文章目录 1 基本概念 2 使用举例 3 eval 函数运用 计算器 4 不要滥用 eval 1 基本概念 eval 是 python 中功能非常强大的一个函数 将字符串当成有效的表达式来求值 并返回计算结果 所谓表达式就是 eval 这个

  • PyTorch深度学习实战（9）——学习率优化

    PyTorch深度学习实战 9 学习率优化 0 前言 1 学习率简介 2 梯度值 学习率和权重之间的相互作用 3 学习率优化实战 3 1 学习率对缩放后的数据集的影响 3 2 学习率对未缩放数据集的影响 小结 系列链接 0 前言 学习率 l

  • C++中的堆和栈

    堆栈其实是两种数据结构 堆栈都是一种数据项按序排列的数据结构 只能在一端 称为栈顶 top 对数据项进行插入和删除 要点 堆 顺序随意 栈 后进先出 Last In First Out 堆和栈的区别 一 预备知识 程序的内存分配 一个由C

  • 开源软件推介

    ag Grid 是一个企业级的 JavaScript 数据网格 ag Grid 的目的是提供可用于构建企业级应用的表格 例如报告和数据分析 业务流程和数据输入的数据表格 ag Grid 每一个功能的文档至少有一个例子来展示该功能 功能特性

  • 【工具类】double

    默认除法运算精度 private static final int DEF DIV SCALE 10 默认的保留位数 private static DecimalFormat df new DecimalFormat 0 00 提供精确的加

  • 怎么停止和重新启用hadoop的DataNode

    停止 比如我原来有10个节点的集群 现在我想停掉2个 但数据不能丢失 只能让它们的数据转移到其它8台上 这道过程就是decommission 我们不能直接把那2台停掉 要在停掉之前把数据转移出去 首先建立一个excludes文件 它是一个文

热门标签