HDFS操作

2023-11-04

1、使用oiv命令查看hadoop 的镜像文件

[hadoop@s201 ~/hadoop/dfs/name/current]$hdfs oiv 
Usage: bin/hdfs oiv [OPTIONS] -i INPUTFILE -o OUTPUTFILE

在我的hdfs名称节点存放目录下有这个文件:

-rw-rw-r-- 1 hadoop hadoop   34929 Aug 31 17:29 fsimage_0000000000000011658

利用oiv ,将其转换为xml文件进行查看

[hadoop@s201 ~/hadoop/dfs/name/current]$hdfs  oiv  -i fsimage_0000000000000011658 -o a.xml -p XML

内容大概是如下这个样子:

<?xml version="1.0"?>
<fsimage>
  <NameSection>
    <genstampV1>1000</genstampV1>
    <genstampV2>1640</genstampV2>
    <genstampV1Limit>0</genstampV1Limit>
    <lastAllocatedBlockId>1073742464</lastAllocatedBlockId>
    <txid>11658</txid>
  </NameSection>
  <INodeSection>
    <lastInodeId>17673</lastInodeId>
    <inode>
      <id>16385</id>
      <type>DIRECTORY</type>
      <name/>
      <mtime>1535630618801</mtime>
      <permission>hadoop:supergroup:rwxr-xr-x</permission>
      <nsquota>9223372036854775807</nsquota>
      <dsquota>-1</dsquota>
    </inode>

2、同样的使用oev 来查看编辑日志文件

hdfs oev -i edits_0000000000000011733-0000000000000011750 -o b.xml -p XML

文件部分内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<EDITS>
  <EDITS_VERSION>-63</EDITS_VERSION>
  <RECORD>
    <OPCODE>OP_START_LOG_SEGMENT</OPCODE>
    <DATA>
      <TXID>11733</TXID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_CLOSE</OPCODE>
    <DATA>
      <TXID>11734</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>0</INODEID>

 

 

 

 

 

 

 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

HDFS操作 的相关文章

  • Android进步之十四:使用jackon的ObjectMapper的writeValueAsString方法可以把java对象转化成json字符串

    如何把java对象转化成json字符串并打印出来呢 这里就用到了jackon的jar包 使用writeValuesAsString的方法就可以把对角转化成json字符串 下面通过一个demo 来仔细体会下如何去转化 1 先建一个javaBe
  • 关于ARM_math数学库的使用

    关于ARM math数学库的使用 ARM math好强大的好吧 话不多说 请看截图 各种数学库看到没有 好强大的说 其实使用这些写函数 最快上手的方法就是看官方手册 话不多说 上官方链接arm math库的官网 举个栗子 一般步骤 1 首先
  • STM32 GPIO 8种输入输出

    STM32 GPIO 8种输入输出 输入 浮空输入 上拉输入 下拉输入 模拟输入 输出 开漏输出 复用开漏输出 推挽输出 复用推挽输出 总结 参考 输入 1 浮空输入 GPIO Mode IN FLOATING 2 上拉输入 GPIO Mo
  • Ubuntu:C++远程连接Mysql

    1 安装mysql sudo apt get install update sudo apt get install mysql server libmysqlclient dev 2 登录mysql并进行配置 sudo mysql u r
  • 启动其他APK的Activity方法

    启动其他APK的Activity方法 有两个app 分别叫做App1和App2 App1包含两个Activity 分别叫做App1 A和App1 B 其中App1 A是入口Activity 也就是App1 A设置intent filter
  • .NET 5.0发布,你的代码保护工具还够用吗?

    NET是程序员比较钟爱的一款编程工具 但它有一个致命的缺点 编译好的程序集很容易反编译成源代码 一旦被反编译 软件开发者的辛苦劳动将付诸东流 选择一款合格的 NET保护工具是非常重要的 如今 NET 5 0已经发布 你是如何评价的呢 无论怎
  • 【教程汇总】如何选择合适的坐标系及投影

    总结 considerations for choosing the coordinate system map purpose map extent map orientation latitude range national coor
  • QC11 premier Edition 安装注意事项

    安装环境 Windows Server 2003 SQLServer 2005 系统环境需求可查看 https h10078 www1 hp com cda hpms display main hpms content jsp zn bto
  • 深圳拟重点扶持12大数字经济产业:区块链、金融科技在列

    伴随着数字经济的高速增长 深圳市数字经济产业发展迎来政策春风 近日 深圳市工业和信息化局发布了关于公开征求 深圳市数字经济产业创新发展实施方案 征求意见稿 下称 实施方案 意见的通告 表示将努力建成全国领先 全球一流的数字经济产业创新发展引
  • OpenCV—基本数据结构与示例

    https blog csdn net iracer article details 51292349 OpenCV中强大的Mat类型大家已经比较熟悉了 这里梳理一些在工程中其他经常用到的几种基本数据类型 包括 Vec Scalar Poi
  • MSP430F5529输出PWM

    msp430f5529产生4路PWM波 改变占空比从而改变电机 直流减速电机 的速度 驱动电机必然会用到驱动模块 接下来就介绍一下驱动模块 L298N L298N驱动 若要对直流电机进行PWM调速 需设置IN1和IN2 即确定电机的转动方向
  • Java集合-List

    一 List集合概述 java util List接口继承自Collection接口 是单列集合的一个重要分支 习惯性地会将实现了List接口的对象称为List集合 在List集合中允许出现重复的元素 所有的元素是以一种线性方式进行存储的
  • ic卡校验码计算软件_CRC校验码简介及CRC16的计算方法

    点击上方 嵌入式从0到1 选择 置顶 星标公众号 干货福利 第一时间送达 什么是CRC校验 CRC即循环冗余校验码 Cyclic Redundancy Check 是数据通信领域中最常用的一种查错校验码 其特征是信息字段和校验字段的长度可以
  • 法师康的工人--计蒜客

    三个法师康的工人每天早上6点到工厂开始到三条产品生产线上组装桔子手机 第一个工人在200时刻开始 从6点开始计时 以秒作为单位 在生产线上开始生产 一直到1000时刻 第二个工人 在700时刻开始 在1100时刻结束 第三个工人从1500时
  • 在Docker上用3个Nacos1.3容器+一个MySQL5和8容器+一个Nginx容器进行集群的具体操作(Nacos集群版)

    在Docker上用Nacos1 3容器连接MySQL5 6和8 0 18容器进入持久化的具体操作 Nacos单机版 这里直接在linux中启动三个Nacos容器 文章目录 3个Nacos1 3容器 一个MySQL5 6容器 一个Nginx容
  • pytest---usefixtures简单使用

    前面介绍的fixture都是通过函数的方式进行传参的 如果遇到一个class中都需要传入一个fixture 那一个个写进函数中 太麻烦 今天安静介绍一种方法 通过class直接传入fixture usefixtures usefixture

随机推荐