hdfs 的启动

2023-05-16

(1)先配置文件 

     修改 core-site.xml 如下

    

    修改 hdfs-site.xml 如下:

    <configuration>

      <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    </configuration>

dfs.replication 配置的是 HDFS存储时的备份数据(datanode的备份),因为我们刚开始测试,只有一个结点比较好,股设置为1.

 

(2) 格式化 HDFS

    Bin/hdfs namenode -format

   格式化是对 HDFS这个分布式文件系统中的 DataNode 进行分块,统计所有分块后的初始元数据的存储在namenode中。(如果服务器再次启动,也需要进行这步,否则启动可能会失败)

 

(3)启动 NameNode

    Sbin/hadoop-daemon.sh start namenode

 

(4) 启动 DataNode

    Sbin /hadoop-daemon.sh start datanode

 

(5) 启动 SecondaryNameNode

    Sbin/hadoop-daemon.sh start secondarynamenode

 

(6) 使用 jps 命令查看是否启动成功,有结果就成功了。

    

(7) 然后就可以使用 bin/hdfs dfs —help 里面的命令了,比如 -ls -mkdir 等和 linux 类似的命令。

    hdfs dfs -ls /

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

hdfs 的启动 的相关文章

  • 使用 avro-tools 连接 Avro 文件

    我正在尝试将 avro 文件合并为一个大文件 问题是concat命令不接受通配符 hadoop jar avro tools jar concat input part output bigfile avro I get 线程 main 中
  • 从udf访问hdfs文件

    我想通过 udf 调用访问文件 这是我的脚本 files LOAD docs in USING PigStorage AS id stopwords id2 file buzz FOREACH files GENERATE pigbuzz
  • 一个目录中有多少个子目录?

    如何查找HDFS中指定目录下的子目录数量 当我做hadoop fs ls mydir 我收到 Java 堆空间错误 因为目录太大 但我感兴趣的是该目录中的子目录数量 我试过 gsamaras gwta3000 hadoop fs find
  • 检查HDFS目录大小的方法?

    I know du sh在常见的 Linux 文件系统中 但是如何使用 HDFS 做到这一点呢 0 20 203 之前 并在 2 6 0 中正式弃用 hadoop fs dus directory 自从0 20 203 http hadoo
  • 在 Scala / Spark 中将文件从一个文件夹移动到 HDFS 上的另一个文件夹

    我有两个路径 一个用于文件 一个用于文件夹 我想将文件移动到 HDFS 上的该文件夹中 我怎样才能在 Scala 中做到这一点 我也在用 Spark 如果相同的代码也适用于 Windows 路径 就像在 HDFS 上读取 写入文件一样 但不
  • 将 Solr HDFS 数据复制到另一个集群

    我有一个 solr 云 v 4 10 安装 位于 Cloudera CDH 5 4 2 HDFS 之上 有 3 个 solr 实例 每个实例托管每个核心的一个分片 我正在寻找一种将 solr 数据从生产集群增量复制到开发集群的方法 有 3
  • 将 Hadoop 中的文件获取到 Web 应用程序中

    我是 Hadoop 新手 现在我正在尝试在 eclipse 中做一个应用程序 我想在其中使用 HDFS 中存在的数据 如果我们想用Java连接数据库 我们有JDBC连接 那么 我需要做什么才能直接连接HDFS呢 在 Hadoop 中 首先
  • 如何将小型 ORC 文件组合或合并为较大的 ORC 文件?

    SO 和网络上的大多数问题 答案都讨论使用 Hive 将一堆小 ORC 文件合并为一个较大的文件 但是 我的 ORC 文件是按天分隔的日志文件 我需要将它们分开 我只想每天 汇总 ORC 文件 HDFS 中的目录 我最有可能需要用 Java
  • Hadoop 块大小 vs 分割 vs 块大小

    我对 Hadoop 的概念有点困惑 有什么区别Hadoop Chunk size Split size and Block size 提前致谢 块大小和块大小是一样的 分体尺寸可能不同于块 块 size 地图缩减算法不适用于文件的物理块 它
  • HDFS 作为 cloudera 快速入门 docker 中的卷

    我对 hadoop 和 docker 都很陌生 我一直致力于扩展 cloudera quickstart docker 镜像 docker 文件 并希望从主机挂载一个目录并将其映射到 hdfs 位置 以便提高性能并将数据保存在本地 当我在任
  • 如何将 RDD 保存到 HDFS 中并稍后将其读回?

    我有一个 RDD 其元素类型为 Long String 由于某种原因 我想将整个 RDD 保存到 HDFS 中 然后在 Spark 程序中读回该 RDD 可以这样做吗 如果是这样 怎么办 有可能的 在RDD中你有saveAsObjectFi
  • HDFS 复制因子更改

    如果集群中的复制因子发生变化 例如从 5 更改为 3 并且集群重新启动 旧文件块会发生什么情况 它们是否会被视为过度复制并被删除 或者复制因子仅适用于新文件 这意味着旧文件块被复制 5 次 新文件块 重新启动后 被复制 3 次 如果集群不重
  • Namenode-HDFS 出现“连接被拒绝”错误(Hadoop 问题)

    当我们看到使用时 我的所有节点都已启动并运行jps命令 但我仍然无法连接到 hdfs 文件系统 每当我点击Browse the filesystem在 Hadoop Namenode localhost 8020 页面上 我得到的错误是Co
  • 访问 HDFS 中文件的 URI

    我已经使用 Ambari 设置了一个包含 3 个节点的集群 现在我想使用客户端应用程序访问 HDFS 中的文件 我可以在 Ambari 的数据节点下找到所有节点 URI 我需要使用什么 URI 端口来访问文件 我使用的是默认安装过程 默认端
  • 如何将位于 HDFS 上的类型安全配置文件添加到 Spark-Submit(集群模式)?

    我有一个 Spark Spark 1 5 2 应用程序 它将数据从 Kafka 流式传输到 HDFS 我的应用程序包含两个 Typesafe 配置文件来配置某些内容 例如 Kafka 主题等 现在我想在集群中使用spark submit 集
  • 如何从java通过hdfs协议访问hadoop?

    我找到了一种通过以下方式连接到hadoop的方法hftp 并且工作正常 只读 uri hftp 172 16 xxx xxx 50070 System out println uri uri Configuration conf new C
  • Spark 作业在 YARN 模式下失败

    我有一个用 Scala 编写的 Spark 程序 它从 HDFS 读取 CSV 文件 计算新列并将其保存为 parquet 文件 我正在 YARN 集群中运行该程序 但每次我尝试启动它时 执行程序都会在某个时候失败并出现此错误 您能帮我找出
  • 如何为 HDFS 递归列出子目录?

    我在 HDFS 中递归创建了一组目录 如何列出所有目录 对于普通的 UNIX 文件系统 我可以使用以下命令来做到这一点 find path type d print 但我想为 HDFS 得到类似的东西 递归列出目录内容hadoop dfs
  • 尝试将稀疏 df 保存到 hdf5 时,获取“SparseDtype”对象没有属性“itemsize”?

    我正在尝试将大型稀疏数据帧保存到 hdf5 文件 但出现归因错误 one hot pd get dummies my DF columns cat sparse True one hot to hdf content data h5 tab
  • 非 hdfs 文件系统上的 hadoop/yarn 和任务并行化

    我已经实例化了 Hadoop 2 4 1 集群 并且发现运行 MapReduce 应用程序的并行化方式会有所不同 具体取决于输入数据所在的文件系统类型 使用 HDFS MapReduce 作业将生成足够的容器 以最大限度地利用所有可用内存

随机推荐

  • Jetson Nano emmc版本系统镜像备份和烧录

    一 镜像备份 1 xff0e 将待复制的jetson设备进入恢复模式 xff0c 用数据线连接jetson设备和主机 对于原厂开发板将FC REC引脚与GND短接 xff0c 通过micro usb到usb数据线连接到电脑 在电脑的ubun
  • Ubuntu系统永久挂载硬盘、U盘等存储设备

    在日常开发工作中 xff0c 经常会遇见需要借助外接存储设备来存放一些数据的情况 xff0c 于是我们会使用如下命令来挂载 xff1a sudo mount dev sda2 mnt 这样挂载的弊端就是设备掉电之后 xff0c 之前挂载的设
  • ubuntu20.04 + kiosk + chrome打造一体机系统

    kiosk 的英文直译为凉亭 公用电话亭 报摊或者一体机的意思 目前主流的浏览器都具有kiosk模式 我们可以使用浏览器的kiosk模式加ubuntu操作系统在不增加任何软件的情况将我们的B S程序打造成一个一体机系统 1 前置条件 ubu
  • Ubuntu 增加swap交换内存

    一 创建虚拟内存 在实际开发中发现swap交换分区不够用了 xff0c 于是需要创建虚拟内存来增加交换分区的大小 在系统空闲空间位置创建swap虚拟内存专用文件夹 cd data 切到你想要创建交换分区的目录 mkdir swap 新建文件
  • 闲扯原码,补码和反码

    闲扯原码 xff0c 补码和反码 始发于 goal00001111 的专栏 xff1b 允许自由转载 xff0c 但必须注明作者和出处 人类习惯使用十进制数进行数值计算 xff0c 而计算机则采用二进制 xff0c 所以为了让计算机帮助人类
  • switch 无法启动软件,请在HOME菜单中再试一次

    本人的是11 0 1 0 18 1 xff0c 刚升级完成后所有游戏都提示 xff1a 无法启动软件 xff0c 请在HOME菜单中再试一次 xff1b 然后搜索一番之后亲测有效 1将如下资源下载到本地 xff0c 2解压后放到对应的文件夹
  • switch如何更新大气层,和进入hekate界面

    0 xff0c 使用windows xff0c 使用windows xff0c 使用windoes xff01 1 xff0c 下载hekate最新版 xff0c 下载最新版大气层固件 xff0c 替换掉SD卡对应地方的文件即可 xff0c
  • RxJava简单入门

    前言之前 span style color fe2c24 首先来认识一下接下来我们将要接触的关键单词 xff0c Observeable Observer subscrib国内基本都翻译成 xff0c 被观察者 xff0c 观察者 xff0
  • WebView加载网页出错:ERR_UNKNOWN_URL_SCHEME

    一 原因 因为webview只能识别http https这样的协议 xff0c 像一些微信 weixin 去哪儿 qunaraphone xff0c 他们自定义的协议webView是无法识别的 xff0c 因此就会出现 xff1a ERR
  • ESP32-CAM搭建Arduino及简单使用

    准备 需要一个ESP32 CAM模块 xff0c 我买的是这种 xff0c 下面带了个下载模块的 xff0c 接上USB就能用了 xff0c 很方便 xff0c 如果没有买下面那个那就得自行用USB TTL了 配置环境 有了硬件 xff0c
  • Failed resolution of: Landroidx/databinding/DataBinderMapperImpl;

    报错 xff1a Failed resolution of Landroidx databinding DataBinderMapperImpl 原因 xff1a lib工程gradle文件中加了dataBinding xff0c 且能使用
  • 谷歌浏览器调试工具使用基础版(一)

    知识采集出处 一 先来认识一下这些按钮 先来看这张图最上头的一行是一个功能菜单 xff0c 每一个菜单都有它相应的功能和使用方法 xff0c 依次从左往右来看 1 箭头按钮 xff1a 用于在页面选择一个元素来审查和查看它的相关信息 xff
  • Android studio 按ctrl+v变成insert的解决办法

    Android studio 按ctrl 43 v变成insert的解决办法 Mac版 android studio 竖线的光标突然变成了矩形 解决方法 xff1a File Settings Editor General Apperanc
  • Windows Server2012多远程桌面配置

    一 配置相关信息 1 win 43 R 输入gpedit msc 计算机配置 管理模板 windows组件 远程桌面服务 远程桌面会话主机 连接 2 将远程桌面服务限制到单独的远程桌面会话禁用 3 启用拒绝将已登录到控制台的管理员注销 不启
  • Android屏幕适配dp、px两套解决办法

    最新最全文章 2018 08 25 xff1a Android dp方式的屏幕适配 原理 后期补充完整讲解 手机dp输出是横屏还是竖屏 android阿杜的博客 CSDN博客 又是屏幕适配 xff0c 这类文章网上不是很多了吗 xff1f
  • Android项目构建变体不能切换打包debug模式和release模式

    Android项目build variants不能切换打包debug模式和release模式 xff0c 不能切换active abi类型 我的项目发现的原因 xff1a 就是项目文件夹名称 xff0c 和包名不同 xff0c 如包名写的是
  • Failure [INSTALL_PARSE_FAILED_NO_CERTIFICATES: ... has no certificates at entry AndroidManifest.xml]

    很长一段时间都用快速打包 packer ng plugin xff0c 没注意到底用Android Studio打包会有什么区别 xff0c 今天写了个demo xff0c 居然发现我输入了签名之后只有一次是安装成功的 xff0c 后边都是
  • Mac顶部菜单栏(Menubar)卡死

    升级了Mojave后 xff0c Mac pro 2015 early 顶部菜单栏经常卡死 重启菜单栏 xff08 Menubar xff09 笔者接下来分享两种常见的重启菜单栏的方法 方法一 xff1a 使用活动监视器 打开 OS X 预
  • 计算机专业术语大全(中~英文版)

    AGP Accelerated Graphics Port xff0d 图形加速接口 Access Time xff0d 存取时间 Address 地址 ANSI American National Standards Institute
  • hdfs 的启动

    xff08 1 xff09 先配置文件 修改 core site xml 如下 修改 hdfs site xml 如下 xff1a lt configuration gt lt property gt lt name gt dfs repl