如何增加hdfs容量

2023-11-30

如何将 hadoop DFS 的配置容量从默认的 50GB 增加到 100GB?

我目前的设置是在 centOS6 机器上运行 hadoop 1.2.1,使用了 120GB 或 450GB。已使用“Hadoop 权威指南第 3 版”建议的 /conf 将 hadoop 设置为伪分布式模式。 hdfs-site.xml 只有一个配置属性:

   <configuration>
    <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
 </configuration>

以下行没有给出错误反馈...返回到提示符。

hadoop dfsadmin -setSpaceQuota 100g  /tmp/hadoop-myUserID

如果我处于再生循环中(已执行

 rm -rf /tmp/hadoop-myUserId  

试图“从头开始”) setSpaceQuota 的这种看似成功的情况当且仅当我已执行

  start-all.sh
  hadoop namenode -format

我的 dfs 容量配置失败如下所示

 hadoop dfsadmin -report

显示相同的 50GB 配置容量。

如果这是当前获得 100GB hdfs 配置容量的最佳方法,我愿意切换到 hadoop 2.2(现在是稳定版本)。 似乎 hdfs-site.xml 应该有一个配置属性,它允许我使用更多的空闲分区。


将hdfs的位置设置为具有更多可用空间的分区。 对于 hadoop-1.2.1,这可以通过设置 hadoop.tmp.dir 来完成 hadoop-1.2.1/conf/core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
   <property>
      <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
     </property>
   <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/myUserID/hdfs</value>
    <description>base location for other hdfs directories.</description>
   </property>
</configuration>

Running

df

曾说过我的主分区是我的硬盘,减去 50GB 用于我的/
(_root) 分区。 hdfs的默认位置是 /tmp/hadoop-myUserId 它位于 / 分区中。这就是我最初的 50GB hdfs 大小的来源。

hdfs 目录的分区位置的创建和确认是通过以下方式完成的

mkdir ~/hdfs
df -P ~/hdfs | tail -1 | cut -d' ' -f 1

成功的实施是通过

stop-all.sh
start-dfs.sh
hadoop namenode -format
start-all.sh
hadoop dfsadmin -report

它将 hdfs 的大小报告为我的 _home 分区的大小。

谢谢 jtravaglini 的评论/线索。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何增加hdfs容量 的相关文章

随机推荐

  • Maatwebsite\Excel\Sheet::mapArraybleRow()的返回值必须是数组类型,返回null

    我正在使用 Laravel 5 8 和 PHP 7 4 来开发我的项目 在这个项目中 我想从一个名为的表中创建一个 Excel 文件students 所以这就是我所做的 I typed composer require maatwebsit
  • 同时录制视频和播放视频

    我想同时播放视频 有声 并从前置摄像头录制视频 相机的取景器应在屏幕右下角显示为一个小的 画中画 而电影则在其后面全屏播放 这可能吗 是否可以将适当的类相互叠加 查看AVFoundation框架 它用于 iOS 中的大部分音频和视频编程 在
  • tf.contrib.layers.embed_sequence() 的用途是什么?

    I found tf contrib layers embed sequence 最新的功能Tensorflow示例 但它不包含在主要 API 中 我不知道为什么 任何有关其工作原理的解释将不胜感激 我可以想到两个主要原因tensorflo
  • 使用 HttpClient 从 Web API 反序列化 Json

    我有从 WebAPI 返回的以下 Json 格式 你们能帮忙反序列化吗 odata context http value RecordNumber LDxxxx RecordType Loan PropertyAddress Address
  • 通过 WCF 发送 XML 是否存在问题?

    假设您有一个 XElement 或 XmlElment 甚至是一个包含要通过 WCF 发送的 xml 的字符串 您必须采取任何特殊预防措施吗 刚刚出现的问题是 当您在 xml 消息中传输 xml 文档声明 时会发生什么 如果序列化 XmlD
  • 使用 Node.js 中的 http.get 库进行异步测试

    我正在努力尝试进行基本的 http 测试来处理誓言 我想我已经遵循了誓言中的异步示例http vowsjs org writing asynchronous tests并替换适当的电话 但我一定错过了一些东西 测试代码如下所示 var ht
  • 我可以从 iframe 页面访问 iframe 的父级元素吗

    首先两个页面在同一个域下 在父 page htm 中我只有一个元素 例如input test 然后我在父页面中设置一个iframe 称为child htm 在child html中我编写js来查找父输入元素 例如 var parent wi
  • 为什么我无法在 jQuery 中单击() 链接?

    我在 jQuery 中遇到了一个好奇心 如果我调用 click 在链接上click事件处理程序被调用 但实际上并未遵循该链接 就像在浏览器中单击它一样 a href a won t take me to Google 但在普通的 Javas
  • 编辑 QTreeWidgetItem 时捕获 ESC 按键事件

    我正在用 Qt 开发一个项目 我有一个 QTreeWidget filesTreeWidget 其中有一些文件名和一个用于创建文件的按钮 Create 按钮向 filesTreeWidget 添加一个新项目 该项目的文本为 该项目经过编辑以
  • 在预棒棒糖设备中实现材料设计的最佳方法是什么? [关闭]

    Closed 这个问题是基于意见的 目前不接受答案 我必须让我的应用程序完全采用材料设计 它也应该支持棒棒糖之前的设备 我尝试过一个支持库在这里找到 它工作得很好 但在像连锁反应这样的效果上似乎很慢 在一些文章中 我发现我们可以使用 com
  • iOS 在一段时间不活动后执行操作(无用户交互)

    如何向我的 iOS 应用添加基于用户交互 或缺乏交互 的计时器 换句话说 如果 2 分钟内没有用户交互 我想让应用程序执行某些操作 在本例中导航到初始视图控制器 如果在 1 55 有人触摸屏幕 计时器就会重置 我认为这需要是一个全局计时器
  • 由于错误 80020101,无法完成操作

    我正在运行 ExtJS 4 1 应用程序 它在 FireFox 中运行得很好 但在 Internet Explorer 8 中出现此错误 Could not complete the operation due to error 80020
  • 如何在 EJB 中设置事务隔离?

    我无法找到在 ejb 中设置 TransactionIsolation 的方法 有人能告诉我如何设置吗 我正在用坚持 我看过以下课程 EntityManager EntityManagerFactory 用户事务 他们似乎都没有像 setT
  • 在 LibGDX 中渲染透明网格

    构建打开本教程 https code google com p libgdx wiki ProjectionViewportCamera我构建了一个用于生成多边形网格的类 但我无法弄清楚如何渲染半透明 即使教程中的网格采用带有 Alpha
  • 如何使用 XMLUnit 详细差异忽略相同元素的顺序?

    我想使用 XMLUnit 比较两个 xml 文件 我希望详细差异不将不同顺序的相同标签报告为差异 例如 如果我使用这两个片段创建了DetailedDiff a b b a
  • 如何在 iOS 中通过 Xcode 集成和使用 FFmpeg 库?

    我想使用 FFMpeg 库进行视频处理活动 从 2 天开始我就致力于编译该库并将其与 Xcode 8 和 Swift 集成 我尝试了以下链接 但没有成功 谁能帮助我如何实现这一目标 FFMPEG 在 iphone ipad 项目上的集成 h
  • 如何将 ZIP 文件导入 Android Studio?

    当我尝试导入ZIP文件夹 to the 安卓工作室 我总是收到消息 无法从 导入任何东西 所有 ZIP 文件都会出现该短语 但我找不到该问题的任何解决方案 ZIP 文件来自教程 那么如何将这些文件导入到AS呢 我希望你可以帮助我 解决了 感
  • VB6 PictureBox SavePicture - 将图片保存为png?

    使用VB6 PictureBox 如何保存为png格式 你不能 VB6 PictureBox 仅支持位图 图标 图元文件 GIF 和 JPEG 图像类型 如果您想处理 PNG 文件 则需要使用其他工具 或许是Windows 图像采集自动化库
  • 线程安全/可重入 bison + flex

    与任何解释相比 我真的更喜欢一个工作示例 到目前为止 我在 Bison 文档网站上读到的内容与 Flex 所说的内容相矛盾 一说要申报yylex as int yylex yyscan t yyscanner 另一位希望它是 int yyl
  • 如何增加hdfs容量

    如何将 hadoop DFS 的配置容量从默认的 50GB 增加到 100GB 我目前的设置是在 centOS6 机器上运行 hadoop 1 2 1 使用了 120GB 或 450GB 已使用 Hadoop 权威指南第 3 版 建议的 c