如何将 hadoop DFS 的配置容量从默认的 50GB 增加到 100GB?
我目前的设置是在 centOS6 机器上运行 hadoop 1.2.1,使用了 120GB 或 450GB。已使用“Hadoop 权威指南第 3 版”建议的 /conf 将 hadoop 设置为伪分布式模式。
hdfs-site.xml 只有一个配置属性:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
以下行没有给出错误反馈...返回到提示符。
hadoop dfsadmin -setSpaceQuota 100g /tmp/hadoop-myUserID
如果我处于再生循环中(已执行
rm -rf /tmp/hadoop-myUserId
试图“从头开始”) setSpaceQuota 的这种看似成功的情况当且仅当我已执行
start-all.sh
hadoop namenode -format
我的 dfs 容量配置失败如下所示
hadoop dfsadmin -report
显示相同的 50GB 配置容量。
如果这是当前获得 100GB hdfs 配置容量的最佳方法,我愿意切换到 hadoop 2.2(现在是稳定版本)。
似乎 hdfs-site.xml 应该有一个配置属性,它允许我使用更多的空闲分区。
将hdfs的位置设置为具有更多可用空间的分区。
对于 hadoop-1.2.1,这可以通过设置 hadoop.tmp.dir 来完成
hadoop-1.2.1/conf/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/myUserID/hdfs</value>
<description>base location for other hdfs directories.</description>
</property>
</configuration>
Running
df
曾说过我的主分区是我的硬盘,减去 50GB 用于我的/
(_root) 分区。 hdfs的默认位置是
/tmp/hadoop-myUserId
它位于 / 分区中。这就是我最初的 50GB hdfs 大小的来源。
hdfs 目录的分区位置的创建和确认是通过以下方式完成的
mkdir ~/hdfs
df -P ~/hdfs | tail -1 | cut -d' ' -f 1
成功的实施是通过
stop-all.sh
start-dfs.sh
hadoop namenode -format
start-all.sh
hadoop dfsadmin -report
它将 hdfs 的大小报告为我的 _home 分区的大小。
谢谢 jtravaglini 的评论/线索。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)