$HADOOP_HOME 已弃用,Hadoop

2024-02-25

我尝试在单节点集群(我自己的labtop-ubuntu 12.04)上安装Hadoop。 我按照这个教程逐行检查了两次。http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/ http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

一切似乎都是正确的。我设置了所有 core-site.xml ,mapred-site.xml ,hdfs-site.xml 。

当我在 hduser su 中运行以下命令时:

hduser@maziyar-Lenovo-IdeaPad-U300s:~$ /usr/local/hadoop/usr/sbin/start-all.sh

我收到以下错误:

Warning: $HADOOP_HOME is deprecated.

starting namenode, logging to /usr/local/hadoop/usr/libexec/../logs/hadoop-hduser-namenode-maziyar-Lenovo-IdeaPad-U300s.out
cat: /usr/local/hadoop/usr/libexec/../etc/hadoop/slaves: No such file or directory
cat: /usr/local/hadoop/usr/libexec/../etc/hadoop/masters: No such file or directory
starting jobtracker, logging to /usr/local/hadoop/usr/libexec/../logs/hadoop-hduser-jobtracker-maziyar-Lenovo-IdeaPad-U300s.out
cat: /usr/local/hadoop/usr/libexec/../etc/hadoop/slaves: No such file or directory

我将导出 HADOOP_HOME_WARN_SUPPRESS="TRUE" 添加到 hadoop-env.sh 中,但仍然出现相同的错误。

在文件 /home/user/.bashrc 上,我猜我的错误来自于:

# Set Hadoop-related environment variables
export HADOOP_HOME=/usr/local/hadoop

# Set JAVA_HOME (we will also configure JAVA_HOME directly for Hadoop later on)
export JAVA_HOME=/usr/lib/jvm/jdk-7u10-linuxi586/usr/java/jdk1.7.0_10

# Some convenient aliases and functions for running Hadoop-related commands
unalias fs &> /dev/null
alias fs="hadoop fs"
unalias hls &> /dev/null
alias hls="fs -ls"

# If you have LZO compression enabled in your Hadoop cluster and
# compress job outputs with LZOP (not covered in this tutorial):
# Conveniently inspect an LZOP compressed file from the command
# line; run via:
#
# $ lzohead /hdfs/path/to/lzop/compressed/file.lzo
#
# Requires installed 'lzop' command.
#
lzohead () {
    hadoop fs -cat $1 | lzop -dc | head -1000 | less
}

# Add Hadoop bin/ directory to PATH
export PATH=$PATH:$HADOOP_HOME/usr/sbin

我将 /usr/sbin 添加为 bin 目录,因为 start-all.sh 和命令都在那里。

我还在 bashrc 文件中尝试了“HADOOP_PREFIX”而不是“HADOOP_HOME”,但仍然出现相同的错误。

我的 hadoop 目录中有这个文件夹,

maziyar@maziyar-Lenovo-IdeaPad-U300s:/usr/local/hadoop$ ls -lha
total 20K
drwxr-xr-x  5 hduser hadoop 4.0K May 30 15:25 .
drwxr-xr-x 12 root   root   4.0K May 30 15:25 ..
drwxr-xr-x  4 hduser hadoop 4.0K May 30 15:25 etc
drwxr-xr-x 12 hduser hadoop 4.0K Jun  4 21:29 usr
drwxr-xr-x  4 hduser hadoop 4.0K May 30 15:25 var

我上周下载了最新版本的apache-hadoop:hadoop-1.1.2-1.i386.rpm


我尝试设置export HADOOP_HOME_WARN_SUPPRESS="TRUE" in my conf/hadoop-env.sh文件和警告消失了。尽管如此,我仍然不确定为什么这个警告排在第一位。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

$HADOOP_HOME 已弃用,Hadoop 的相关文章

随机推荐

  • 如何在 Dropwizard 项目(Angular 7 前端)中创建并开始使用嵌入式 Apache Derby 数据库

    我正在阅读 Derby 文档并遵循所有说明 我已成功安装它 将其解压到我的 Linux 计算机并设置 DERBY HOME 路径 我有一个完整的 REST API 项目 带有 Angular 7 前端和 Dropwizard 后端 我在后端
  • 有没有办法在 numpy.hist 中返回相同长度的数组?

    我正在尝试在 python 中创建直方图 用一些自定义值对 y 轴值进行标准化 为此 我想这样做 import numpy as np import matplotlib pyplot as plt data np loadtxt foo
  • 惰性 var 属性初始化两次是否正常?

    当我使用房产时 我遇到过很奇怪的情况lazy关键词 我知道这个关键字表示属性的初始化将被推迟到实际使用变量为止 但是 它并没有像我预期的那样工作 它运行两次 class TestLazyViewController UIViewContro
  • 为什么 is 运算符在给定 null 时返回 false?

    在我看来 is运营商有点不一致 bool Test Returns false but should return true return null is string 人们期望null值属于任何引用 或可为空 类型 事实上 C 语言规范的
  • http_build_query() 点转换为下划线

    请检查以下数组 Array bunrey gt Array 0 gt 20130730181908615391000000 mt shasta gt Array 0 gt 20130708203742347410000000 1 gt 20
  • 如何使用 jQuery 检测 IE 8?

    我不仅需要检测浏览器类型 还需要使用 jQuery 检测浏览器版本 主要是我需要确定它是否是 IE 8 我不确定我是否做得正确 如果我做 if jQuery browser version gt 8 0 dosomething 我不确定它是
  • 在 python selenium webdriver 中发送密钥而不指定元素

    我有一个页面 其源代码不可用 但有一个输入框 光标在闪烁 我可以在文本框中写入一些内容而不找到该元素吗 我的意思是 发送键可以通过某种方式自动查找焦点输入框并在其中键入输入 我的代码显然不能工作 driver send keys testd
  • 使用意图上传图像

    我正在尝试为我的 Android 移动应用程序上传图像 对于从图库文件夹上传的图像 该代码运行良好 但是 如果我从 最近的图像 文档 下载 中选择任何图像 则图像路径不会被提取 无法上传图像 你能帮我解决这个问题吗 这是我的编码供您参考 p
  • 在谷歌中搜索单词并想使用java程序找到每个单词的命中

    我有30000个字典单词 我想在 Google 中搜索每个单词 并想使用 Java 程序找到每个单词的匹配项 是否可以 Look up
  • 如何在 EF Core 中放弃对上下文的更改

    我有一个巨大的 json 格式的 扁平化 对象列表 以及一个有点复杂的关系数据库模式 大约 20 个表对应于一个扁平化对象 我正在尝试在新的关系数据库中自动插入这些扁平对象 foreach var flattenedObject in fl
  • jQuery-UI 可排序 - 更新后同步数组(模型)

    假设我有一个包含数据的数组 它可能来自 Ajax 但无需在此处执行此操作 使用该数组 我生成 UL 元素的内容 并使用 jQuery UI 使 UL 可排序 在客户端对它进行排序之后 我希望保持数组的顺序与 UL 同步 有没有一种优雅的方法
  • 如何用python画动态规划表

    What is a good way to draw a dynamic programming such as this one with the path in python 我在网上查了一下 我看到了pygame http pygam
  • 从 PHP 关联数组中弹出键和值

    假设 S 是 PHP 中的关联数组 我需要从中检索并提取第一个元素 包括值和键 我会用 value1 array pop S 但它只给了我价值 我可以用 K array keys S key1 array pop K value1 arra
  • 在graphviz中从节点到边绘制边

    是否可以在 graphviz 中从节点绘制一条边到现有边的中心 我想复制化学或生物网络中常见的这种类型的反应图 Thanks Peter 是的 您可以使用不可见节点 例如这个例子 https stackoverflow com questi
  • Amazon Elasticsearch - 并发批量请求

    当我通过一个批量请求向 ElasticSearch 添加 200 个文档时 速度非常快 但我想知道是否有机会加快这一进程并发执行 20 个并发执行 每个并发执行 10 个文档 我知道这效率不高 但也许有机会通过并发执行来加快进程 较低的并发
  • 使用 get_meta_tags() 和 get_headers() 进行异常处理?

    在 PHP 中 我正在使用get meta tags and get headers 但是 当出现 404 错误时 这两个函数会发出警告 有什么办法让我抓住它吗 谢谢 get headers不会在 404 上抛出警告 错误 但是get me
  • 使用 Maven 为 OSGi“包装”jar 的好方法

    例如 我正在查看 OPS4J 上的 PAX 工具 this one http www ops4j org projects pax construct maven pax plugin wrap jar mojo html我想我找到了一个好
  • PHP 中如何检查对象是否为空?

    如何在 PHP 中查找对象是否为空 以下是其中的代码 obj保存 XML 数据 如何检查它是否为空 My code obj simplexml load file url 您可以转换为数组 然后检查它是否为空 arr array obj i
  • 1>/dev/null 在 DOS 中相当于什么? [复制]

    这个问题在这里已经有答案了 我想抑制在 DOS 下运行的脚本的输出 类似于 nix 环境下的以下内容 command 1 gt dev null 我怎样才能做到这一点 它应该是 gt NUL在 DOS 和 Windows 控制台上
  • $HADOOP_HOME 已弃用,Hadoop

    我尝试在单节点集群 我自己的labtop ubuntu 12 04 上安装Hadoop 我按照这个教程逐行检查了两次 http www michael noll com tutorials running hadoop on ubuntu