程序员经验分享-hwhale

运行 Hadoop 示例在伪分布式模式下停止

2024-02-14

在独立模式下一切都运行良好，当进入伪分布式模式时，HDFS 运行良好，我可以将文件放入 HDFS 并浏览它。我还检查了活动节点列表中是否有一个 DataNode。

然而，当我跑步时bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'，程序就停在那里，不会产生任何错误。并从http://ereg.adobe.com:50070/dfsnodelist.jsp?whatNodes=LIVE我可以看到该 DataNode 上从未运行过任何内容。

我按照教程中的配置对这些 xml conf 文件进行操作。那么有人知道我可能还犯过哪些其他错误吗？顺便说一句，我正在 Mac OS X 上运行这些东西。


停止是指它挂起，还是只是默默地返回？对于Mapreduce问题，您应该检查JobTracker的网页（端口50030）以查看提交作业的状态。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

运行 Hadoop 示例在伪分布式模式下停止 的相关文章

  • 获取行 HBase 的特定列族中的列

    我正在编写一个应用程序 通过 JSP 显示 HBase 中特定表中的数据 我想获取一行的特定列族中的所有列 有什么办法可以做到这一点吗 public String getColumnsInColumnFamily Result r Stri

  • 如何将Hive数据表迁移到MySql？

    我想知道如何将日期从 Hive 转移到 MySQL 我看过有关如何将 Hive 数据移动到 Amazon DynamoDB 的示例 但没有看到有关如何将 Hive 数据移动到 MySQL 等 RDBMS 的示例 这是我在 DynamoDB

  • 处理 oozie 工作流程中的循环

    我有一个 oozie 用例 用于检查输入数据可用性并根据数据可用性触发 MapReduce 作业 所以我编写了一个 shell 脚本来检查输入数据 并在 oozie 中为其创建了一个 ssh 操作 输入数据检查的重试次数和重试间隔应该是可配

  • Pig 10.0 - 将元组分组并在 foreach 中合并包

    我在用着Pig 10 0 我想在 foreach 中合并包 假设我有以下内容visitors alias a b 1 2 3 4 a d 1 3 6 a e 7 z b 1 2 3 我想对第一个字段上的元组进行分组 并将包与一组语义合并以获

  • 如何跟踪hadoop中哪个数据块在哪个数据节点？

    如果复制一个数据块 会复制到哪个数据节点 是否有任何工具可以显示复制块存在的位置 如果您知道文件名 则可以通过 DFS 浏览器查找 转到您的 namenode Web 界面 说 浏览文件系统 并导航到您感兴趣的文件 在页面底部 将列出文件中

  • 无法在 Hadoop Map-Reduce 作业中加载 OpenNLP 句子模型

    我正在尝试将 OpenNLP 集成到 Hadoop 上的 Map Reduce 作业中 从一些基本的句子分割开始 在地图函数中 运行以下代码 public AnalysisFile analyze String content InputS

  • 从 HDFS 传出文件

    我想将文件从 HDFS 传输到另一台服务器的本地文件系统 该服务器不在 hadoop 集群中 而是在网络中 我本可以这样做 hadoop fs copyToLocal

  • 使用字符串数组在 Hive 表上加载 CSV 文件

    我正在尝试将 CSV 文件插入 Hive 其中一个字段是 string 数组 这是 CSV 文件 48 Snacks that Power Up Weight Loss Aidan B Prince Health Fitness Trave

  • 如何按行扩展数组值！！使用 Hive SQL

    我有一个有 4 列的表 其中一列 项目 类型是 ARRAY 其他是字符串 ID items name loc id1 item1 item2 item3 item4 item5 Mike CT id2 item3 item7 item4 i

  • Hadoop Windows 设置。运行 WordCountJob 时出错：“任何本地目录中都没有可用空间”

    我正在按照此视频教程尝试在我的计算机上设置 hadoop 如何在 Windows 10 上安装 Hadoop https www youtube com watch v zujpglKP0Nw 我已经成功设置它 从 sbin 目录执行 st

  • 运行 Sqoop 导入和导出时如何找到最佳映射器数量？

    我正在使用 Sqoop 版本 1 4 2 和 Oracle 数据库 运行 Sqoop 命令时 例如这样 sqoop import fs

  • 将 Spark 添加到 Oozie 共享库

    默认情况下 Oozie 共享 lib 目录提供 Hive Pig 和 Map Reduce 的库 如果我想在 Oozie 上运行 Spark 作业 最好将 Spark lib jar 添加到 Oozie 的共享库 而不是将它们复制到应用程序

  • 在蜂巢中出现错误

    当我连接到 ireport 时 如果说在 hive shell 中显示表 则会出现此错误 元数据错误 java lang RuntimeException 无法实例化 org apache hadoop hive metastore Hiv

  • Hadoop-reducer 如何获取数据？

    据我所知 映射器为每个减速器生成 1 个分区 减速器如何知道要复制哪个分区 假设有 2 个节点运行用于字数统计程序的映射器 并且配置了 2 个缩减器 如果每个映射节点生成 2 个分区 并且两个节点中的分区都可能包含相同的单词作为键 那么减速

  • 与文件名中的冒号“：”作斗争

    我有以下代码 用于加载大量 csv gz 并将它们转储到其他文件夹中 并将源文件名作为一列 object DailyMerger extends App def allFiles path File List File val parts

  • 如何有效地将数据从 Kafka 移动到 Impala 表？

    以下是当前流程的步骤 Flafka http blog cloudera com blog 2014 11 flafka apache flume meets apache kafka for event processing 将日志写入

  • 如何强制 Spark 执行代码？

    我如何强制 Spark 执行对 map 的调用 即使它认为由于其惰性求值而不需要执行它 我试过把cache 与地图调用 但这仍然没有解决问题 我的地图方法实际上将结果上传到 HDFS 所以 它并非无用 但 Spark 认为它是无用的 简短回

  • 全部配对图表上的所有路径

    这可能是一个没有最佳解决方案的问题 假设我有一个有向图 不知道它是否有循环 循环检测将是这个问题的方面之一 给定一组顶点 可能是数百万个顶点 我需要计算给定图的所有唯一对之间的所有不同路径 没有重复顶点的路径 我该如何应对这种情况 让我们看

  • 使用 Java API 在 Hadoop 中移动文件？

    我想使用 Java API 在 HDFS 中移动文件 我想不出办法做到这一点 FileSystem 类似乎只想允许在本地文件系统之间移动 但我想将它们保留在 HDFS 中并将它们移动到那里 我错过了一些基本的东西吗 我能想到的唯一方法是从输

  • ETL informatica 大数据版（非云版）可以连接到 Cloudera Impala 吗？

    我们正在尝试在 Informatica 大数据版本 不是云版本 上进行概念验证 我发现我们可能能够使用 HDFS Hive 作为源和目标 但我的问题是 Informatica 是否连接到 Cloudera Impala 如果是这样 我们是否

随机推荐

  • 针对数据库的 EF 模型验证

    我想使用 EF 5 模型验证来避免数据库中出现重复值 因此我使用如下模型类 Table MeasureUnits public class MeasureUnit IValidatableObject public int MeasureU

  • 将自定义代码样式 xml 传递给 gradle idea 插件

    有没有办法告诉gradle idea插件在生成项目文件时使用自定义代码样式xml 我总是可以将 xml 复制到 Library Preferences IntelliJIdea13 codestyles 中 然后在导入项目后更改代码样式 但

  • gradle和manifest上的Android sdk版本

    我几周前开始使用 Android Studio 有一个问题 在 build gradle 文件中 我们可以像在清单中一样设置 minSdkVersion 但是一个会覆盖另一个吗 如果我们在 gradle 和 Manifest 上设置不同的值

  • Django：自动生成目录中的文件列表

    我在我的网站上使用图片库应用程序 目前 我将图像文件放在一个目录中 并手动为每个图像编写 img html 标签 是否可以让 django 自动在目录中创建文件列表 并将 json 输出发送到图库应用程序 以便我可以使 javascript

  • 如何在 Angular 拦截器内的请求正文中添加一些内容？

    在这里 我可以修改标题 因为有多个关于此功能的教程 但是 Injectable export class MyFirstInterceptor implements HttpInterceptor constructor private c

  • 离线时准确检测时间

    背景资料 我正在开发一个连接到服务器的 iOS 应用程序 可以从设备向服务器发出请求 以将本地数据库与服务器的数据库同步 更改可能发生在任一数据库上 该应用程序还具有离线功能 用户可以在不连接到互联网连接的情况下修改数据 只有在线才能通过发

  • 在怪癖模式下无法正常工作的所有内容的列表？ [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 有人有 Quirks 模式 特别是 IE Quirks 模式 中存在 bug 的 HTML JavaS

  • 用户提供的 MSSQL 数据库的 Pivotal/Django 设置

    我在 Pivotal Cloud Foundry 上部署了一个 django 应用程序 在开发过程中 我只是坚持使用内置的 sqlite 数据库 同时将 UI 组合在一起 不需要保留数据 因此推送 删除不是问题 此后 我在本地服务器 Azu

  • 使用相似性 Postgres 模糊自连接查询提高性能

    我正在尝试运行一个查询 该查询将表与自身连接起来 并进行模糊字符串比较 使用三元组比较 以查找可能的公司名称匹配 我的目标是返回一个记录的公司名称 ref name 字段 的三元相似度与另一记录的公司名称匹配的记录 目前 我将阈值设置为 0

  • PHP 按索引对二维数组进行排序（非关联）

    该代码无法正常运行 但它表明了我正在尝试做的事情 function sort 2d by index a i function cmp x y Nested function can t find i global i defeats th

  • putStrLn 不打印到控制台

    我正在尝试 wxHaskell 我无法在 ghci 下运行该应用程序 因此我必须使用应用程序来测试它 我想用 println 调试来测试程序 然而 putStrLn 似乎在 GUI 中不起作用 LANGUAGE Haskell2010 mo

  • 是否可以在角度 2+ 中进行条件内容投影（嵌入）

    我想提供仅在内容未被嵌入时才会出现的默认内容 例如 这是我的组件模板

  • 如何从 Z3 中的 Seq 类型中提取元素作为基本类型？

    如何将序列中的元素提取到基本类型 以便以下内容正常工作 define sort ISeq Seq Int define const x ISeq seq unit 5 define const y ISeq seq unit 6 asser

  • 标准输出重定向

    我正在使用 tcl 中的一个程序 我无法控制该程序 它在输出窗口上输出很多详细信息 例如 Response

  • 持久性实体的 GWT 反序列化 (JPA)

    我目前正在开发托管在 weblogic 应用程序服务器上的 Java GWT 应用程序 我使用 EJB3 0 和 EclipseLink 作为持久层 遗憾的是 我的 GWT 在反序列化持久实体时遇到问题 知道我可能会对你有所帮助 在我的类路

  • AutoMapper：如果源 == null，则创建目标类型的实例

    如果源对象为 null 是否可以将 AutoMapper 配置为返回目标类型的新实例 Source source null Dest d1 AutoMapper Mapper Map

  • Azure ServiceBus QueueClient.OnMessage 是否在不同的线程上执行

    QueueClient OnMessage 方法是否始终在不同线程上执行回调参数 我假设如果 MaxConcurrentCalls 设置为 10 那么queueClient 将最多启动 10 个线程来并行处理消息 如果传入 MaxConcu

  • .py 文件在浏览器中显示代码而不是运行

    我正在尝试开始使用 Python 但无法为 localhost 正确设置我的服务器 使用 Ampps Python 通过 IDLE 和命令行运行得很好 但是 当我在浏览器中打开文件时 代码会显示但不会运行 我跟着这个http www iml

  • 如何在 Azure 中选择 blob 块大小

    我想在 Azure 存储中使用追加 blob 当我上传 blob 时 我应该选择块大小 选择块大小时应该考虑什么 如果我上传的文件大小大于块大小 我看不出有什么区别 如何选择合适的块大小 根据你的描述 我做了一些研究 你可以参考它以更好地理

  • 运行 Hadoop 示例在伪分布式模式下停止

    在独立模式下一切都运行良好 当进入伪分布式模式时 HDFS 运行良好 我可以将文件放入 HDFS 并浏览它 我还检查了活动节点列表中是否有一个 DataNode 然而 当我跑步时bin hadoop jar hadoop examples

热门标签