为什么我每隔一天都会收到“太多获取失败”信息

2023-12-11

当我们运行两个处理大约 400 GB 数据的大猪作业时,我会从一个或其他任务跟踪器中收到此错误。 我们发现,在杀死作业并使集群保持沉默一段时间后,一切又恢复正常。 请提出真正的问题是什么?


解决办法,修改datanode节点的/etc/hosts文件。 简短格式的主机: 每行分为三部分:第一部分为网络IP地址,第二部分为主机名或域名,第三部分为主机别名详细步骤如下: 1、首先检查主机名:

cat / proc / sys /内核/主机名

会看到一个HOSTNAME属性,把后面的IP的值改一下就OK了,然后退出。 2、使用命令:

主机名*. .

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

为什么我每隔一天都会收到“太多获取失败”信息 的相关文章

  • Hadoop Windows 设置。运行 WordCountJob 时出错:“任何本地目录中都没有可用空间”

    我正在按照此视频教程尝试在我的计算机上设置 hadoop 如何在 Windows 10 上安装 Hadoop https www youtube com watch v zujpglKP0Nw 我已经成功设置它 从 sbin 目录执行 st
  • 在 Hadoop MapReduce 中为二进制文件创建自定义 InputFormat 和 RecordReader

    我正在编写一个 M R 作业 该作业处理以二进制格式编写的大型时间序列数据文件 如下所示 此处换行以提高可读性 显然 实际数据是连续的 TIMESTAMP 1 TIMESTAMP 1 TIMESTAMP 2 TIMESTAMP 2 TIME
  • Mapreduce shuffle 阶段出现内存不足错误

    我在运行时遇到奇怪的错误类似字数统计映射缩减程序 我有一个包含 20 个从站的 hadoop 集群 每个从站都有 4 GB RAM 我将 Map 任务配置为 300MB 堆 Reduce 任务槽为 1GB 我每个节点有 2 个映射槽和 1
  • 使用 Java API 在 Hadoop 中移动文件?

    我想使用 Java API 在 HDFS 中移动文件 我想不出办法做到这一点 FileSystem 类似乎只想允许在本地文件系统之间移动 但我想将它们保留在 HDFS 中并将它们移动到那里 我错过了一些基本的东西吗 我能想到的唯一方法是从输
  • 以不同用户身份运行 MapReduce 作业

    我有一个与 Hadoop 交互的 Web 应用程序 Cloudera cdh3u6 特定的用户操作应在集群中启动新的 MapReduce 作业 该集群不是一个安全集群 但它使用简单的组身份验证 因此 如果我以自己的身份通过 ssh 连接到它
  • 在 Apache Spark 上下文中,内存数据存储意味着什么?

    我读到 Apache Spark 将数据存储在内存中 然而 Apache Spark 旨在分析大量数据 又称大数据分析 在这种情况下 内存数据存储的真正含义是什么 它可以存储的数据是否受到可用 RAM 的限制 它的数据存储与使用HDFS的A
  • 如何用snappy解压hadoop的reduce输出文件尾?

    我们的 hadoop 集群使用 snappy 作为默认编解码器 Hadoop作业减少输出文件名就像part r 00000 snappy JSnappy 无法解压缩文件 bcz JSnappy 需要以 SNZ 开头的文件 归约输出文件以某种
  • Hadoop fs 查找块大小?

    在 Hadoop fs 中如何查找特定文件的块大小 我主要对命令行感兴趣 例如 hadoop fs hdfs fs1 data 但看起来这并不存在 有Java解决方案吗 The fsck其他答案中的命令列出了块并允许您查看块的数量 但是 要
  • 通过 Java 连接 Apache Drill

    在 Apache Drill 的 Wiki 中 我只能看到通过 SqlLine 客户端运行的查询 除了 REST API 之外 是否有任何编程方式可以在 Drill 中运行查询 有任何示例或指示吗 或者它与使用 JDBC 驱动程序运行 SQ
  • 使用 HttpClient 的 .NET Core SPNEGO 身份验证

    我目前正在编写一个简单的基于 NET Core 的客户端 用于通过 WebHCat 与 Hadoop 集群进行交互 并且我正在尝试弄清楚如何使用 SPNEGO 进行身份验证 就像在curl 或 Powershell Core 等中一样 使用
  • Hive:为现有文件夹结构添加分区

    我在 HDFS 中有一个文件夹结构 如下所示 但是 实际上没有使用以下命令在表上创建分区ALTER TABLE ADD PARTITION命令 即使文件夹结构的设置就像表有分区一样 如何自动将所有分区添加到Hive表中 Hive 1 0 外
  • 关于 Hadoop 和压缩输入文件的非常基本的问题

    我已经开始研究 Hadoop 如果我的理解是正确的 我可以处理一个非常大的文件 它会被分割到不同的节点上 但是如果文件被压缩 那么文件就无法分割 并且需要由单个节点处理 有效地破坏了运行一个mapreduce 一个并行机器集群 我的问题是
  • S3并行读写性能?

    考虑 Spark 或任何其他 Hadoop 框架 从 S3 读取大型 例如 1 TB 文件的场景 多个spark执行器如何从S3并行读取非常大的文件 在 HDFS 中 这个非常大的文件将分布在多个节点上 每个节点都有一个数据块 在对象存储中
  • 如何在 HBase 中预分割表

    我将数据存储在具有 5 个区域服务器的 HBase 中 我使用 url 的 md5 哈希作为我的行键 目前 所有数据仅存储在一台区域服务器中 所以我想预先分割区域 以便数据在所有区域服务器上统一传输 我希望通过行键的第一个字符将表分成五个区
  • Spark Driver 内存和 Application Master 内存

    我是否正确理解客户端模式的文档 客户端模式与驱动程序在应用程序主机中运行的集群模式相反 在客户端模式下 驱动程序和应用程序主机是单独的进程 因此spark driver memory spark yarn am memory一定小于机器内存
  • 名称节点与辅助名称节点

    Hadoop 具有一致性和分区容忍性 即它属于 CAP 理论的 CP 类别 Hadoop不可用 因为所有节点都依赖于名称节点 如果名称节点崩溃 集群就会崩溃 但考虑到 HDFS 集群有一个辅助名称节点 为什么我们不能称 hadoop 为可用
  • Hive 中的 CASE 语句

    好的 我有以下代码来用二进制标志标记表中具有最高 Month cd 的记录 Select t1 month cd t2 max month cd CASE WHEN t2 max month cd null then 0 else 1 en
  • 从猪的单行输入生成多行输出

    我的要求是通过在 Pig 脚本中使用单行输入来生成多行输出 可能的解决方案有哪些 这个想法是将你的输入线转换成一个袋子 然后将其压平 这里可能有两种情况 阅读文字 txt load pig fun input text txt using
  • 如何通过HBase REST服务获取Phoenix表数据

    我使用 Phoenix JDBC 驱动程序在以下代码片段中创建了一个 HBase 表 Class forName org apache phoenix jdbc PhoenixDriver Connection conn DriverMan
  • 如何列出hadoop hdfs中目录及其子目录中的所有文件

    我在 hdfs 中有一个文件夹 其中有两个子文件夹 每个子文件夹大约有 30 个子文件夹 最后 每个子文件夹都包含 xml 文件 我想列出所有 xml 文件 仅给出主文件夹的路径 在本地我可以这样做apache commons io 的 h

随机推荐

  • HABTM关系查找所有记录,排除一些基于关联的记录

    我看过一些与此相关的类似帖子 但我正在努力解决这个问题 我在项目和用户之间有一个 habtm 关系 我正在尝试查找特定用户不属于的所有项目 但我不知道如何查找 我尝试过这样的事情 Project where project id user
  • C++中动态分配的链表。发生异常后如何防止内存泄漏?

    我喜欢用c 实现链表 在添加新节点时我动态分配它 如果某些分配失败 我希望我的程序停止执行 新节点 失败后 会引发异常 因此我必须在异常处理程序中显式调用析构函数 我该如何处理这种情况以防止内存泄漏 这是我写的代码 链表 h pragma
  • webcomponents.js 失败并出现错误 404

    运行与 webcomponents js 相关的 dart 应用程序时 我在控制台中看到异常 一切都按预期运行 我应该忽略这个异常吗 Failed to load resource the server responded with a s
  • 从网页中抓取文本

    我想编写一个程序来查找公交车站时间并相应地更新我的个人网页 如果我手动执行此操作 我会 访问 www calgarytransit com 输入停靠站号码 即 9510 点击 下一班车 按钮 结果可能如下所示 10 16p 154号公路10
  • 为什么 Swift 中 UInt64 max 等于 -1?

    使用 Swift 无论是在终端还是操场上 当我在新行中输入以下内容时 UInt64 max 我得到的结果值为 1 这是一个错误吗 Edit 例子 xcrun swift Welcome to Swift Type help for assi
  • 为什么 nginx 不缓存我的内容?

    我检查了缓存路径 usr local nginx proxy cache 多次访问某个网址后找不到缓存文件 我的配置 nginx conf http include etc nginx mime types default type app
  • UTF-8 编码的 html 页面显示 �(问号)而不是字符

    我在 win7 x64 上安装了标准 XAMPP 在过去的项目中 我遇到了编码问题 其中 mysql 编码与 php 编码不匹配 而 php 编码有时会以其他编码输出 html 因此我决定一致地使用 utf 8 对所有内容进行编码 我刚刚开
  • 向必须共享环境的 bash shell 发送多个命令

    我试图在这里遵循这个答案 https stackoverflow com a 5087695 343381 我需要在单个环境中执行多个 bash 命令 我的测试用例很简单 import subprocess cmd subprocess P
  • ASP.NET MVC 使用 AJAX 将模型传递给控制器

    我正在尝试通过 ajax 调用将模型传递到我的控制器 我查看了拉维亚克在以下问题中提供的答案 但无法使其发挥作用 可能的答案 当 ajax 调用运行时 我收到 MODEL 变量的未定义错误 我已经确认正在调用辅助类并返回一个字符串 是因为
  • 如何捕获/收听 Android 网络浏览器下载

    我的 Android 应用程序会监听浏览器意图 以便在用户单击某种类型的 URI 时捕获它们 更具体地说 我希望当用户单击指向 torrent 文件的超链接 例如http somewhere file torrent 请参阅下面我的应用程序
  • 关于“main(int argc, char *argv[])”[重复]

    这个问题在这里已经有答案了 可能的重复 main 的参数有什么用 int argc char argv 是什么意思 每个程序都以main int argc char argv 定义 我不明白这是什么意思 如果有人能解释为什么我们在程序中不使
  • 如何正确进行301重定向

    我有超过 50 个 html 页面 我将把它们移动到同一域中的不同文件夹中 如何正确地为每一个进行 301 重定向 有人说将重定向放在metahtml 标签 像这样 其他一些人说将其放入 htaccess 文件中 我不确定最好的方法是什么
  • 适用于移动设备的 HTML5 拖放

    这是我对 WHATWG HTML5 的实现拖放 function allowDrop ev ev preventDefault function drag ev ev dataTransfer setData Text ev target
  • CodenameOne:VKB改变画面

    我有一个在 CodenameOne 平台上开发的应用程序 其中有用于手动输入的文本字段 每次当 VKB 在 Android 上显示时 屏幕内容都会被推到底部 尤其是文本字段变得如此之薄 以至于看不到任何字符 我怎样才能防止这种情况发生 在
  • 将几个不连续的列放入数组中

    我尝试尽可能高效地将 4 列加载到数组中 我试过 dim ar ar sheet1 Range C2 C2681 G2 G2681 J2 J2681 T2 T2681 但只有第一列被加载到数组中 我也尝试过 ar Range C2 T la
  • 是否可以使 col-md-3 彼此更靠近或居中? [复制]

    这个问题在这里已经有答案了 是否有可能使 col md 3 彼此更接近 这是我的代码 div class container div class row div class col md 3 p Lorem ipsum dolor sit
  • Eclipse 中的 Android 应用程序问题

    我是一名 NET 开发人员 但我喜欢 JAVA 所以在空闲时间我会使用它 我通常不使用 Eclipse 但我安装了 ADT eclipse 插件和 Andriod SDK 然后我开始学习 我用 TableLayout 制作了一个新项目 它看
  • $("#id").load 和 $.ajax 之间的区别?

    有谁知道有什么区别 id load and ajax 让我为您澄清一下 ajax 是 jQuery 提供的基本和低级 ajax 函数 这意味着您可以做任何您想做的事情XmlHttpRequest目的 但曾几何时 jQuery 开发者认为实际
  • 在 GraphQL 模式中创建类型时是否可以重命名字段?

    当定义userType在服务器上的以下 GraphQL 模式中 如何将 名称 字段重命名为 名字 同时仍然引用中的 名称 字段fakeDatabase 以下代码片段是从官方 GraphQL 文档 var express require ex
  • 为什么我每隔一天都会收到“太多获取失败”信息

    当我们运行两个处理大约 400 GB 数据的大猪作业时 我会从一个或其他任务跟踪器中收到此错误 我们发现 在杀死作业并使集群保持沉默一段时间后 一切又恢复正常 请提出真正的问题是什么 解决办法 修改datanode节点的 etc hosts