如何在 context.write(k,v) 中输出值

2024-01-01

在我的mapreduce 工作中,我只想输出一些行。

但如果我这样编码: 上下文.write(数据,空);

程序将抛出java.lang.NullPointerException。

我不想像下面这样编写代码: context.write(数据, new Text(""));

因为我必须修剪输出文件中每一行的空格。

有什么好的方法可以解决吗? 提前致谢。


抱歉,这是我的错误。我仔细检查了程序,发现原因是我将Reducer设置为combiner。

如果我不使用组合器,则语句 上下文.write(数据,空); 在减速器中工作正常。在输出数据文件中,只有数据行。


分享hadoop权威指南中对NullWritable的解释:

NullWritable 是一种特殊类型的 Writable,因为它具有零长度序列化。无字节 写入流或从流中读取。它用作占位符;例如,在 MapReduce,当不需要时,可以将键或值声明为 NullWritable 使用该位置 - 它有效地存储一个恒定的空值。 NullWritable也可以 当您想要存储值列表时,可用作 SequenceFile 中的键,而不是 到键值对。它是一个不可变的单例:可以通过调用来检索实例 NullWritable.get()。


你应该使用空可写 http://hadoop.apache.org/docs/current/api/org/apache/hadoop/io/NullWritable.html以此目的。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何在 context.write(k,v) 中输出值 的相关文章

随机推荐

  • 从 SELECT 插入但更改一列?

    想知道是否有一种方法可以将行从另一个表插入到另一个表中 但一列除外 对于有限数量的列来说 这当然很容易 但是当列数增加时 列出所有列会有点烦人 我在想一些事情 Insert into table select replace col1 wi
  • Autofac。如何使用自定义方法(属性)来解析某些接口?

    我有以下接口 public interface IConfigurationProvider
  • Opera 跨源资源共享

    有人找到了 Opera 关于跨源资源共享的解决方法吗 我想做一个跨域XmlHttpRequest从我放置在 bar com 上的脚本到我的域 foo com The standard http www w3 org TR cors 目前为止
  • 跨文件的代码组织必须处理模板函数和内联

    我正在维护一个大型模板类库 它们基于以下任意一个执行代数计算float or double类型 许多类都有访问器方法 getter 和 setter 和其他运行少量代码的函数 因此当编译器找到它们的定义时 需要将这些函数限定为内联 相比之下
  • 可以聚合根实体调用存储库

    聚合根实体是否可以有一个方法来调用存储库 我知道不应该 但想得到确认 因为埃里克的书也没有明确说明任何内容 还有一件事 我在哪里可以获得领域驱动设计的单元测试示例 这有点宗教问题 有些人认为这没有问题 而另一些人可能认为这样做是异端邪说 虽
  • 事件侦听器完成后调用函数 - Javascript

    有没有办法在 Javascript 中调用函数EventListener已完成运行任何附加代码 我正在使用一个外部库EventListener 它在调用侦听器时执行特定操作 我需要在外部库的代码完成运行后运行我的函数 我要求一种EventL
  • Unity冷却时间实现

    我正在尝试在 Unity 项目中实现冷却时间 虽然这段代码似乎有意义 但它不起作用 发布的代码是一个全面的基本运动脚本 我尝试用 a 做某事cooldown time deltatime 但这似乎不起作用 我已经尝试了多种方法 但似乎没有一
  • Symfony 5.1.3 清除缓存时出现问题:尝试从命名空间加载类“MappingDriverChain”

    我已将 symfony 应用程序更新为5 1 3 但从那时起 在清除缓存时出现了类丢失异常 In App KernelDevDebugContainer php line 1050 Attempted to load class Mappi
  • 阻止 PostgreSQL 将值拆分为多行?

    我正在使用以下命令将二进制数据 bytea 数据类型转换为字符串encode foo bytea base64 但输出被分成多行 RECORD 1 req id 132675 b string d4IF4jCCBd4GCSqGSIb3DQE
  • “请求的模块'不提供名为'default'的导出”错误,但仅在相对导入中

    我从外部有这个 api 模块 当它作为 node module 安装时 使用 npm install 然后执行如下导入即可 import MyAPI from api 但是 当我查看 node modules 中的 api 文件夹并取出 a
  • 如何使用 Python 解码内存中的 JPEG XR 文件

    我正在使用 Python 3 处理显微镜生成的文件 该文件本质上是数千张 Jpeg XR 压缩图像的集合 我需要将它们全部读入内存 现在我正在以二进制模式读取数据 将它们保存在 jxr 文件中 并调用 JxrDecApp exe 将其转换为
  • 在生成的实体框架类上实现 INotifyPropertyChanged

    我有一个 SQL 数据库 并且正在实现一个 WPF UI 来更新它 如果我使用 EF5 从数据库生成类 如何在生成的类和属性上实现 INotifyPropertyChanged 以便我可以轻松地使用 UI 绑定到它们 有没有一种简单的方法可
  • Android布局设计原则[关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 我一直在研究针对不同屏幕尺寸 屏幕密度和方向设计布局的最佳方法 但我越来越困惑 1 设计密度与屏幕尺寸我读过这个link https stack
  • Android MediaPlayer 重置冻结 UI

    我的安卓系统有问题MediaPlayer当改变dataSource玩家的 根据规范MediaPlayer http developer android com reference android media MediaPlayer html
  • 哪些 PHP 框架不使用前端控制器? [关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心 help reopen questi
  • C# WebBrowser 控件不应用 css

    我有一个项目 正在使用 VS2005 进行 我添加了一个 WebBrowser 控件 我向控件添加一个基本的空页面 private const string basicHtmlForm
  • 我是否需要对用户提交的数据使用stripslashes?

    人们使用 stripslashes 做什么 它通常与 addslashes 一起使用吗 为什么要在用户提交的字符串中删除或添加斜杠 你应该always清理用户的输入 但不与addslashes 如果您想用用户的输入组成查询 请使用正确的数据
  • For 循环在 makefile 中不起作用:“此时我出乎意料”

    我有一个非常简单的 makefile all for i in 1 2 3 do echo i i done 然而 当我运行这个时 我收到了 我此时出乎意料 的错误 知道为什么会这样吗 我运行的是Windows XP 上述脚本在 Windo
  • D3.js:如何从图形的刷区域中选择数据?

    I have the following graph where mouse brush light blue area is used to select the data 如何获取所选区域的数据 我尝试过的以下解决方案和许多其他解决方案
  • 如何在 context.write(k,v) 中输出值

    在我的mapreduce 工作中 我只想输出一些行 但如果我这样编码 上下文 write 数据 空 程序将抛出java lang NullPointerException 我不想像下面这样编写代码 context write 数据 new