我正在运行一个 hadoop 作业(来自 oozie ),它有很少的计数器和多输出。
我收到如下错误:
org.apache.hadoop.mapreduce.counters.LimitExceededException:计数器太多:121 max=120
然后我删除了所有具有计数器的代码,并将 mout.setCountersEnabled 设置为 false。
并在 hadoop 配置中将最大计数器设置为 240。
现在我仍然遇到同样的错误
org.apache.hadoop.mapreduce.counters.LimitExceededException:计数器太多:241 max=240
我怎么解决这个问题?
有没有可能存在隐藏的计数器?
我怎样才能弄清楚超过240之前有哪些计数器? (这个过程看起来像是在我可以打印任何东西之前就停止了?)
谢谢,
新松
我使用以下方法解决了该问题:
vi $HADOOP_HOME/conf/mapred-site.xml
<property>
<name>mapreduce.job.counters.limit</name>
<!--<value>120</value>-->
<value>20000</value>
<description>Limit on the number of counters allowed per job. The default value is 200.</description>
</property>
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)