程序员经验分享-hwhale

加载数据时pig出错

2023-11-21

我使用的是 ubuntu 12.02 32bit 并已安装hadoop2.2.0 and pig 0.12成功地。 Hadoop 在我的系统上运行正常。

但是，每当我运行此命令时：

data = load 'atoz.csv' using PigStorage(',')  as (aa1:int, bb1:int, cc1:int, dd1:chararray);            
dump data;

我收到以下错误：

ERROR org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl - Error whiletrying to run jobs.java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected.

这是完整的堆栈跟踪：

> 2014-01-23 10:41:44,998 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher- 1 map-reduce job(s) waiting for submission.
>             2014-01-23 10:41:45,000 [Thread-9] INFO  org.apache.hadoop.metrics.jvm.JvmMetrics - Cannot initialize JVM
> Metrics with processName=JobTracker, sessionId= - already initialized
>             2014-01-23 10:41:45,001 [Thread-9] ERROR org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl - Error while
> trying to run jobs.
>             java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected
>             at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigOutputFormat.setupUdfEnvAndStores(PigOutputFormat.java:225)
>             at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigOutputFormat.checkOutputSpecs(PigOutputFormat.java:186)
>             at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:456)
>             at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:342)
>             at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)
>             at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)
>             at java.security.AccessController.doPrivileged(Native Method)
>             at javax.security.auth.Subject.doAs(Subject.java:415)
>             at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
>             at org.apache.hadoop.mapreduce.Job.submit(Job.java:1265)
>             at org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob.submit(ControlledJob.java:335)
>             at org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl.run(JobControl.java:240)
>             at java.lang.Thread.run(Thread.java:724)
>             at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher$1.run(MapReduceLauncher.java:260)
>             2014-01-23 10:41:45,498 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher
> - 0% complete
>             2014-01-23 10:41:45,502 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher
> - job null has failed! Stop running all dependent jobs
>             2014-01-23 10:41:45,503 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher
> - 100% complete
>             2014-01-23 10:41:45,507 [main] ERROR org.apache.pig.tools.pigstats.SimplePigStats - ERROR 2997: Unable to
> recreate exception from backend error: Unexpected System Error
> Occured: java.lang.IncompatibleClassChangeError: Found interface
> org.apache.hadoop.mapreduce.JobContext, but class was expected
>             at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigOutputFormat.setupUdfEnvAndStores(PigOutputFormat.java:225)
>             at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigOutputFormat.checkOutputSpecs(PigOutputFormat.java:186)
>             at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:456)
>             at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:342)
>             at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)
>             at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)
>             at java.security.AccessController.doPrivileged(Native Method)
>             at javax.security.auth.Subject.doAs(Subject.java:415)
>             at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
>             at org.apache.hadoop.mapreduce.Job.submit(Job.java:1265)
>             at org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob.submit(ControlledJob.java:335)
>             at org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl.run(JobControl.java:240)
>             at java.lang.Thread.run(Thread.java:724)
>             at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher$1.run(MapReduceLauncher.java:260)
2014-01-23 10:41:45,507 [main] ERROR org.apache.pig.tools.pigstats.PigStatsUtil - 1 map reduce job(s)
> failed!
>             2014-01-23 10:41:45,507 [main] INFO  org.apache.pig.tools.pigstats.SimplePigStats - Detected Local mode.
> Stats reported below may be incomplete
>             2014-01-23 10:41:45,508 [main] INFO  org.apache.pig.tools.pigstats.SimplePigStats - Script Statistics:
HadoopVersion    PigVersion    UserId    StartedAt    FinishedAt    Features
>             2.2.0    0.10.1    hardik    2014-01-23 10:41:44    2014-01-23 10:41:45    UNKNOWN
 Failed!
Failed Jobs:
JobId    Alias    Feature    Message    Outputs
N/A    aatoz    MAP_ONLY    Message: Unexpected System Error Occured: java.lang.IncompatibleClassChangeError: Found interface
> org.apache.hadoop.mapreduce.JobContext, but class was expected
>             at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigOutputFormat.setupUdfEnvAndStores(PigOutputFormat.java:225)
>             at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigOutputFormat.checkOutputSpecs(PigOutputFormat.java:186)
>             at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:456)
>             at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:342)
>             at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)
>             at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)
>             at java.security.AccessController.doPrivileged(Native Method)
>             at javax.security.auth.Subject.doAs(Subject.java:415)
>             at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
>             at org.apache.hadoop.mapreduce.Job.submit(Job.java:1265)
>             at org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob.submit(ControlledJob.java:335)
>             at org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl.run(JobControl.java:240)
>             at java.lang.Thread.run(Thread.java:724)
>             at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher$1.run(MapReduceLauncher.java:260)
>             file:/tmp/temp1979716161/tmp-189979005,
Input(s):
Failed to read data from "file:///home/hardik/pig10/bin/input/atoz.csv"
Output(s):
             Failed to produce result in "file:/tmp/temp1979716161/tmp-189979005"
Job DAG:
null
2014-01-23 10:41:45,509 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher
 Failed! 2014-01-23 10:41:45,510 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1066: Unable to open iterator
> for alias aatoz
>             Details at logfile: /home/hardik/pig10/bin/pig_1390453192689.log
>     </i>

默认情况下，Apache Pig 0.12.0 需要旧版本的 Hadoop。您必须重新编译 Pig for Hadoop 2.2.0，并将两个 jar 替换为新的 pig-0.12.1-SNAPSHOT.jar 和 pig-0.12.1-SNAPSHOT-withouthadoop.jar。

要重新编译解压 pig 存档，请转到目录“pig-0.12.0”并运行：

ant clean jar-all -Dhadoopversion=23
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

apachepig

加载数据时pig出错 的相关文章

随机推荐

  • 查找所选顶点的最小生成树的算法

    人们可以使用 Prim 算法或 Kruskal 算法来查找顶点 节点和边 链接集合的最小生成树 图 不过 我想要的是一种找到该集合的最小生成图的算法 但生成的图需要仅包含任意选择的节点 而不是所有节点 如果结果图包含的节点多于所需的节点也没

  • 如何在 ActiveAdmin 中添加返回应用程序的链接？

    我需要在 ActiveAdmin 页面中添加一些指向应用程序某些页面的链接 我可以使用侧边栏来完成此操作 但我必须为每个资源重复代码 无论如何 是否可以向标题添加自定义链接 或者定义一个针对所有资源显示的侧边栏 我也不想忽略在initial

  • 奇怪的 Maven 内存不足错误

    我目前正在尝试使用 hudson 调用 Maven 来构建我的项目 我不断遇到内存不足错误的问题 我在所有环境变量 hudson 配置和 hudson 项目配置中设置了 xmx 和 xms 我将 xmx 设置为 1500 mb 这应该足够了

  • java中的对象有内存大小限制吗？

    我们可以拥有任意大小的 Java 对象而不用担心异常吗 我将使用一个类的对象 该类包含一个ArrayList数千个其他对象 其中包含几个HashMaps and ArrayLists 和许多其他非原始类型 谢谢 如果你有一个对象 我们称之为

  • 使用 devtools 构建 .md vignette

    我在用着knitr rmarkdown but knitr knitr和我的一样 VignetteEngine 然后我使用构建我的包小插图devtools build vignettes 这可行 但只能在以下位置创建 HTML 和 R 输出

  • IE Date.parse 方法对于带有时间字符串的日期返回 NaN

    我们正在尝试用时间戳字符串解析日期 它在 IE 中崩溃 但在 FireFox 中工作正常 这是代码 警报 新日期 Date parse 2010 01 31T12 00 00 233467 05 00 有什么办法让它在 IE 浏览器中工作吗

  • 使用sbt编译Java注解

    我已经在下面创建了 Java 注释 因为我需要运行时保留 PROJECT src main java我的 scala 代码使用了这些 java 注释 PROJECT src main scala 这样创建的 Java 注释也使用 Java

  • ListView 布局与 RTL 语言（阿拉伯语）渲染不一致

    我有简单的 ListView 和 ArrayAdapter 正在工作正好 问题始于RTL语言 在本例中为阿拉伯语 当你第一次打开它时 一切看起来都很好 但向下滚动并向后滚动后 某些项目似乎渲染不正确 代码很简单 请注意 如果我不重复使用视图

  • 缓存 URL 图像 iphone UITableview

    我正在寻找有关如何将从 url 加载的图像缓存到 uitableview 单元格中的教程 我在这里找到了一个例子 http www ericd net 2009 05 iphone caching images in memory html

  • 如何从 JavaScript 中的 URL 中提取 GET 参数？ [复制]

    这个问题在这里已经有答案了 可能的重复 在javascript中使用url的get参数 假设我有这个网址 s http mydomain com q microsoft p next 在这种情况下 如何从字符串中提取 microsoft 我

  • SendGrid 与单个电子邮件的唯一参数

    我尝试为每封电子邮件设置一个唯一参数列表 SMTP api 的官方参考非常简单地描述了此功能 here 我正在使用的 SendGrid PHP 库的 API 文档也没有多大帮助 setUniqueArguments Set a list o

  • 尝试在 pgAdmin4 中备份数据库时出现“[Errno 2] 无此类文件或目录”

    我终于设法在首选项中手动设置 PostgreSQL 二进制路径 为什么用户必须在 pgAdmin3 中不需要时执行此操作 老实说 我不知道第二个路径字段 EDB Advanced Server Binary Path 的含义是什么 但我没有

  • HAProxy - 后端服务器的基本身份验证

    我使用以下配置从本地 127 0 0 1 2000 代理访问互联网 global log 127 0 0 1 local0 log 127 0 0 1 local1 notice log loghost local0 info maxcon

  • 修复重大升级问题

    以下是场景 1 安装 1 0 1 1 然后升级到 1 0 2 2 gt 这很好用 如预期 2 安装 1 0 2 2 然后降级到 1 0 1 1 gt 这不起作用 如预期 3 安装 1 0 1 1 然后安装 1 0 1 1 gt 这将进入修复

  • Python 字典 vs C++ std:unordered_map (cython) vs cythonized python dict

    我试图测量 python 字典 cythonized python 字典和 cythonized cpp std unordered map 之间的性能 仅执行 init 过程 如果编译 cythonized cpp 代码 我认为它应该比纯

  • .NET 中是否有与进程外 COM EXE 等效的东西？

    COM ActiveX 的优点之一是进程外 EXE 您可以有一个 EXE 它以可供其他进程 包括 VBScript 和 JScript 使用的形式公开方法和属性 同时 EXE 可以拥有自己的功能 与其类型库公开的功能相关或无关 NET 的等

  • 合作多重继承问题

    这是一个扩展这个问题并提出了一个问题 希望您 我的 StackOverflowers 同胞能够帮助我解决这个问题 从引用的问题中 考虑最终的代码示例 class A object def init self print entering A

  • 将任意 R 对象存储到 HDD 上？

    据我所知 我们可以将数据矩阵导出到csv or xlsx files 对于像这样的复杂对象呢 lm 例如 在我的工作中 我可能有一个长度为 1000 的列表 每个列表都有一个lm 目的 每次我加载R我必须等待很长时间才能用这些填充 1000

  • 错误：（-2：未指定错误）该功能未实现。使用 Windows、GTK+ 2.x 或 Cocoa 支持重建库

    我正在 jupyter 笔记本上从事手语检测项目 在运行活体检测代码时 我遇到了如下错误 OpenCV 4 5 1 C Users appveyor AppData Local Temp 1 pip req build 1drr4hl0 o

  • 加载数据时pig出错

    我使用的是 ubuntu 12 02 32bit 并已安装hadoop2 2 0 and pig 0 12成功地 Hadoop 在我的系统上运行正常 但是 每当我运行此命令时 data load atoz csv using PigStor

热门标签