使用 Hive JDBC 执行程序时出错

2023-12-06

我为 Hive JDBC 编写了这个小程序。最初它执行得很好，但是当我现在尝试运行时突然出现错误。

Program:

import java.io.FileWriter;
import java.io.InputStream;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
import java.text.DateFormat;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;


public class SampleHiveProgram
{
    String lyear="";
    String lquarter="";
    String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
    public static void main(String[] args)
    {
        SampleHiveProgram s=new SampleHiveProgram();
        s.startHiveThriftServer();
        s.quarterTable();
    }

    public void startHiveThriftServer()
    {
        try
        {   
            String cmd = "/home/hadoop/sqoop-1.3.0-cdh3u1/bin/StartHiveThriftServer.sh"; // this is the command to execute in the Unix shell           
            // create a process for the shell
            ProcessBuilder pb = new ProcessBuilder("bash", "-c", cmd);
            pb.redirectErrorStream(true); // use this to capture messages sent to stderr
            Process shell = pb.start();
            InputStream shellIn = shell.getInputStream(); // this captures the output from the command
            // wait for the shell to finish and get the return code
            // at this point you can process the output issued by the command
            // for instance, this reads the output and writes it to System.out:
            int c;
            while ((c = shellIn.read()) != -1)
            {
                System.out.write(c);
            }
            int shellExitStatus = shell.waitFor();
            // close the stream
            shellIn.close();
        }
        catch(Exception e)
        {
            e.printStackTrace();
            System.exit(1);
        }
    }

    public void quarterTable()
    {
        try
        {
            String start="2010-01-01";
            String end="2011-01-01";
            System.out.println("in quarter table...");
            //create connection with database
            Class.forName(driverName);
            Connection con = DriverManager.getConnection("jdbc:hive://localhost:10000/default", "", "");
            String sql=null;
            Statement stmt = con.createStatement();
            ResultSet res=null;

            sql="drop table TmpQuarterTable";
            System.out.println("Dropping the Quarter Table...");
            res = stmt.executeQuery(sql);

            //Creating Quarter Table
            sql="create table TmpQuarterTable (year string, quarter string, quarterstart string, quarterend string, quartername string)" +
                " ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\012' STORED AS TEXTFILE ";
            System.out.println("Creating the Quarter Table...");
            res = stmt.executeQuery(sql);

            //create the file
            FileWriter fw=new FileWriter("/home/hadoop/Quarter.txt");

            //convert string date to calendar date
            DateFormat formatter =new SimpleDateFormat("yyyy-MM-dd");
            Date sdate=(Date)formatter.parse(start);
            Date edate=(Date)formatter.parse(end);

            Calendar c1=Calendar.getInstance();
            Calendar c2=Calendar.getInstance();

            c1.setTime(sdate);
            c2.setTime(edate);

            int q=0;
            String QuarterEndDate=null;
            int resultMonthCount=0;
            int resultYear =0;
            int resultMonth =0;

            Calendar c3=Calendar.getInstance();
            c3.setTime(c1.getTime());     
            while(c3.compareTo(c2)<=0)
            {
                      if(c3.get(Calendar.MONTH)>=0 && c3.get(Calendar.MONTH)<=2)
                      {
                          q=1;
                          QuarterEndDate=Integer.toString(c3.get(Calendar.YEAR))+"-04-01";
                      }
                      else if(c3.get(Calendar.MONTH)>=3 && c3.get(Calendar.MONTH)<=5)
                      {
                          q=2;
                          QuarterEndDate=Integer.toString(c3.get(Calendar.YEAR))+"-07-01";
                      }
                      else if(c3.get(Calendar.MONTH)>=6 && c3.get(Calendar.MONTH)<=8)
                      {
                          q=3;
                          QuarterEndDate=Integer.toString(c3.get(Calendar.YEAR))+"-10-01";
                      }
                      else if(c3.get(Calendar.MONTH)>=9 && c3.get(Calendar.MONTH)<=11)
                      {
                          q=4;
                          QuarterEndDate=Integer.toString(c3.get(Calendar.YEAR)+1)+"-01-01";
                      }
                      //Got the QuarterEndDate (YYYY-MM-DD)
                      //split the QuarterEndDate into qdate and create quarter_end_date
                      String[] qdate=QuarterEndDate.split("-");
                      Calendar quarter_end_date=Calendar.getInstance();
                      quarter_end_date.set(Integer.parseInt(qdate[0]),Integer.parseInt(qdate[1]),Integer.parseInt(qdate[2]));
                      System.out.println("quarter_end_date : "+quarter_end_date);

                      //YY
                      String YY=Integer.toString(c3.get(Calendar.YEAR));

                      //quarter start date = quarter end date - 1
                      Calendar quarter_start_date=Calendar.getInstance();
                      quarter_start_date.set(quarter_end_date.get(Calendar.YEAR),quarter_end_date.get(Calendar.MONTH),quarter_end_date.get(Calendar.DATE));
                      quarter_start_date.add(Calendar.YEAR, -1);

                      //year
                      String year=Integer.toString(quarter_start_date.get(Calendar.YEAR));
                      System.out.println("year : "+year);

                      //month
                      String months=null;
                      if(quarter_start_date.get(Calendar.MONTH)<10)
                          months="0"+Integer.toString(quarter_start_date.get(Calendar.MONTH));
                      else
                          months=Integer.toString(quarter_start_date.get(Calendar.MONTH));
                      System.out.println("month : "+months);

                      //day
                      String day=null;
                      if(quarter_start_date.get(Calendar.DATE)<10)
                          day="0"+Integer.toString(quarter_start_date.get(Calendar.DATE));
                      else
                          day=Integer.toString(quarter_start_date.get(Calendar.DATE));
                      System.out.println("day : "+day);


                      //adding 3 months
                      resultMonthCount = c3.get(Calendar.MONTH) + 3;
                      resultYear =  c3.get(Calendar.YEAR);
                      resultMonth = resultMonthCount - resultYear * 12;

                      System.out.println("YEAR : "+resultYear);
                      c3.set(Calendar.YEAR, resultYear);

                      System.out.println("MONTH : "+resultMonthCount);
                      c3.set(Calendar.MONTH, resultMonthCount);    
                      System.out.println("c3 : "+c3.getTime());

                      //YY,q,startDate,endDate,quartername   ------->>   write to file
                      String QuarterStartDate=year+"-"+months+"-"+day;                 
                      String quarterName=YY+"\"Q\""+q;                 
                      fw.write(YY+","+q+","+QuarterStartDate+","+QuarterEndDate+","+quarterName+"\n");

            }//end of while
            fw.close();

            String filepath = "/home/hadoop/Quarter.txt";
            sql = "load data local inpath '" + filepath + "' overwrite into table TmpQuarterTable";
            System.out.println("Running: " + sql);
            stmt.executeUpdate(sql);
        }
        catch(Exception e)
        {
            e.printStackTrace();
            System.exit(1);
        }

    }
}

错误如下：线程“main”java.lang.InknownClassChangeError中的异常：类com.facebook.fb303.FacebookService$Client具有接口org.apache.thrift.TServiceClient作为超类

错误为：

Exception in thread "main" java.lang.IncompatibleClassChangeError: class com.facebook.fb303.FacebookService$Client has interface org.apache.thrift.TServiceClient as super class
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClassCond(ClassLoader.java:631)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:615)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:283)
    at java.net.URLClassLoader.access$000(URLClassLoader.java:58)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:197)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClassCond(ClassLoader.java:631)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:615)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:283)
    at java.net.URLClassLoader.access$000(URLClassLoader.java:58)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:197)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClassCond(ClassLoader.java:631)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:615)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:283)
    at java.net.URLClassLoader.access$000(URLClassLoader.java:58)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:197)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClassCond(ClassLoader.java:631)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:615)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:283)
    at java.net.URLClassLoader.access$000(URLClassLoader.java:58)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:197)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    at org.apache.hadoop.hive.jdbc.HiveConnection.<init>(HiveConnection.java:93)
    at org.apache.hadoop.hive.jdbc.HiveDriver.connect(HiveDriver.java:104)
    at java.sql.DriverManager.getConnection(DriverManager.java:582)
    at java.sql.DriverManager.getConnection(DriverManager.java:185)
    at SampleHiveProgram.quarterTable(SampleHiveProgram.java:64)
    at SampleHiveProgram.main(SampleHiveProgram.java:22)

我是怎么了？我已经添加了 Hive 所需的所有 jar。

您是否有不止不同版本的 thrift 和 libthrift 存在？听起来这些类是使用一种版本的 thrift 生成的，但在运行时尝试使用不同版本的 libthrift。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Java

JDBC

hive

使用 Hive JDBC 执行程序时出错的相关文章

Guice 忽略注入构造函数参数上的 @Nullable

我正在使用 Guice v 3 0 并且有一个值被注入到构造函数中该值可以为 null 因此我在构造函数中使用 Nullable 来自 javax annotations 注释了该参数 public MyClass Parameter1
当路径的点超出视野时，Android Canvas 不会绘制路径

我在绘制路径时遇到了 Android Canvas 的一些问题我的情况是我有一个相对布局工作如地图视图不使用 google api 或类似的东西我必须在该视图上绘制一条路径 canvas drawPath polyPath bor
如何强制jar使用（或jar运行的jvm）utf-8而不是系统的默认编码

我的Windows默认编码是GBK 而我的Eclipse完全是utf 8编码因此在我的 Eclipse 中运行良好的应用程序崩溃了因为导出为 jar 文件时这些单词变得不可读我必须在 bat 文件中写入以下行才能运行该应用程序 st
埃拉托色尼筛法 - 实现返回一些非质数值？

我用 Java 实现了埃拉托斯特尼筛法通过伪代码 public static void sieveofEratosthenes int n boolean numArray numArray new boolean n for int i
为自定义驱动程序创建 GraphicsDevice

我正在开发一个在嵌入式系统中使用 Java 的项目我有用于屏幕和触摸输入的驱动程序以及用于文本输入的虚拟键盘我的屏幕驱动程序有一个Graphics2D您可以绘制的对象和repaint Rectangle 更新方法类似地触摸驱动器能
为什么Iterator接口没有add方法

In IteratorSun 添加了remove 方法来删除集合中最后访问的元素为什么没有add方法来向集合中添加新元素它可能对集合或迭代器产生什么样的副作用好的我们开始吧设计常见问题解答中明确给出了答案为什么不提供 Iter
Android蓝牙java.io.IOException：bt套接字已关闭，读取返回：-1

我正在尝试编写一个代码仅连接到运行 Android 5 0 KitKat 的设备上的目前唯一配对的设备无论我尝试了多少方法我仍然会收到此错误这是我尝试过的最后一个代码它似乎完成了我看到人们报告为成功的所有事情有人能指出我做错
如何通过注解用try-catch包装方法？

如果应该在方法调用中忽略异常则可以编写以下内容 public void addEntryIfPresent String key Dto dto try Map
添加到列表时有没有办法避免循环？

我想知道这样的代码 List
Java：如何确定文件所在的驱动器类型？

Java 是否有一种独立于平台的方法来检测文件所在的驱动器类型基本上我有兴趣区分硬盘可移动驱动器如 USB 记忆棒和网络共享 JNI JNA 解决方案不会有帮助可以假设 Java 7 您可以使用 Java 执行 cmd fsut
我们如何测试包私有类？

我正在看书Effective Java in Item 13 Minimize the accessibility of classes and members 它提到为了方便测试您可能想让类接口或成员更易于访问这在某种程度上是好的
如何通过 Android 按钮单击运行单独的应用程序

我尝试在 Android 应用程序中添加两个按钮以从单独的两个应用程序订单系统和库存系统中选择一个应用程序如图所示我已将这两个应用程序实现为两个单独的 Android 项目当我尝试运行此应用程序时它会出现直到正确选择窗口但是当按
避免 Java 中的重复导入：继承导入？

有没有办法继承导入 Example 常见枚举 public enum Constant ONE TWO THREE 使用此枚举的基类 public class Base protected void register Constant
我可以限制分布式应用程序发出的请求吗？

我的应用程序发出 Web 服务请求提供商处理的请求有最大速率因此我需要限制它们当应用程序在单个服务器上运行时我曾经在应用程序级别执行此操作一个对象跟踪到目前为止已发出的请求数量并在当前请求超出允许的最大负载时等待现在我们正在
如何在Java中对对象数组进行字段级别排序以进行等级比较？

In Java Class StudentProgress String Name String Grade CTOR goes here main class main method StudentProgress arrayofObje
源值 1.5 的错误已过时，将在未来版本中删除

我使用 scala maven plugin 来编译包含 scala 和 java 代码的项目我已经将源和目标设置为1 7 但不知道为什么maven仍然使用1 5 这是我在 pom xml 中的插件
ECDH使用Android KeyStore生成私钥

我正在尝试使用 Android KeyStore Provider 生成的私有文件在 Android 中实现 ECDH public byte ecdh PublicKey otherPubKey throws Exception try
使用 JFreeChart 为两个系列设置不同的 y 轴

我正在使用 JFreeChart 使用折线图绘制两个数据系列 XYSeries 复杂的因素是其中一个数据系列的 y 值通常远高于第二个数据系列的 y 值假设第一个系列的 y 值约为数百万数量级而第二个数据系列的 y 值约为数百万数量级
如何使用通配符模拟泛型方法的行为

我正在使用 EasyMock 3 2 我想基于 Spring Security 为我的部分安全系统编写一个测试我想嘲笑Authentication http docs spring io autorepo docs spring secu
基于 Spring Boot 的测试中的上下文层次结构

我的 Spring Boot 应用程序是这样启动的 new SpringApplicationBuilder sources ParentCtxConfig class child ChildFirstCtxConfig class sib

随机推荐

C 程序未正确添加浮点数

我有一个看起来像这样的方法 float mutate float organism int i float sign 1 static float newOrg INPUTS 0 for i 0 i
继承自 DbSet ，目的是添加属性

有没有办法继承DbSet 我想添加一些新属性如下所示 public class PersonSet DbSet
如何在 HTML5 画布上绘制多边形？

我需要知道如何在画布上绘制多边形不使用 jQuery 或类似的东西创建一个路径moveTo and lineTo 现场演示 var ctx canvas getContext 2d ctx fillStyle f00 ctx begin
显示mysql计数功能？ [复制]

这个问题在这里已经有答案了 query select count from relationships where leader user id result mysql query query 我怎样才能显示计数谢谢 count mys
会话不活动弹出窗口中的“注销”链接

如何在 liferay 中弹出的会话不活动弹出窗口中添加一个注销链接目前我们在该弹出窗口中没有任何超链接我们只有警告消息请帮助我如何解决这个问题因为我是 liferay 的新手谢谢苏拉夫解决方法如下您可以在 Lifer
在 Windows 上使用 CMake 在 Android Studio 中构建+链接 libpng

我正在尝试在 Windows 10 上使用 Android Studio 和 CMake 启动本机应用程序项目但我一直坚持包含 libpng 首先这是我第一次看到 CMakeLists txt 文件我花了一天时间才弄清楚target
通过在 Swift 中抽取或提取每个第 n 个元素来进行下采样收集的有效方法

我试图通过抽取或提取每个第 n 个元素来对长集合进行下采样这是我的数组扩展得到的内容 func downsampled to threshold Int gt T Validate that threshold falls in vali
UNIX shell 脚本中的“#!/bin/sh”行是什么意思？

我正在浏览一些 shell 脚本教程并找到以下示例程序 bin sh clear echo HELLO WORLD 谁能告诉我这个评论的意义是什么 bin sh一开始是它被称为一个shebang 并告诉父 shell应该使用哪种解释器执行
有效检测Python中的符号变化

我想做这个人所做的事情 Python 计算符号变化但是我需要优化它以使其运行速度超快简而言之我想获取一个时间序列并告诉它每次穿过零改变符号我想记录过零之间的时间由于这是真实数据 32 位浮点数我怀疑每个数字都会为零所以这并不
我是否应该使用互斥锁来保护基元类型上的操作，以便在 C++ 中实现线程安全？

对于相当简单的操作实现线程安全的最佳方法是什么考虑一对函数 void setVal int val this gt val val int getVal return this gt val 由于即使基本类型的赋值也不能保证是原子的我是
将 IUnknowns 的 SAFEARRAY 转换/转换为接口指针的可迭代数组

我在 C 中有以下接口并有一个同名的类没有 I 实现它 ComVisible true Guid B2B134CC 70A6 43CD 9E1E B3A3D9992C3E public interface IOrder long Get
在代码中获取 java.lang.NumberFormatException

Code I have TriangleSummer具有类变量的类 static BufferedReader reader new BufferedReader new InputStreamReader System in 我的主要功能
获取 QuotaExceededException - Azure 通知中心的操作配额限制是什么？

我正在做一些延迟性能测试通过在 foreach 循环中连续发送许多通知使用 Azure 通知中心发送推送通知对于 100 个 SendNotification 请求它工作得很好尽管它相对较慢 14 秒但我得到了一个QuotaE
Android：在 Activity 生命周期中何时调用 onCreateOptionsMenu？

我在其中放置了几个断点onCreate 一个在方法的开头一个在方法的结尾我还在方法的开头放了一个onCreateOptionsMenu The onCreate方法首先被调用并且在它完成之前onCreateOptionsMenu叫做
程序类型已存在：com.squareup.okhttp.Address

我正在尝试配置我的 Android 应用程序以使用 Firebase Cloud Firestore 我也依赖 OKHttp3 Gradle 可以正常同步但我无法编译应用程序并运行它我收到以下错误程序类型已存在 com squareu
替换 Apache Derby 中的字符串

Apache Derby 是否有办法用另一个字符串替换一个字符串我正在寻找类似的东西 select replace bruce bogtrotter bruce john from SYSIBM SYSDUMMY1 Apache Derb
如何将文件指针 ( FILE* fp ) 转换为文件描述符 (int fd)？

我有一个FILE 通过调用返回fopen 我需要从中获取文件描述符以进行类似的调用fsync fd 在上面从文件指针获取文件描述符的函数是什么正确的函数是int fileno FILE stream 它可以在以下位置找到
C# 相当于 AES 的 Java SecretKeySpec

我有以下用java编写的代码我需要 C 等效项 Key key new SecretKeySpec keyValue AES Cipher c Cipher getInstance AES c init 1 key byte encVal
全局赋值、并行和 foreach

我刚刚完成对多组数据的长时间运行分析 24 小时以上因为我很懒不想处理多个R会话并将结果汇总在一起我使用并行运行它们foreach 分析返回一个充满结果和中间对象的环境因此我尝试将结果分配给全局环境却发现这不起作用下面是一
使用 Hive JDBC 执行程序时出错

我为 Hive JDBC 编写了这个小程序最初它执行得很好但是当我现在尝试运行时突然出现错误 Program import java io FileWriter import java io InputStream import jav

使用 Hive JDBC 执行程序时出错

Program:

错误为：

使用 Hive JDBC 执行程序时出错 的相关文章

随机推荐

热门标签

使用 Hive JDBC 执行程序时出错的相关文章