永久添加 hive jar

2024-01-12

有什么方法可以永久添加 hive jar,而不是在 hive shell 中的会话级别添加?

任何帮助,将不胜感激


在 hiveserver2 主机中,创建一个类似 /var/lib/hive 的位置,并在该文件夹中添加所有必需的 jar。编辑hive-site.xml并提及财产中所有这些罐子hive.aux.jars.path

Eg: ADD JAR /home/amal/hive/amaludf.jar ADD JAR /home/amal/hive/amaludf2.jar

您可以为所有会话定义它,而不是在每个会话中使用上述命令。

在 hiveserver 主机中创建一个位置来存储这些 jar。

mkdir /var/lib/hive

将所有这些 jar 添加到该目录

将属性设置为hive-site.xml

<property>
  <name>hive.aux.jars.path</name>
  <value>/var/lib/hive</value>
</property>

完成此修改后重新启动 hiveserver2。

您也可以指定各个 jar 的路径,而不是创建目录并放置所有 jar。唯一的条件是所有这些 jar 都应该存在于 hiveserver 主机中。

Eg:

<property>
  <name>hive.aux.jars.path </name>
  <value>file:///home/amal/hive/udf1.jar,file:///usr/lib/hive/lib/hive-hbase-handler.jar</value>
</property>
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

永久添加 hive jar 的相关文章

  • 使用 Hiveql 循环

    我正在尝试合并 2 个数据集 例如 A 和 B 数据集 A 有一个变量 Flag 它有 2 个值 我并没有只是将两个数据合并在一起 而是尝试根据 标志 变量合并两个数据集 合并代码如下 create table new data as se
  • 非 hdfs 文件系统上的 hadoop/yarn 和任务并行化

    我已经实例化了 Hadoop 2 4 1 集群 并且发现运行 MapReduce 应用程序的并行化方式会有所不同 具体取决于输入数据所在的文件系统类型 使用 HDFS MapReduce 作业将生成足够的容器 以最大限度地利用所有可用内存
  • 适用于 Hadoop 的 DynamoDB 输入格式

    我必须使用 Hadoop mapreduce 处理保留在 Amazon Dynamodb 中的一些数据 我在互联网上搜索 Dynamo DB 的 Hadoop InputFormat 但找不到它 我对 Dynamo DB 不熟悉 所以我猜测
  • 我可以在没有 Hadoop 的情况下使用 Spark 作为开发环境吗?

    我对大数据和相关领域的概念非常陌生 如果我犯了一些错误或拼写错误 我很抱歉 我想了解阿帕奇火花 http spark apache org 并使用它仅在我的电脑中 在开发 测试环境中 由于Hadoop包含HDFS Hadoop分布式文件系统
  • HDFS:使用 Java / Scala API 移动多个文件

    我需要使用 Java Scala 程序移动 HDFS 中对应于给定正则表达式的多个文件 例如 我必须移动所有名称为 xml从文件夹a到文件夹b 使用 shell 命令我可以使用以下命令 bin hdfs dfs mv a xml b 我可以
  • Hive:如何分解嵌入 CSV 文件中的 JSON 列?

    从 CSV 文件 带有标题和管道分隔符 中 我得到了以下两个内容 其中包含一个 JSON 列 内部有一个集合 如下所示 第一种情况 使用没有名称的 JSON 集合 ProductId IngestTime ProductOrders 918
  • 处理 oozie 工作流程中的循环

    我有一个 oozie 用例 用于检查输入数据可用性并根据数据可用性触发 MapReduce 作业 所以我编写了一个 shell 脚本来检查输入数据 并在 oozie 中为其创建了一个 ssh 操作 输入数据检查的重试次数和重试间隔应该是可配
  • Pig 10.0 - 将元组分组并在 foreach 中合并包

    我在用着Pig 10 0 我想在 foreach 中合并包 假设我有以下内容visitors alias a b 1 2 3 4 a d 1 3 6 a e 7 z b 1 2 3 我想对第一个字段上的元组进行分组 并将包与一组语义合并以获
  • Hadoop 推测任务执行

    在Google的MapReduce论文中 他们有一个备份任务 我认为这与Hadoop中的推测任务是一样的 推测任务是如何实现的 当我启动一项推测任务时 该任务是从一开始就作为较旧且缓慢的任务开始 还是从较旧的任务到达的位置开始 如果是这样
  • Talend 和 Apache Spark?

    我对 Talend 和 Apache Spark 在大数据生态系统中的定位感到困惑 因为 Apache Spark 和 Talend 都可以用于 ETL 有人可以用一个例子解释一下吗 Talend 是一种基于工具的大数据方法 通过内置组件支
  • Apache hadoop 版本 2.0 与 0.23

    Hadoop 的版本和发行版太多 让我很困惑 我有几个问题 Apache Hadoop 1 x 是从 0 20 205 开始的 Apache Hadoop 2 0 是从 0 22 还是 0 23 开始 根据这个blogpost http b
  • 从 Spark 访问 Hdfs 会出现令牌缓存错误 Can't get Master Kerberosprincipal for use as renewer

    我正在尝试运行测试 Spark 脚本 以便将 Spark 连接到 hadoop 脚本如下 from pyspark import SparkContext sc SparkContext local Simple App file sc t
  • java.lang.ClassNotFoundException:找不到类 org.apache.hadoop.fs.azurebfs.SecureAzureBlobFileSystem

    我是 Spark 和 Kubernetes 世界的新手 我使用 docker image tool sh 实用程序使用与 Hadoop 3 2 捆绑在一起的官方 Spark 3 0 1 构建了 Spark docker 映像 我还为 Jup
  • 使用 impala 按范围连接表的有效方法

    我第一个有下表 Range 包括值范围和附加列 row From To Country 1 1200 1500 2 2200 2700 3 1700 1900 4 2100 2150 The From and Toare bigint并且是
  • 如何将 Pandas 数据框保存到配置单元表?

    我有 pandas 数据框 我正在尝试找到将数据框数据保存到配置单元表的最佳方法 一种方法是保存到 csv 文件并将其加载到 hive 表 有一个更好的方法吗 None
  • 将 Spark 添加到 Oozie 共享库

    默认情况下 Oozie 共享 lib 目录提供 Hive Pig 和 Map Reduce 的库 如果我想在 Oozie 上运行 Spark 作业 最好将 Spark lib jar 添加到 Oozie 的共享库 而不是将它们复制到应用程序
  • 是否可以使用 Java 读写 Parquet,而不依赖 Hadoop 和 HDFS?

    我一直在寻找这个问题的解决方案 在我看来 如果不引入对 HDFS 和 Hadoop 的依赖 就无法在 Java 程序中嵌入读写 Parquet 格式 它是否正确 我想在 Hadoop 集群之外的客户端计算机上进行读写 我开始对 Apache
  • 无法在 Windows 10 中启动 Spark Master

    我是 Spark 新手 我正在尝试手动启动 master 在 Windows 10 中使用 MINGW64 当我这样做时 Downloads spark 1 5 1 bin hadoop2 4 spark 1 5 1 bin hadoop2
  • 在蜂巢中出现错误

    当我连接到 ireport 时 如果说在 hive shell 中显示表 则会出现此错误 元数据错误 java lang RuntimeException 无法实例化 org apache hadoop hive metastore Hiv
  • 为什么我们需要将外部表移动到托管 Hive 表?

    我是 Hadoop 新手 正在学习 Hive 在 Hadoop 权威指南第 3 版中 第 12 页 第428章 最后一段 我不明白下面关于 HIVE 中外部表的段落 一种常见的模式是使用外部表访问存储在 HDFS 中的初始数据集 由另一个进

随机推荐

  • jQuery Sortable - 取消和恢复未按预期工作

    问题 问题的 jsFiddle 演示 http jsfiddle net 9THR9 我遇到了一些麻烦revert与一起使用时的设置canceljQuery 中的可排序方法 取消方法 如文档中所述jQuery 可排序文档 http jque
  • 使用c#选择excel中的工作表

    在 Visual Studio 2008 中使用 NET 3 5 中的 C 我尝试在打开的工作簿中设置焦点 或激活 特定工作表 以下是一些属性 public Excel Application xlApp get set public Ex
  • 如何在 HTTP 请求中接收客户端证书?

    我已经生成了自签名 SSL 证书并发送给客户 每次客户端发送 REST 请求时 我都会在服务器上进行客户端证书身份验证 我需要在java代码中获取证书的数据 我怎么做 我使用了球衣框架 您可以使用 Context 注解来提取 HttpSer
  • SUMIFS) 与 VLOOKUP

    我正在尝试将 VLOOKUP 函数与 sumif 函数一起使用 我有一个下拉框 其中包含名称列表和组合列表 e g Salesman1 Salesman2 Salesman3 Salesman4 Salesman5 Salesman6 Re
  • 如何配置发布配置文件以使用 NTLM 身份验证

    在 Visual Studio 2012 中 使用发布配置文件和 Web 部署大大简化了部署 然而它仍然缺少一些东西 或者可能我还不知道如何使用它 我更喜欢使用 NTLM 身份验证 而不将用户名和密码 尤其是 存储在发布配置文件中 如何才能
  • 批处理文件中的子程序

    给出以下代码 Echo off ECHO Start ECHO Calling SUB A CALL SUB A ECHO Calling SUB B CALL SUB B SUB A ECHO In SUB A GOTO EOF SUB
  • Mac 光标文件夹

    我已经研究了几个小时了 我想找到我的 Mac 系统默认光标 没有任何鼠标悬停 我只想要默认光标 我正在运行旧版本的 Mac 之一 即 10 4 11 有人告诉我光标在这里 System Library Frameworks Applicat
  • mysql SELECT NOT IN () -- 不相交集?

    我在查询工作时遇到问题 我认为这应该有效 它的形式是 SELECT DISTINCT a b c FROM t1 WHERE NOT IN SELECT DISTINCT a b c FROM t2 AS alias 但是 mysql 在
  • 收到内存警告和应用程序崩溃[关闭]

    很难说出这里问的是什么 这个问题是含糊的 模糊的 不完整的 过于宽泛的或修辞性的 无法以目前的形式得到合理的回答 如需帮助澄清此问题以便重新打开 访问帮助中心 help reopen questions 由于收到内存警告 我的应用程序崩溃了
  • git 仅推送一个文件到 Heroku

    是否可以只将一个文件推送到 Heroku 而不是关闭所有已更改的文件 谢谢 不会 Git 跟踪内容而不是文件 因此您要么推送全部内容 要么不推送任何内容 如果有您不想推送的文件 请将它们添加到 gitignore文件 但是 如果您已经提交了
  • C_CPP.intellisense 已禁用。如何再次启用

    我在 Visual Studio 代码中尝试过的扩展似乎禁用了 C C 智能感知 无法再次开启 修改设置对话框中的设置没有任何效果 证据 切换源 标头会导致弹出消息 指出 C CPP intellisense 设置为禁用 现在花了几个小时
  • 我可以为 localhost 配置 cron 作业吗

    这是一个单行问题 我不知道如何描述它 mysystem config os windows Xp server Wamp server latest 这可能吗 Cron 是类 Unix 计算机操作系统中基于时间的作业调度程序 这意味着您无法
  • 为什么 OpenMP 缩减子句对于静态调度循环是不确定的?

    我一直在从事一个多 GPU 项目 在该项目中我在获得非确定性结果方面遇到了问题 当我发现由于 CPU 上执行的归约子句而获得非确定性结果时 我感到很惊讶 在书里使用 OpenMP 下一步据说 线程组合其值来构建的顺序 共享结果的价值是不确定
  • 有没有办法拦截和修改asp.net中的html输出流,以结合javascript?

    有没有办法拦截asp net中的HTML输出流并进行修改 例如使用httpmodules之类的 我知道使用 java servlet 是可能的 并且假设必须有一种优雅的方法来使用 ASP NET 来做到这一点 我的目的是将许多 JavaSc
  • 如何为 pytest 测试类的所有方法共享同一个实例

    我有一个简单的测试课 pytest mark incremental class TestXYZ def test x self print self def test y self print self def test z self p
  • JPA:OptimisticLockException 和级联

    在我当前的项目中 我将 Spring Data JPA 与 Hibernate 结合使用 但将此视为一个更普遍的问题 也应该涵盖 普通 JPA 我不确定我应该如何处理OptimisticLockException使用时 Version 由于
  • 如何修复 FileNotFoundError: [WinError 2] 系统找不到 AudioSegment.from_mp3() 指定的文件

    我一直在尝试找到视频音频中音频静音空间的位置 但我无法通过在 python 3 中使用 pydub 导入音频文件 我已经尝试将 pydub 检查 ffmpeg 的目录更改为项目内的目录 并且该文件位于我运行脚本的目录中 但它似乎仍然返回相同
  • GitLab 页面:可以从项目 wiki 生成静态站点吗?

    所以我知道 GitLab 页面可用于从项目的存储库生成静态网站 然而 我想做的是从项目生成一个静态站点wiki 这是一个单独的存储库 我还知道我可以将静态站点生成器挂钩到 webhook 事件以通知 wiki 更改 我正在尝试弄清楚这个明显
  • jQuery - 是否可以复制和粘贴 HTML?

    jQuery 是否可以复制和粘贴 HTML 从一个例子开始 如果我有以下 HTML 行 div somethings like 100 lines of code div 我想知道我是否可以将此 div 复制并粘贴多次 我尝试放置一个 jQ
  • 永久添加 hive jar

    有什么方法可以永久添加 hive jar 而不是在 hive shell 中的会话级别添加 任何帮助 将不胜感激 在 hiveserver2 主机中 创建一个类似 var lib hive 的位置 并在该文件夹中添加所有必需的 jar 编辑