Oozie shell 操作未作为提交用户运行

2024-02-28

我编写了一个 Oozie 工作流程,它运行 BASH shell 脚本来执行一些配置单元查询并对结果执行一些操作。该脚本运行但在访问某些 HDFS 数据时抛出权限错误。提交 Oozie 工作流的用户具有权限,但脚本以纱线用户身份运行。

是否可以让 Oozie 以提交工作流的用户身份执行脚本? Hive 和 Java 操作都以提交的用户身份执行,只是 shell 的行为不同。

这是我的 Oozie 操作的粗略轮廓

<action name="start_action"
        retry-max="12"
        retry-interval="600">
    <shell xmlns="uri:oozie:shell-action:0.1">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <job-xml>${WorkflowRoot}/hive-site.xml</job-xml>
        <exec>script.sh</exec>
        <file>${WorkflowRoot}/script.sh</file>
        <capture-output />
    </shell>
    <ok to="next_action"/>
    <error to="send_email"/>
</action>

我正在运行 Oozie 4.1.0 和 HDP 2.1。


使用 Simple Security 配置的所有集群都会出现此问题。您可以选择覆盖默认配置。在 shell 脚本的开头包含以下语句将解决此问题。

export HADOOP_USER_NAME=<Name of submitted user>;
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Oozie shell 操作未作为提交用户运行 的相关文章

  • 在 shell 脚本中查找和替换

    是否可以使用 shell 在文件中搜索然后替换值 当我安装服务时 我希望能够在配置文件中搜索变量 然后在该值中替换 插入我自己的设置 当然 您可以使用 sed 或 awk 来完成此操作 sed 示例 sed i s Andrew James
  • 列出破折号中当前定义的函数?

    我想列出当前定义的函数dash 有什么办法可以做到这一点吗 我能想到的最接近的是type它可以用来测试一个函数是否存在 但除此之外我很困惑 附 我说的是dash在这里 不是bash or zsh 看看 exec c 似乎没有 没有 表是静态
  • 猪参考

    我正在学习 Hadoop Pig 并且我总是坚持引用元素 请查找下面的示例 groupwordcount group chararray words bag of tokenTuples from line token chararray
  • Bash 脚本大小限制?

    我有一个 bash 脚本 在 RHEL 或 OS X 上运行时出现以下错误 第 62484 行 意外标记 换行符 附近出现语法错误 第 62484 行 o gz 这是一个自动生成的脚本 用于解决我公司使用的 Grid Engine 计算集群
  • 在 Fish Shell 中设置导出

    我安装了多个版本的 PHP 对于我的正常开发 我总是使用通过自制程序安装的 PHP 5 5 x 在鱼壳里 which php php version gt usr local bin php gt PHP 5 5 8 cli built J
  • 如何使用 bash 显示具有两个子文件夹的文件夹?

    我通过 Cygwin 使用 bash 我有一个大文件夹 a 有很多子文件夹 b 这些子文件夹各有一个或两个子文件夹 c 我想找到所有有两个子文件夹 c 的子文件夹 b 并输出它们 结构如下 a b1 c1 b2 c1 c2 b3 c1 c2
  • bash 变量中的 Linux 鞭尾/对话框参数错误

    有人可以解释为什么下面的代码不起作用吗 我要疯狂地想找出答案 bin bash TEST M1 1 wire Interface ON echo TEST RESULT dialog title Config Modules State c
  • 在映射器的单个输出上运行多个减速器

    我正在使用地图缩减实现左连接功能 左侧有大约 6 亿条记录 右侧有大约 2300 万条记录 在映射器中 我使用左连接条件中使用的列来创建键 并将键值输出从映射器传递到减速器 我遇到性能问题 因为两个表中的值数量都很高的映射器键很少 例如分别
  • shell_exec 的输出被截断为 100 个字符

    当在 shell 中运行以下命令时 curl F file filename http 192 168 0 1 产生以下输出 Accuracy 0 0 1 classification Accuracy 0 0 1 classificati
  • 在bash中,是否有相当于“错误消息”的东西

    在 perl 中 您可以使用错误消息退出die some msg bash 中是否有等效的单个命令 现在 我正在使用命令来实现这一点 echo some msg exit 1 你可以很容易地自己推出 die echo 1 gt 2 exit
  • 使用 find - 删除除任何一个之外的所有文件/目录(在 Linux 中)

    如果我们想删除我们使用的所有文件和目录 rm rf 但是 如果我希望一次性删除除一个特定文件之外的所有文件和目录怎么办 有什么命令可以做到这一点吗 rm rf 可以轻松地一次性删除 甚至可以删除我最喜欢的文件 目录 提前致谢 find ht
  • 从 PL/SQL 调用 shell 脚本,但 shell 以 grid 用户而非 oracle 身份执行

    我正在尝试使用 Runtime getRuntime exec 从 Oracle 数据库内部执行 shell 脚本 在 Red Hat 5 5 上运行的 Oracle 11 2 0 4 EE CREATE OR REPLACE proced
  • shell脚本中关联数组的时间复杂度

    我想知道在 shell 脚本中使用关联数组时如何构造 实现 另外 我想知道基于 shell 脚本的关联数组的时间复杂度是否是最佳的 因为我们可以使用字母和数字作为它们各自的键 编辑 他们使用什么哈希函数 如果您使用关联数组 则不能通过 使用
  • 如何执行“sudo nvm”?

    在我的 Mac 上 我想将一些需要 su 权限的包迁移到另一个节点版本 我使用 homebrew 安装 nvm 现在我需要执行 sudo nvm 或 reinstall packages将失败 me MacBook sudo nvm sud
  • 非 hdfs 文件系统上的 hadoop/yarn 和任务并行化

    我已经实例化了 Hadoop 2 4 1 集群 并且发现运行 MapReduce 应用程序的并行化方式会有所不同 具体取决于输入数据所在的文件系统类型 使用 HDFS MapReduce 作业将生成足够的容器 以最大限度地利用所有可用内存
  • 如何将SQL数据加载到Hortonworks中?

    我已在我的电脑中安装了 Hortonworks SandBox 还尝试使用 CSV 文件 并以表结构的方式获取它 这是可以的 Hive Hadoop nw 我想将当前的 SQL 数据库迁移到沙箱 MS SQL 2008 r2 中 我将如何做
  • 添加要在给定命令中运行的 .env 变量

    我有一个 env 文件 其中包含如下变量 HELLO world SOMETHING nothing 前几天我发现了这个很棒的脚本 它将这些变量放入当前会话中 所以当我运行这样的东西时 cat env grep v xargs node t
  • 我可以在没有 Hadoop 的情况下使用 Spark 作为开发环境吗?

    我对大数据和相关领域的概念非常陌生 如果我犯了一些错误或拼写错误 我很抱歉 我想了解阿帕奇火花 http spark apache org 并使用它仅在我的电脑中 在开发 测试环境中 由于Hadoop包含HDFS Hadoop分布式文件系统
  • Windows 上的 Apache Pig 在运行“pig -x local”时出现“hadoop-config.cmd”未被识别为内部或外部命令”错误

    如果您由于以下错误而无法在 Windows 上运行 Apache Pig hadoop 2 4 0 bin hadoop config cmd is not recognized as an internal or external com
  • 如何从hdfs读取文件[重复]

    这个问题在这里已经有答案了 我在 project1目录下的hadoop文件系统中有一个文本文件名mr txt 我需要编写 python 代码来读取文本文件的第一行 而不将 mr txt 文件下载到本地 但我无法从 hdfs 打开 mr tx

随机推荐

  • Python 纯虚函数可能和/或值得吗?

    我可能有不同的心态 主要是一名 C 程序员 这个问题与 Python 中的 OOP 有关 更具体地说 与纯虚拟方法有关 所以采用我改编的代码这个问题 https stackoverflow com questions 4714136 pyt
  • 在 R 中使用 ggmap 和 Stamen 地图进行映射:标记点和比例

    我正在尝试使用 ggmap 和 Stamen 地图制作我的研究地点的地图 我见过一些类似的问题 但还没有找到将解决方案合并到我的 Stamen 地图代码中的方法 对此我有两个问题 1 如何自定义标记地图上的点 2 如何在Stamen地图中为
  • 在 Eloquent 中使用 withTrashed 处理关系

    有没有办法使用withTrashed与 Eloquent 中的关系 我需要的是这个 我有桌子和模型Mark和另一张桌子User User有很多Mark and Mark属于User 所以我在 Eloquent 模型中定义了它 现在我需要获取
  • Postgres 中的多语句查询

    我希望向 Postgres 数据库发送多个读取查询 以减少需要前往令人痛苦的远程数据库的次数 有什么东西在libpq支持这种行为 是的 您可以使用异步处理函数 http www postgresql org docs current sta
  • 更改为 .gitattributes 后 Git 重新签出文件

    我有一个存储库 其中包含一个错误地以 LF 行结尾提交的文件 但它需要有 CRLF 行结尾 为了解决这个问题 我添加了一个 gitattributes 文件以在签出时强制执行正确的行结尾 这似乎解决了签出新存储库时的问题 但现有的签出拒绝更
  • 使用 webpack 在 Laravel 5 中将插件安装到 CKEditor 5

    我在将插件安装到集成到 Laravel 5 6 的 CKEditor 时遇到了一个小问题 根据 CKEditor 文档的集成指南 我能够添加 ckeditor ckeditor5 build classic https www npmjs
  • WordPress wp_enqueue_script 不工作

    我正在开发一个主题并尝试让 wp enqueue script 工作 奇怪的是 什么也没有出现 它没有任何作用 这是我的设置 在functions php中我有 function named scripts global named opt
  • VBA创建对象

    自 1 月 10 日起 我就被困在这条代码线上 我在一封电子邮件中收到了它 我发现我必须学习课程模块 所以我做了 现在又回来询问新的基础 代码行是 严重警告 您必须转到 VBE 中的 工具 gt 参考 并激活Microsoft WinHTT
  • SSIS 顺序处理

    我在同一数据流任务中有 5 个独立的数据流 每个数据流都有源和目的地 我怎样才能让它们按顺序运行 它们似乎并行运行 我可能会在不同的数据流任务中执行此操作 但我怎样才能在单个数据流任务中做到这一点 同一任务中不要有独立的数据流 我知道导入
  • 如何使用 scanf() 获取任意数量的整数? [关闭]

    很难说出这里问的是什么 这个问题是含糊的 模糊的 不完整的 过于宽泛的或修辞性的 无法以目前的形式得到合理的回答 如需帮助澄清此问题以便重新打开 访问帮助中心 help reopen questions 该程序采用任意数量的整数作为输入 并
  • Swift 中采用类型名称的通用函数

    在 C 中 可以通过指定类型来调用泛型方法 public T f
  • iOS 8 今天的小部件在一段时间后停止工作

    我为德国冰球联赛 DEL 制作了一个今日小部件 我正在从我们的服务器加载下一个游戏并在 tableView 中显示它们 加载过程在建议的方法 widgetPerformUpdateWithCompletionHandler 中启动 最初我在
  • 读取 utf-8 编码文件时,Path.read_text(pathlib)出现意外结果

    今天我了解到open filename read 我们不能指望绑定到隐藏文件对象的资源会立即返回 尽管我在我的系统上观察到了这一点 看接受的答案 https stackoverflow com a 7409814 2932052问题的读取整
  • 无法自动装配字段

    我在用着Hibernate 4 Spring MVC 4当我开始时Apache Tomcat Server 8我收到这个错误 Error creating bean with name welcome Injection of autowi
  • 如何将 netcat 中的 tcp 数据放入变量中?

    我已经用通常的方式设置了服务器nc lk
  • 如何在 jQuery 中向数组添加项目?

    var list getJSON json js function data each data function i item console log item text list push item text console log l
  • 如何在本机反应中同步两个滚动视图?

    我的要求是创建一个具有固定标题和第一列的表格 表格数据将在水平和垂直方向上滚动 for this I have used 3 scrollviews following gif will make it clear 第一个滚动视图是标题名称
  • Laravel Blade @foreach 不工作

    我正在学习 Laravel 4 到目前为止一切顺利 但由于某些奇怪的原因 blade 的 foreach 似乎不适用于简单的查询 我的代码是 Route Route get users function users User all ret
  • 如何在大小写敏感模式下在 gfortran 中编译?

    是否可以编译 fortran 90 95 代码gfortran with 区分大小写 我搜索了手册 但找不到任何可以给 gfortran 的标志或选项以使其区分大小写 我希望大写和小写的变量不同 那么 有可能吗 没有这样的标志或选项 当然
  • Oozie shell 操作未作为提交用户运行

    我编写了一个 Oozie 工作流程 它运行 BASH shell 脚本来执行一些配置单元查询并对结果执行一些操作 该脚本运行但在访问某些 HDFS 数据时抛出权限错误 提交 Oozie 工作流的用户具有权限 但脚本以纱线用户身份运行 是否可