我在 shell 驱动程序脚本中的 Spark-submit 之前调用 kinit keytab。问题是，它本身可以工作，但是当我通过 Oozie 调用 shell 驱动程序脚本时，出现以下错误：
Stdoutput py4j.protocol.Py4JJavaError: An error occurred while calling
o49.saveAsTextFile.
Stdoutput : org.apache.hadoop.ipc.RemoteException(java.io.IOException):
Delegation Token can be issued only with kerberos or web authentication
问题大概出在这里
file.coalesce(1,True).saveAsTextFile(FQDNofHadoop+output)
编辑：在我的脚本中是： kinit -k -t /home/me/me.keytab[电子邮件受保护] /cdn-cgi/l/email-protection
编辑：工作解决方案：
I used
spark-submit --principal '[email protected] /cdn-cgi/l/email-protection' \ --keytab '/home/me/me.keytab' \
在 oozie 中执行 pyspark 脚本没有错误（甚至写入 hive 表等）。 Log4j 记录器不起作用（它可以使用独立脚本），但至少 print() （标准输出到纱线日志中）是...
Thx
我用了 --principal '[电子邮件受保护] /cdn-cgi/l/email-protection' \ --keytab '/home/me/me.keytab' \ 和 pyspark 脚本的执行没有错误（甚至写入配置单元表等）。记录器不起作用，但至少 print() 是的......
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
