I use getLastProcessedVal2
hive 中的 UDF 从表中获取最新分区。这个UDF是用java编写的。我想使用 hive 上下文中的 pyspark 中的相同 UDF。
dfsql_sel_nxt_batch_id_ini=sqlContext.sql(''' select l4_xxxx_seee.**getLastProcessedVal2**("/data/l4/work/hive/l4__stge/proctl_stg","APP_AMLMKTE_L1","L1_AMLMKT_MDWE","TRE_EXTION","2.1")''')
Error:
错误 exec.FunctionRegistry:无法加载 UDF 类:
java.lang.ClassNotFoundException:
开始你的pyspark
外壳为:
pyspark --jars /path/to.udf.jar <all-other-param>
OR
提交您的 pyspark 作业--jars
选项为:
spark-submit --jars /path/to/udf.jar <all-other-param>
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)