我在用着Zeppelin v0.7.3笔记本运行Pyspark脚本。在一段中，我正在运行脚本来写入数据dataframe to a parquetBlob 文件夹中的文件。文件按国家/地区进行分区。数据帧的行数是99,452,829。当脚本达到1 hour，遇到错误 -
400 StatusCode 错误：“要求失败：会话不是
积极的。
我的笔记本的默认解释器是jdbc。我读过关于timeoutlifecyclemanager并添加到解释器设置中zeppelin.interpreter.lifecyclemanager.timeout.threshold并将其设置为7200000但在处理完成 33% 达到 1 小时运行时间后仍然遇到错误。
1 小时超时后，我检查了 Blob 文件夹，parquet 文件已成功写入 Blob，这些文件确实按国家/地区进行了分区。
我正在运行的将 DF 写入 parquet Blob 的脚本如下：
trdpn_cntry_fct_denom_df.write.format("parquet").partitionBy("CNTRY_ID").mode("overwrite").save("wasbs://[email protected] /cdn-cgi/l/email-protection/cbls/hdi/trdpn_cntry_fct_denom_df.parquet")
这是 Zeppelin 超时问题吗？怎样才能延长1小时以上的运行时间呢？谢谢您的帮助。
From 这个堆栈溢出问题的答案对我有用 https://stackoverflow.com/questions/56691950/invalid-status-code-400-from-error-payload-requirement-failed-session-is#_=_
从输出来看，如果您的应用程序未以 FAILED 状态完成，这听起来像是 Livy 超时错误：您的应用程序可能花费比 Livy 会话定义的超时时间（默认为 1 小时）更长的时间，因此即使 Spark应用程序成功 如果应用程序花费的时间超过 Livy 会话的超时时间，您的笔记本将收到此错误。
如果是这种情况，解决方法如下：
1. edit the /etc/livy/conf/livy.conf file (in the cluster's master node)
2. set the livy.server.session.timeout to a higher value, like 8h (or larger, depending on your app)
3. restart Livy to update the setting: sudo restart livy-server in the cluster's master
4. test your code again
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
