Dataproc 作业中应该有成功/失败/待处理状态,当然我可以在 Cloud Console 上 Dataproc 下的作业部分中看到该状态。
但是,如何在云监控/stackdriver 中可视化所有这些状态?
已经尝试过记分卡图表并使用指标submitted jobs
但它给了我 0.013/s 的输出,是否可以显示所有已提交作业的计数?例如:100(当我向 Dataproc 集群提交 100 个作业时)
我也看到了failed jobs
在云监控中创建仪表板时添加了指标,但作业未成功,是否可以添加此指标?或者也许我遗漏了一些步骤(抱歉,我在日志记录和监控方面相对较新)。
已经遵循此文档:https://cloud.google.com/dataproc/docs/guides/logging https://cloud.google.com/dataproc/docs/guides/logging并在创建 dataproc 集群时将其添加为属性:
dataproc:dataproc.logging.stackdriver.job.driver.enable=true
dataproc:dataproc.logging.stackdriver.enable=true
dataproc:jobs.file-backed-output.enable=true
dataproc:dataproc.logging.stackdriver.job.yarn.container.enable=true
选项1:
- 在导航菜单下选择日志记录
- 在“日志”下输入(单击文本框右侧的向下箭头,然后选择“转换为高级过滤器”)
resource.type="cloud_dataproc_cluster"
resource.labels.cluster_name=[cluster_name]
jsonPayload.message:"completed with exit code"
- 单击“提交”,调整时间范围(最近一小时、最近 6 小时等)
- 单击“创建指标”链接
- 在指标编辑器上输入名称
- 选择 Type=Counter 然后单击“创建指标”
您现在将看到用户定义的指标,单击刚刚创建的指标右侧的三个垂直点,然后单击根据指标创建警报 https://cloud.google.com/logging/docs/logs-based-metrics#logs-based_metrics_interface
选项2:
使用自定义指标 https://cloud.google.com/monitoring/custom-metrics创建您自己的指标。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)