我正在尝试为数据工程项目构建数据管道,在S3、Glue、Athena等的帮助下,我在设置胶水爬虫以对数据进行索引时陷入困境。
即使我根据需要设置了角色,但仍然出现以下错误。
{"service":"AWSGlue","statusCode":400,"errorCode":"AccessDeniedException","requestId":"7bd42729-
bc4b-4e22-af2a-553860002c64","errorMessage":"Account 834025784276 is denied
access.","type":"AwsServiceError"}
我知道这是一个老问题,但想提供有关我们在该问题上的经验的反馈,因为我们在互联网上没有找到太多信息。
因此,我们开始遇到这个问题的时间对我们来说似乎有点随机,因为我们使用该服务已有 3 个月了,该帐户是在 2 年前创建的。
我们确实联系了 AWS 支持,他们采取了几个步骤来调查该问题:
- AWS Glue 的技术调查:一切似乎都很好
- AWS 欺诈评估:得到否定结果(未检测到欺诈)
- AWS“遏制分数”评估和提高:解决了问题
有趣的是,我们遇到了另一个服务(CodePipeline,它无法再启动新的 CodeBuild)的问题,这导致了类似的解决方案,并且我们找到了遏制分数的解释:https://towardsaws.com/containment-score-of-aws-3a893231e948
作为 TLDR;如果链接断开:
作者遇到了无法启动 CodeBuild 构建的问题,提示“该帐户的队列中不能有超过 0 个构建”
支持工程师提到了“遏制分数”:
根据下表和评分,该账户的并发限制为0,
0 到 200 并发限制为 0
201 及更多(并发构建限制为 1)
251 及更多(并发构建限制为 5)
301 及更多(并发构建限制为 150)
901 及以上(并发构建限制为 300)
需要提高遏制分数才能解决此问题。
因此,AWS 似乎会针对每个帐户进行评估,并根据其使用情况提供一个“遏制分数”,允许设置服务的使用限制,并可能避免在发生黑客攻击或其他情况时疯狂扩大规模。我不知道这个分数是“每项服务”还是“全局”(可能是“每项服务”)
因此,如果您遇到这种情况,请务必向支持工程师提及,因为这可以帮助解决问题。对于我们来说,找到解决方案大约需要 5 天的时间,如果您正在考虑生产环境阻塞问题,这将是一个疯狂的延迟。
希望这可以帮助!
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)