在 EMR 中引导期间获取“现有锁 /var/run/yum.pid:另一个副本正在作为 pid 运行...”

2024-04-08

我需要在我的 EMR 集群 (AMI 3.1.1) 中安装 python3 作为引导步骤的一部分。所以我添加了以下命令:

sudo yum install -y python3

但每次我都会收到以下错误:

Existing lock /var/run/yum.pid: another copy is running as pid 1829.
Another app is currently holding the yum lock; waiting for it to exit...
The other application is: yum

我怎样才能避免这个错误?或者有没有一种方法可以不通过这条路线安装Python 3?


问题在于 Amazon Linux AMI 在启动过程中执行 yum 更新。引导操作可能会与其发生冲突,如此处所示。只需在 yum 安装之前添加几分钟的睡眠即可。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

在 EMR 中引导期间获取“现有锁 /var/run/yum.pid:另一个副本正在作为 pid 运行...” 的相关文章

  • AWS EMR - ModuleNotFoundError:没有名为“pyarrow”的模块

    我在使用 Apache Arrow Spark 集成时遇到了这个问题 将 AWS EMR 与 Spark 2 4 3 结合使用 在本地 Spark 单机实例和 Cloudera 集群上测试了这个问题 一切正常 在spark env sh中设
  • 创建无公共IP地址的EMR集群

    出于安全原因 我希望创建一个 EMR 集群 其中没有为任何实例分配公共 IP 地址 我已经能够在我的 VPC 中启动集群 并使用我自己的自定义安全组 但由于某种原因 默认情况下所有节点都分配了一个公共 IP 地址 我在 EMR CLI 文档
  • 无安装组文件 - CentOS 7 - 组安装

    我每次都在 docker 容器内使用 CentOS 映像yum install
  • Linux - Yum 安装 GCC - 缺少内核头文件

    当我尝试在我的 linux centos 上安装 GCC 时 它会丢失 更新中的 glibc headers 2 5 58 el5 6 4 x86 64 有 depsolving 问题 gt 缺少依赖项 包 glibc headers 2
  • 配置 EMR 以使用 s3a 而不是 s3 进行 Spark.sql 调用

    我对 Spark sql 的所有调用都失败 并在堆栈跟踪中出现错误 1 below 更新 2我已经把注意力集中在这个问题上 它是 sts AssumeRule 的 AccessDenied 任何线索都值得赞赏 User arn aws st
  • Spark 2.2.0 - 如何将 DataFrame 写入/读取 DynamoDB

    我希望我的 Spark 应用程序从 DynamoDB 读取表 执行操作 然后将结果写入 DynamoDB 将表读入 DataFrame 现在 我可以将表从 DynamoDB 读入 SparkhadoopRDD并将其转换为 DataFrame
  • AWS DAX 集群具有零缓存命中和缓存未命中

    我使用的是包含 3 个 dax r4 xlarge 节点类型节点的 AWS DAX 集群 当我从 EMR 集群运行 Spark 应用程序时 它始终从 dynamodb 表中获取值 即使我在同一组密钥上运行相同的应用程序 它也会查询 dyna
  • hive 版本 0.13.1 中的性能问题

    I use AWS EMR http docs aws amazon com ElasticMapReduce latest DeveloperGuide UsingEMR SupportedHiveVersions html运行我的 Hi
  • 未找到 Amazon EMR Pyspark 模块

    我创建了一个 Amazon EMR 集群 其中已包含 Spark 当我从终端运行 pyspark 时 当我通过 ssh 进入集群时 它会进入 pyspark 终端 我使用 scp 上传了一个文件 当我尝试使用 python FileName
  • Athena 在 S3 上查询数据的替代方案

    我身边有300 GBs的数据S3 假设数据如下 S3 Bucket Country Month Day 1 csv S3 Countries Germany 06 01 1 csv S3 Countries Germany 06 01 2
  • 如何在 CentOS 上安装 PySide?

    我想在 CentOS 上安装 ReText 有一个问题 root localhost scripts 2 6 python retext py Traceback most recent call last File retext py l
  • Spark - AWS EMR 集群首选哪种实例类型? [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我正在 EMR Spark 集群上运行一些机器学习算法 我很好奇使用哪种实例才能获得最佳的成本 性能增
  • Amazon Emr - 当我们拥有核心节点时,任务节点需要什么?

    我最近在学习Amazon EMR 据我所知 EMR集群让我们选择3个节点 Master 运行主要 Hadoop 守护进程 如 NameNode 作业跟踪器和资源管理器 运行 Datanode 和 Tasktracker 守护进程的核心 仅运
  • Spark 中简单的 RDD 写入 DynamoDB

    刚刚在尝试将基本 RDD 数据集导入 DynamoDB 时陷入困境 这是代码 import org apache hadoop mapred JobConf var rdd sc parallelize Array Map col1 gt
  • 从 CentOS 7 或 RHEL 7 中完全删除 MariaDB 或 MySQL

    我在 CentOS 7 上安装了 MariaDB 但我在某些配置上遇到了一些问题 现在它完全配置错误 因此 我想用 yum remove mariadb mariadb server 删除MariaDB 然后用 yum install ma
  • 无法在 yum 上下载 caddy 包

    我在 Amazon Linux 上使用 AWS EC2 当我尝试下载 caddy yum install caddy 时 出现以下错误 如屏幕截图所示 编辑 2022 年 11 月 19 日 A H 的回答 https stackoverf
  • 如何仅获取 yum 更新列表

    好吧 我一直有这个问题 我只想使用 yum 从 Linux 系统 RHEL 或 Fedora 通过 bash 脚本在文件中列出可用的更新 但我总是必须处理创建的标头信息 如下所示 Loaded plugins XXXX repo XXXX
  • 在 EMR 4.0 中启动 Spark 时出错

    我创建了一个EMR 4 0AWS 中的实例以及所有可用的应用程序 包括Spark 我通过 AWS 控制台手动完成此操作 我启动了集群并在启动时通过 SSH 连接到主节点 我跑到那里pyspark 当我收到以下错误时pyspark尝试创造Sp
  • KryoSerializer 找不到我的 SparkKryoRegistrator

    我在 Amazon emr 5 2 1 上以客户端模式使用 Spark 2 0 2 我使用 Kryo 序列化并在我们自己的 KryoRegistrator 中注册我们的类 val sparkConf new SparkConf set sp
  • 纱线堆的使用量随着时间的推移而增长

    我们在 AWS EMR 上运行 Spark Streaming 作业 该作业将稳定运行 10 到 14 小时 然后崩溃 并且 stderr stdout 或 Cloudwatch 日志中没有明显错误 在此崩溃之后 任何重新启动作业的尝试都将

随机推荐