AWS EMR 在集群中所有已运行的计算机上执行“引导”脚本

2023-12-19

我有一个 24/7 全天候运行的 EMR 集群。我无法将其关闭并启动新的。

我想做的是在已经运行的集群上执行引导操作之类的操作,最好使用 Python 和 boto 或 AWS CLI。

我可以想象分两步完成此操作:

1)在所有正在运行的实例上运行脚本(如果可以以某种方式实现,例如从 boto 实现,那就太好了)

2)将脚本添加到引导操作中,以应对我想要调整集群大小的情况。

所以我的问题是:使用 boto 或至少使用 AWS CLI 是否可以实现类似的操作?我正在查看 github 上的文档和源代码,但我无法弄清楚如何在集群已经运行时添加新的“引导”操作。


迟到的答案,但我会尝试一下:

那会很艰难。

您可以安装 Amazon SSM 代理并使用远程命令界面在所有实例上启动命令。但是,您必须为实例分配适当的 SSM 角色,这将需要重建集群 AFAIK。但是,任何未来的命令都不需要重建。

然后,您将能够使用 CLI 在所有节点上运行命令(也可能是 boto,尚未检查)。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

AWS EMR 在集群中所有已运行的计算机上执行“引导”脚本 的相关文章

  • 为什么我的代码不能根据字典解码加密字符串?

    我有一本字典 其中包含代表字母的键和值 例如一个简单的 DICT CODE b g n a p o x d t y 我收到了一个加密代码 并将该字符串转换为一个列表 其中每个项目都是一个单词 我需要根据字典中的项目来解决它 代码示例是 wo
  • TF map_fn 或 while_loop 用于不同形状的张量列表

    我想处理不同形状的张量序列 列表 并输出另一个张量列表 考虑每个时间戳上具有不同隐藏状态大小的 RNN 就像是 输入 tf ones 1 2 2 tf ones 2 2 3 tf ones 3 2 1 输出 tf zeros 1 2 4 t
  • 了解 Python 中的酸洗

    我最近接到一项作业 需要以腌制形式放置一本字典 其中每个键引用一个列表 唯一的问题是我不知道腌制形式是什么 谁能给我指出一些好的资源的正确方向来帮助我学习这个概念 pickle 模块实现了一个基本但强大的算法 用于序列化和反序列化 Pyth
  • 当单词以“|”分隔时如何读取文件(埃因霍温)?

    在Python中 我有一个文件 其中的单词由 例如 city state zipcode 我的文件阅读器无法区分单词 另外 我希望我的文件阅读器从第 2 行而不是第 1 行开始 如何让我的文件阅读器分隔单词 import os import
  • numpy 使用 datetime64 进行数字化

    我似乎无法让 numpy digitize 与 datetime64 一起使用 date bins np array np datetime64 datetime datetime 2014 n 1 s for n in range 1 1
  • 登录网站并使用 python 请求下载文件

    我有一个带有 HTML 表单的网站 登录后 它会将我带到 start php 站点 然后将我重定向到overview php 我想从该服务器下载文件 当我单击 ZIP 文件的下载链接时 链接后面的地址是 getimage php path
  • Pandas 滚动窗口 Spearman 相关性

    我想使用滚动窗口计算 DataFrame 两列之间的 Spearman 和 或 Pearson 相关性 我努力了df corr df col1 rolling P corr df col2 P为窗口尺寸 但我似乎无法定义该方法 添加meth
  • 与 while 循环一样,如何跳过 for 循环中的步骤?

    我尝试像 while 循环一样跳过 for 循环中的几个步骤 在 while 循环中 步骤根据特定条件进行调整 如下面的代码所示 i 0 while i lt 10 if i 3 i 5 else print i i i 1 result
  • 在Python中计算内存碎片

    我有一个长时间运行的进程 不断分配和释放对象 尽管正在释放对象 但 RSS 内存使用量会随着时间的推移而增加 如何计算发生了多少碎片 一种可能性是计算 RSS sum of allocations 并将其作为指标 即便如此 我该如何计算分母
  • django-admin.py makemessages 不起作用

    我正在尝试翻译一个字符串 load i18n trans Well Hello there how are you to Hola amigo que tal 我的 settings py 文件有这样的内容 LOCALE PATHS os
  • 将文本注释到轴并对齐为圆

    我正在尝试在轴上绘制文本并将该文本与圆对齐 更准确地说 有一些具有不同坐标 x y 的点位于该圆内 并使用以下命令创建 ax scatter x y s 100 我想用圆圈连接并标记每个点 Cnameb 文本的坐标由 xp yp 定义 因此
  • 由于 json 字符串化 dict 键导致数据丢失

    考虑下面的例子 gt gt gt import json gt gt gt d 0 potato 0 spud gt gt gt json dumps d 0 potato 0 spud gt gt gt json loads json d
  • Python]将两个文本文件合并为一个(逐行)[关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 我是蟒蛇新手 我想做的是将文件 a 和文件 b 逐行合并到一个文件中 例如 text file a a n b n c text fi
  • 如何将回溯/sys.exc_info() 值保存在变量中?

    我想将错误名称和回溯详细信息保存到变量中 这是我的尝试 import sys try try print x except Exception ex raise NameError except Exception er print 0 s
  • 对数据帧的每 2 小时数据进行 Groupby

    我有一个数据框 Time T201FN1ST2010 T201FN1VT2010 1791 2017 12 26 00 00 00 854 69 0 87 1792 2017 12 26 00 20 00 855 76 0 87 1793
  • 为什么 smtplib.SMTP().sendmail 不发送 DKIM 签名邮件

    我已经在服务器上设置了 postfix 以及 openDKIM 当我跑步时 echo Testing setup mail s Postfix test my email address 我收到电子邮件 邮件标题中有一个DKIM Signa
  • 如何在 robobrowser-python 中发出 POST 请求

    http robobrowser readthedocs org en latest api html http robobrowser readthedocs org en latest api html 我正在尝试使用 APIbrows
  • 更改 Python Cmd 模块处理自动完成的方式

    我有一个 Cmd 控制台 设置为自动完成 Magic the Gathering 收藏管理系统的卡牌名称 它使用文本参数在数据库中查询卡片 并使用结果自动完成 建议卡片 然而 这些卡片名称有多个单词 Cmd 会从last到行尾的空间 例如
  • 如何循环遍历字典列表并打印特定键的值?

    我是 Python 新手 有一个问题 我知道这是一个非常简单的问题 运行Python 3 4 我有一个需要迭代并提取特定信息的列表 以下是列表 称为部分 的示例 已截断 数千个项目 state DEAD id phwl type name
  • 在 Django shell 会话期间获取 SQL 查询计数

    有没有办法打印 Django ORM 在 Django shell 会话期间执行的原始 SQL 查询的数量 Django 调试工具栏已经提供了此类信息 例如 5 QUERIES in 5 83MS但如何从 shell 中获取它并不明显 您可

随机推荐

  • “AxesSubplot”对象没有属性“get_axis_bgcolor”

    我正在尝试运行底图示例here https matplotlib org basemap users geography html我遇到错误 AxesSubplot 对象没有属性 get axis bgcolor 当我尝试该网站的第一个示例
  • 应用商店连接拒绝构建,因为缺少 NSBluetoothAlwaysUsageDescription 密钥

    我使用 Xcode 10 3 来分发我的应用程序 然后 App store connect 总是拒绝构建 我收到一封电子邮件 内容是 应用程序的 info plist 文件应包含一个 NSBluetoothAlwaysUsageDescri
  • 在客户端按多个条件过滤jqGrid

    我有一个包含一些记录的 jqGrid 想要根据多个条件过滤记录 例如 如果有三列 姓名 年龄和城市 我想按以下条件过滤网格 Name Mark and Age 25 and City NY 下面的代码工作正常 var grid jQuery
  • extjs 使用 up 和 down 方法

    我正在尝试使用up and down打电话而不是Ext getCmp但我不太明白 我有这个代码 listeners change function field selectedValue Ext getCmp wildAnimal setV
  • 关于带有圆角的 UIImageView

    我试图制作一个带有圆角的 UIImageView 所以我使用了 imageView layer setCornerRadius 5 0f 它有效 但并不完美 如果你仔细观察 你可以看到图像的角落 我上传了一张照片 不知道你是否能看清楚 角落
  • Vaadin 10 基于内容的网格样式单独行

    我正在使用 Vaadin 网格来显示传入信息并实时更新 我已经能够通过访问 DOM 来设置所有行的样式 如下所示
  • Visual Studio 2010 中的 ASP.Net MVC 1.0

    Visual Studio 2010 是否与 MVC 1 0 兼容 大家好 感谢您提前阅读 我正在使用 MVC 1 0 项目和 VS2008 我很高兴升级到 VS2010 但我怀疑它与 MVC 1 0 的兼容性 你做完了吗 结果如何 一切似
  • 在私有子网中运行时 AWS EKS 上的 DNS 问题

    我在 VPC 中设置了 EKS 集群 工作节点在私有子网中启动 我可以成功部署 Pod 和服务 但是 我无法从 Pod 内执行 DNS 解析 它在容器外部的工作节点上运行良好 使用故障排除https kubernetes io docs t
  • 如何识别分区的名称

    从下面的分区中如何知道哪些分区是引导分区 哪些分区是系统分区 我需要执行任何不同的命令来读取分区名称吗 cat proc partitions major minor blocks name 253 0 409600 zram0 179 0
  • 在直方图中绘制 x 刻度 matplotlib

    我想绘制给定名称对应的 x 我的意思是 对于foo它必须绘制 10 20 30 以直方图的形式并且所有 foo bar baz 需要位于相同的位置graph http upload wikimedia org wikipedia commo
  • web.config 单用户基本身份验证

    在 nginx 中 我可以创建一个发送的身份验证响应 WWW Authenticate 基本领域 专用网络 导致弹出单个用户 密码的登录信息而不创建 login aspx 这是我的配置设置
  • Java 设计问题:强制方法调用顺序

    最近在采访中有人问我一个问题 Problem 有一个类旨在分析代码的执行时间 类是这样的 Class StopWatch long startTime long stopTime void start set startTime void
  • jQuery如何在不检查扩展名的情况下检查上传的文件是否是图像?

    这里是新手 问题是我目前已经编写了一种方法来检查上传的文件大小和扩展名以验证它 然而 检查扩展并不是一个解决方案 因为这种验证可能会导致很多问题 我想做的是检查实际的文件类型并验证它而不使用扩展方法 我尝试过使用jQuery 文件验证器 h
  • 转码视频文件之前需要检查视频分辨率

    我正在使用弹性转码器转换视频文件 AWS Lambda函数从s3存储桶获取视频文件并根据PresetId进行转换 但是 我需要将视频文件分辨率与 PresetId 进行比较 如果视频文件分辨率高于PresetId视频分辨率 则转换该视频文件
  • 文件不以“%PDF-”开头

    昨天我遇到了一个特殊的问题 一位客户将我的一个 Delphi 应用程序安装在一些东芝笔记本电脑上 一切都很好 直到生成一些 Acrobat 文件作为 Rave 7 报告时 才产生了主题错误 这些笔记本电脑安装了 Acrobat 7 Stan
  • 找不到“Flutter/Flutter.h”文件 webview_flutter-1.0.7

    请帮我 我不知道是什么问题 但我认为是因为我更新到了最新版本的 flutter 我尝试过 flutter clean rm podfile 等等 但我无法解决这个问题 是颤振的问题吗 我花了两天时间尝试修复它 但没有成功 我更新了我所有的
  • Haskell 使用惰性 mmap 读取最后一行

    我想读取文件的最后一行 并确保它的字段数与第一行相同 我不关心中间的任何内容 我使用 mmap 是因为它对大文件的随机访问速度很快 但遇到了不理解 Haskell 或懒惰的问题 gt import qualified Data ByteSt
  • 操作员使用 tempdb 溢出......带有变量但不带有文字

    需要帮助理解此 SQL Server 行为 我有一个相当基本的查询 比如 select x y sum z from table where date between start and end group by x y 行数较多 筛选条件
  • 导入模块中的 Angular 2 路由覆盖当前路由

    这是笨蛋 https plnkr co edit WIFNVIEVqls4gXk21Muj https plnkr co edit WIFNVIEVqls4gXk21Muj 有 2 个模块都定义了路由 模块 2 导入模块 1 以使用其中的组
  • AWS EMR 在集群中所有已运行的计算机上执行“引导”脚本

    我有一个 24 7 全天候运行的 EMR 集群 我无法将其关闭并启动新的 我想做的是在已经运行的集群上执行引导操作之类的操作 最好使用 Python 和 boto 或 AWS CLI 我可以想象分两步完成此操作 1 在所有正在运行的实例上运