程序员经验分享-hwhale

Flink：Jobmanager UI 中设置的并行度与任务槽有何关系？

2024-06-20

假设我有 8 个任务管理器和 16 个任务槽。如果我使用 Jobmanager UI 提交作业并将并行度设置为 8，我是否只使用 8 个任务槽？

如果我有 8 个具有 8 个槽位的任务管理器，并以并行度 8 提交相同的作业，该怎么办？是完全一样的东西吗？或者数据处理方式有什么不同吗？

谢谢。


Flink 集群中的任务槽总数定义了最大并行度，但使用的槽数量可能会超过实际并行度。例如，考虑一下这项工作：

如果在具有 2 个任务管理器的集群中以两个并行运行，每个任务管理器提供 3 个槽，则调度程序将使用 5 个任务槽，如下所示：

但是，如果基本并行度增加到 6，那么调度程序将执行此操作（请注意，在此示例中接收器的并行度保持为 1）：

See Flink 的分布式运行时环境 https://ci.apache.org/projects/flink/flink-docs-stable/concepts/runtime.html了解更多信息。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

parallelprocessing

Bigdata

apacheflink

distributedcomputing

Flink：Jobmanager UI 中设置的并行度与任务槽有何关系？ 的相关文章

  • C# 并行与并行线程代码性能

    我一直在测试 System Threading Parallel 与线程的性能 我很惊讶地发现并行比线程花费更长的时间来完成任务 我确信这是由于我对并行的了解有限 我刚刚开始阅读 我想我会分享一些片段 如果有人可以向我指出并行代码比线程代码

  • parList 和 parBuffer 如何选择？

    我从 haskell 并行开始 我已经成功学习了如何使用一些策略 例如 r0 rseq rdeepseq parList parMap 现在我正在进一步寻求更高的效率 所以这是我的问题 有什么区别parList and parBuffer

  • AsyncResponse 和 Java 8 并行流问题

    我正在使用 Spring BootJersey rest api POST Path test Produces MediaType APPLICATION JSON Consumes MediaType APPLICATION JSON

  • Flink - 无法从检查点恢复

    我使用一个作业管理器和两个任务管理器在 kubernetes 上运行集群 我通过在作业运行时杀死一个任务管理器 Pod 来测试检查点机制 我在作业管理器和重新启动的任务管理器上遇到以下异常 工作经理例外 java lang Exceptio

  • 内存缓存 VS。分布式系统中的集中式缓存

    我们目前正在寻找最合适的解决方案来访问分布式系统上的关键数据 并且我们正在考虑是否使用内存缓存而不是集中式缓存 有关我们希望存储 访问的数据的一些信息 数据量非常小 数据很冷 这意味着它几乎不会改变 并且只有当人们改变我们后台系统中的某些内

  • 使用 SqlBulkCopy 和 Azure 并行批量插入

    我在云上有一个带有 sql azure 数据库的 azure 应用程序 我有一个辅助角色 需要对文件 最多约 3000 万行 进行解析 处理 因此我无法直接使用 BCP 或 SSIS 我目前正在使用 SqlBulkCopy 但这似乎太慢了

  • 2PC vs Sagas（分布式事务）

    我正在深入了解分布式系统 以及如何在此类系统中维护数据一致性 其中业务事务涵盖多个服务 有界上下文和网络边界 我知道以下两种用于实现分布式事务的方法 2 阶段提交 2PC Sagas 2PC 是一个应用程序协议透明地在平台的支持下利用全球A

  • 为什么list.parallelStream().forEach()没有处理Java中列表中的所有元素？

    以下代码并未在完成并行处理后将所有元素放入目标列表中 这有什么原因吗 public static void main String args List

  • 从第二个 DF 中查找一个 DF 中属于同等大小的矩形（由两个点给出）的点的快速（矢量化）方法

    我的数据框 A 如下所示 type latw lngs late lngn 0 1000 45 457966 9 174864 45 458030 9 174907 1 1000 45 457966 9 174864 45 458030 9

  • 编写openCL代码时，在没有GPU的单核机器上表现如何？

    大家好 我目前正在将光线追踪器从 FORTRAN 77 移植到 C 语言以进行研究项目 移植了要点之后 问题是我们如何进行并行化 在实验室中 我可以使用几台不同的 Opteron 机器 具有 2 到 8 个内核 但没有 GPU 目前 我们正

  • 我们可以使用什么方法来重塑非常大的数据集？

    当由于非常大的数据计算将花费很长时间并且因此我们不希望它们崩溃时 事先知道要使用哪种重塑方法是很有价值的 Lately methods for reshaping data have been further developed regar

  • 2022年Flink可以支持什么Java版本？

    假设我开始一个新的 Flink Java 项目 如果我寻找 稳定的 Flink Java 生产体验 我应该使用哪个版本 官方docs https nightlies apache org flink flink docs master do

  • 为什么 Spark 没有使用本地计算机上的所有核心

    当我在 Spark Shell 中或作为作业运行一些 Apache Spark 示例时 我无法在单台计算机上实现完全的核心利用率 例如 var textColumn sc textFile home someuser largefile t

  • 如何让R使用所有处理器？

    我有一台运行 Windows XP 的四核笔记本电脑 但查看任务管理器 R 似乎一次只使用一个处理器 如何让 R 使用全部四个处理器并加速我的 R 程序 我有一个基本系统 我使用它在 for 循环上并行化我的程序 一旦您了解需要做什么 此方

  • Flink：Jobmanager UI 中设置的并行度与任务槽有何关系？

    假设我有 8 个任务管理器和 16 个任务槽 如果我使用 Jobmanager UI 提交作业并将并行度设置为 8 我是否只使用 8 个任务槽 如果我有 8 个具有 8 个槽位的任务管理器 并以并行度 8 提交相同的作业 该怎么办 是完全一

  • 高度并行化的Levenshtein距离算法

    实际上 我必须实现一个字符串比较 最后得到匹配百分比 不仅仅是布尔结果匹配 不匹配 为此 我找到了 Levenstein 距离算法 但现在的问题是性能 例如 我有 1k 个字符串需要相互比较 现在大约需要 10 分钟 对于每个算法 我已经并

  • 为什么在 CUDA 中启动 32 倍数的线程？

    我参加了 CUDA 并行编程课程 并且看到了许多 CUDA 线程配置的示例 其中通常将所需的线程数四舍五入到最接近的 32 倍数 我知道线程被分组为 warp 并且如果您启动 1000 个线程 GPU 无论如何都会将其四舍五入到 1024

  • Python：对于优化问题，使用多处理比循环慢得多。我究竟做错了什么？

    必须保证在发布此内容之前我已经阅读了有关该主题的许多帖子 我知道多重处理需要固定成本 但据我所知 这似乎不是这里的问题 我基本上有许多单独的优化问题 并且想要并行解决它们 下面的代码是一个简单的例子 import psutil import

  • 无序和并行时 Java 流限制和跳过行为

    因此 我一直在尝试并行运行流 并根据 API 文档和我读过的其他支持材料来监控它们的行为 我创建两个并行流并运行distinct 一种是流有序的 另一种是无序的 然后我使用打印结果forEachOrdered 以确保我在不同的运行后看到流的

  • 减少最大值并保存其索引

    int v 10 2 9 1 3 5 7 1 2 0 0 int maximo 0 int b 0 int i pragma omp parallel for shared v private i reduction max maximo

随机推荐

  • 使用when条件来匹配输出寄存器中的字符串（Ansible）

    我无法在输出变量中搜索我用于 when 语句的指定字符串 下面的代码应该检查输出变量中的字符串 distribute list 但是当运行剧本时它会给出错误 fatal 192 168 3 252 FAILED gt failed true

  • 在 C++ 中使用直接访问文件

    我对 C 以及一般的编程 非常陌生 并且正在从事一个让我感到困惑的项目 并不难做哈 该项目涉及直接访问文件 我们将创建一个由一系列零件记录组成的文件 以下是一些规格 应包含标头记录 24 字节 填充 指示 有效项目的数量 每个 24字节长

  • 排序线程按照它们创建/启动的顺序运行

    我如何按照线程实例化的顺序对线程进行排序 我怎样才能让下面的程序按顺序打印数字1 10 public class ThreadOrdering public static void main String args class MyRunn

  • 如何在 VSCode 中的 switch-case 语句中自动缩进？

    有点令人沮丧的是 vscode 会自动执行很多操作 但是当使用 switch case 语句时 它不会在冒号后自动缩进 这就是如果我在不干扰的情况下打字的话我会得到的结果 int x 32 switch x case 33 break ca

  • 如何使用带有 python 的报告实验室将 html 文档转换为 pdf

    我正在尝试使用报告实验室将我创建的 html 文档转换为 pdf html 文档如下 我不确定如何做到这一点 我在网上查看过 似乎找不到解决方案 html文档 h2 Convert to pdf h2 p Lorem ipsum dolor

  • 如果特定 stateParam 为空，如何重定向到 state

    我不确定我这样做的方式是否正确 任何建议将不胜感激 我有一个餐厅选择器 用户可以从中选择一家餐厅 然后所有其他子状态加载特定于所选餐厅的内容 但我需要默认选择一个子状态 包括一家餐厅 它将根据用户最近的位置或 cookie 数据 如果他们之

  • 一个具有完全透明背景的qt小部件

    我需要创建一个 qt 小部件 它将充当其他一些小部件的父级 并对它们进行排序 现在的问题是如何使其背景完全透明 我想这样做 struct Imp Imp QWidget parent thisWidget new QWidget paren

  • 代码来检测Android设备自己的IP地址？

    我想了解可以检测 Android 设备的 IP 地址和 Android 客户端名称的代码 以便在我们的应用程序中使用此 Ip 地址和客户端名称 任何人都可以帮助我吗 提前致谢 如果您在 Android 手机上运行此程序 这将告诉您您自己的

  • 将标签文本的一部分设置为粗体

    有什么办法可以使一部分label text要大胆吗 label text asd string 想要string部分要加粗 有可能吗 这怎么办 下面的类说明了如何通过覆盖来做到这一点OnPaint in the LabelWinForms

  • DDD - 乐观并发属性（etag 或时间戳）是否应该成为域的一部分？

    从理论上讲 如果我们在聚合根级别实现乐观并发 更改 AR 中的实体会更改 AR 上的版本 并且假设我们使用时间戳作为版本属性 只是为了简单起见 时间线应该是 AR 上的属性还是应该是一侧和另一侧的读取模型的一部分 例如更新 是应用程序服务的

  • 为什么 git 在每次合并时都运行“git gc --auto”？

    今天 git 开始表现得很有趣 嗯 比平时更有趣 坚持运行git gc每次合并后 即使它们是背靠背的 C Projects my current project gt git pull remote Counting objects 31

  • CSS3 box-shadow 用于类似重叠的 div

    我正在尝试用css3来实现这种效果 HTML 代码显然是这样的

  • Xamarin.Android 没有“android:exported”属性设置错误

    当 Xamarin Android 设置为 Android 12 时 我收到 您上传了包含活动的 APK 或 Android 应用程序包 具有意图过滤器的活动别名 服务或广播接收器 但是 没有设置 android exported 属性 该

  • android在移动设备上调试时连接到PC的本地主机

    我想调试我的 Android 应用程序 我使用 USB 电缆将 Android 设备连接到我的电脑 在我的应用程序中有一个与本地主机连接的按钮 本地主机的 IP 是10 0 2 2端口是8080 我读过 在移动设备上调试时 ip10 0 2

  • 如何解压 PHP/Lumen/Laravel 的 gzip 请求？

    我收到来自第三方的 gzip 编码文本请求 1mb 所以这是有道理的 我的测试路线 router gt post testgzip function Illuminate Http Request request decompressed

  • 如何同时使用不和谐机器人命令和事件？

    我需要制作一个机器人来监听服务器中写入的消息 同时接受命令 Create the Discord client client discord Client client commands Bot command prefix client

  • 从 SQL 数据库表读取数据到通用集合

    我想从表 包含 3 行 中读取所有数据并将所有数据添加到通用集合中 我想从集合中绑定到 gridview 下面显示的代码有效 但只有最后一行在 gridview 中显示 3 次 你能帮助我吗 我是初学者 protected void Pag

  • 具有动态 num_partitions 的动态分区

    变量num partitions在方法中tf dynamic partition不是一个Tensor 但是一个int 因此 如果事先不知道分区的数量 则无法通过计算唯一值的数量等方式从数据中推断出分区的数量 也无法通过tf placehol

  • 逻辑回归/二项式的 glmnet 误差

    当尝试将 glmnet 与 family binomial 配合以进行逻辑回归拟合时 出现此错误 gt data lt read csv DAFMM HE16 matrix csv header F gt x lt as data fram

  • Flink：Jobmanager UI 中设置的并行度与任务槽有何关系？

    假设我有 8 个任务管理器和 16 个任务槽 如果我使用 Jobmanager UI 提交作业并将并行度设置为 8 我是否只使用 8 个任务槽 如果我有 8 个具有 8 个槽位的任务管理器 并以并行度 8 提交相同的作业 该怎么办 是完全一

热门标签