资源调度器的一些基本问题

2023-10-26

1 调度算法

Capacity based, DRF(dominant recourse fairness),label based等

多态化,插件化,可以多种策略一起工作,对应于不同Job (优先级,job特性,service or batch job)


2 容错,HA

调度器一般处在一个中心位置,存在SPF问题。可以采用类似HDFS,JobTracker的HA方案

1)active - standby 结构,(standby 一般是一个,也可多个)

2)无状态(状态外化),使用可靠的外部shared storage保存状态(NFS,Bookeeper,Zookeeper)

3)状态的形式一般是 snapshot + read ahead log ( image + edits)

4)  Fault Detect,具体方案有很多:

a) active 向 standby 心跳,超时standby take over

b) active向 数据库心跳,standby 定时检查 active的 last heart beat time。

c) 基于 全局锁,能获得锁的就是active

d) 基于的membership list通知 


5)切换。standby 从shared storage恢复状态,VIP切换(或者不基于VIP,client liberary自己retry判断)


3 调度器的架构以及相应的scalability

调度器面对的是整个cluster的资源以及使用情况,这是一个全局的复合状态。最安全的架构就是串行化,job一个一个schedule。一般的架构就是单线程的。

1)Monolithic scheduler

就一个scheduer,面向整个资源

2)静态分区的scheduler

静态的把资源partition,每个scheduler负责一个partition的资源的调度,这样每个scheduler并行工作,彼此也无冲突。

3)双层调度架构

一个中心recourse allocator动态的给每个scheduler分配资源,方案二的动态化。通过资源锁实现,一个scheduler拥有一个资源就是拥有这个资源的锁。

缺点:

a) 死锁的问题。

b)每个调度器只能看到部分资源,影响调度算法的效果

c )较低的并发度

注:Yarn虽然形式上像双层架构,但本质上是单体的,因为第二层的ApplicationMaster的调度本质上是job管理,而非资源管理。


4)share state 调度器

每个scheduler都面向整个资源,基于乐观的并发机制(后验的并发)。适用于冲突较少的情况。


本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

资源调度器的一些基本问题 的相关文章

  • win10 64位 Compaq Visual Fortran(CVF)安装教程

    最近需要调试下fortran程序 它是fortran与c混编的 因此simply Fortran还不能满足需求 IVF还会涉及版本兼容与移植的问题更不想用 于是上网搜了下关于安装CVF的资料 发现似乎CVF的安装并不容易 甚至还有说不能安装

随机推荐

  • 高校宿舍管理系统

    高校宿舍管理系统 项目截图 1 项目概况 提到宿舍 现在无论是学校 还是工厂 都是在熟悉不过的了 学生宿舍楼 职工教员工 职工宿舍楼等等 每一栋楼房都有很多的房间 每个宿舍分配了多少个床位 住着什么人 那些床位是空的 那些房间是空的 这些都
  • 可用的公开 RTSP/ RTMP 在线视频流资源地址(亲测可行)

    可用的公开 RTSP RTMP 在线视频流资源地址 亲测可行 时间节点 2023 01 23 rtsp rtsp wowzaec2demo streamlock net vod mp4 BigBuckBunny 115k mp4 rtmp
  • R语言独立性检验-基础

    一 介绍三种检验独立性方法 1 卡方独立性检验 用chisq test 函数对二维表的行变量和列变量进行卡方独立性检验 gt library vcd gt mytable lt xtabs Treatment Improved data A
  • 基于Python的招聘系统的设计与实现-应聘兼职Python爬虫安装数据分析与可视化计算机毕业设计

    更多项目资源 最下方联系我们 目录 一 项目技术介绍 二 项目配套文档 部分内容 资料获取 一 项目技术介绍 该项目含有源码 文档 PPT 配套开发软件 软件安装教程 项目发布教程 包运行成功以及课程答疑与微信售后交流群 送查重系统不限次数
  • 打印机"启用双向支持"的意思

    在打印机的属性选项里面 有一项 启用双向支持 的选项 但是具体有什么作用 一直都不明白 今天特意查了一些资料 启用双向支持 简单来说就是来回打印 打印头从左向右走动时能打印 从右向左回来时不能打印 如果不启用 仅仅是从左向右走动时打印 重庆
  • pe联想服务器装系统教程视频,演示联想电脑u盘重装系统xp教程

    联想电脑U盘重装XP系统的方法很多朋友询问 其实现在很多电脑已经不支持XP系统的安装了 如果你的联想电脑是近几年购买的 还是安装win10系统比较保险 当然联想电脑安装系统过程中遇到问题也可以联系人工客服 联想电脑如何使用U盘重装系统XP呢
  • 'dependencies.dependency.version' for XXX:jar is missing

    SSM项目报错 pom文件
  • HAL库 串口收发函数解析

    一 UART Receive IT 对于CubeMX生成的代码 USART1 IRQHandler void 函数为了提高中断效率采用了回调机制 业务代码可以等中断关闭了再去处理 这样中断处理不会占用太多时间影响程序的执行效率 HAL库将函
  • chatGPT爆火,什么时候中国能有自己的“ChatGPT“

    目录 引言 一 ChatGPT爆火 二 中国何时能有自己的 ChatGPT 三 为什么openai可以做出chatGPT 四 结论 引言 随着人工智能技术的不断发展 自然语言处理技术也逐渐成为了研究的热点之一 其中 ChatGPT作为一项领
  • Mac利用VirtualBox安装虚拟机网络设置桥接模式不能上网问题记录

    Mac笔记本电脑利用VirtualBox安装了一个Ubuntu20 04虚拟机 默认网络为网络地址转换 NAT NAT模式是最简单的实现虚拟机上网的方式 你可以这样理解 Vhost访问网络的所有数据都是由主机提供的 vhost并不真实存在于
  • 剑指 Offer 61. 扑克牌中的顺子 --思路和心得

    class Solution 思路 用一个参数special来代表相差的值 就比如 1 2 5 2和5相差两个数字 就将 special 2 在进行此步运算的时候要时刻注意让当前数的前一个数不为0 如果遇到一个零 就让special 最后如
  • 【Pytorch】import torch报错from torch._C import *

    好久不用的conda环境torch env下导入torch报错 import torch Traceback most recent call last File line 1 in File F Coding Tools Anaconda
  • 简单易懂的讲解深度学习(入门系列之八)

    神经网络也许是计算机计算的将来 一个了解它的好方法是用一个它可以解决的难题来说明 假设给出 500 个字符的代码段 您知道它们是C C JAVA或Python 现在构造一个程序 来识别编写这段代码的语言 一种解决方案是构造一个能够学习识别这
  • 将windows下编写的QT代码在arm开发板(imx6ull)上运行

    将windows下编写的QT代码在arm开发板上运行 1 下载并编译tslib库 2 下载并编译Qt源码 2 1 下载Qt5的源码 2 2 修改qmake conf 2 3 配置编译选项 2 4 编译 3 开发板上配置Qt环境 3 1 复制
  • 2、基于ARM平台Golang简单Demo:使用sqlite3数据库

    arm平台为M3352核心板 编译环境为Ubuntu14 04 目标 在Ubuntu环境编译Go代码 在arm平台运行 使用sqlite3数据库 源代码文件名 main go package main import database sql
  • 【C】ringbuffer的C语言实现

    最近在学习Android 下的Bluedroid时 看到在Bluedroid中实现了ringbuffer这一数据结构 比较简洁 所以独立出来进行分享 Bluedorid官方源码路径 本文分享的ringbuffer例子源码路径 什么是ring
  • C语言进阶-文件操作

    目录 一 前言 一 FILE结构类型 二 fopen函数 三 fclose函数 四 各类常用文件操作函数 1 fscanf 2 fprintf 3 fread 4 fwrite 5 fgetc 6 fputc 7 fgets 8 fputs
  • 三天还不够,非常新加坡

    三天还不够 非常新加坡 一 9月2日 9月5日我有幸参加了招行CTRIP推出的非常新加坡之旅 4日2晚新加坡自由行 由于是半夜的红眼航班出发 其实满打满算也就三天 本来按计划是跟一个网上结识的MM联合报名 结伴同游的 但非常遗憾的是在出发当
  • 【研究生工作周报】(DAI2I)

    Domain Adaptive Image to image Translation 文章目录 Domain Adaptive Image to image Translation 论文摘要 一 Domain adaptation 样本自适
  • 资源调度器的一些基本问题

    1 调度算法 Capacity based DRF dominant recourse fairness label based等 多态化 插件化 可以多种策略一起工作 对应于不同Job 优先级 job特性 service or batch