SunGridEngine、Condor、Torque 作为 PVM 的资源管理器

2024-04-02

有人知道哪个资源管理器适合 PVM 吗?或者我不应该使用 PVM 而是依赖 MPI(或其任何版本,例如 MPICH-2 [还有其他更好的吗?])。使用 PVM 的主要原因是因为在我之前开始这个项目的人假设使用 PVM。然而,现在这个项目是我的了(他没有做过任何依赖 PVM 的重要工作),这可以很容易地改变,最好是易于安装的东西,因为安装和设置 PVM 是一个很大的麻烦。

我倾向于 SunGridEngine,因为我拥有专用硬件,在阅读了另一篇关于哪些更适合专用硬件的文章后,SGE 似乎是赢家。但是我不确定它使用 PVM 的性能。想知道是否有人有过 PVM 和 SGE 的经验?

如果人们使用SGE,你用什么来从计算机到计算机(或虚拟机到虚拟机)进行通信

哦,如果这很重要的话,我将运行 Perl 应用程序/线路。

有什么建议或想法吗?

预先感谢所有评论,

  • Tyug

我使用 Torque、SGE 和 LSF 在 Linux 系统上运行 PVM,没有任何问题。您是否在问“是否可以使用SGE、Torque等来运行PVM应用程序?”?

如果是这样,请查看下面我的示例 Linux c-shell 作业脚本。请注意,除了每个脚本的标头之外,这些脚本几乎相同,该标头符合每个资源管理器的适当格式。

SGE作业脚本:

#!/bin/csh
#$ -N LTR-001
#$ -o LTR-001.output
#$ -e LTR-001.error
#$ -pe comp 24
#$ -l h_rt=04:00:00
#$ -A cmit2
#$ -cwd
#$ -V

# Setup envirnoment
setenv LD_LIBRARY_PATH /lfs0/projects/cmit2/opt-intel/overture-noX/lib:${LD_LIBRARY_PATH}
setenv PVM_ARCH LINUX
setenv PVM_ROOT /lfs0/projects/cmit2/opt-intel/pvm3
setenv PVM_BIN ${PVM_ROOT}/bin
setenv PVM_RSH /usr/bin/ssh
setenv MY_HOSTS pvm_hostfile

rm -f ~/.pvmprofile
env | grep PVM_ > ~/.pvmprofile

# Create file containing _unique_ host names.  Note that there are two possible sources of available hosts
sort -k 1,1 -u ${MACHINE_FILE} >! ${MY_HOSTS}

# Start PVM & add nodes
printf "%s\n%s\n" conf quit|${PVM_ROOT}/lib/pvm ${MY_HOSTS}
wait
sleep 2

#
# Run apps requiring PVM.
#

wait
# Exit PVM daemon
echo "reset" | $PVM_ROOT/lib/pvm
echo "halt" | $PVM_ROOT/lib/pvm

扭矩作业脚本:

#!/bin/csh
#PBS -N LTR-001
#PBS -o LTR-001.output
#PBS -e LTR-001.error
#PBS -l nodes=3:ppn=8
#PBS -l walltime=04:00:00
#PBS -q compute
#PBS -d .

# Setup envirnoment
setenv LD_LIBRARY_PATH /users/ps14/opt-intel/overture/lib:${LD_LIBRARY_PATH}
setenv PVM_ARCH LINUX64
setenv PVM_ROOT /users/ps14/opt-intel/pvm3
setenv PVM_BIN ${PVM_ROOT}/bin
setenv PVM_RSH ${PVM_ROOT}/ssh
setenv MY_HOSTS pvm_hostfile

rm -f ~/.pvmprofile
env | grep PVM_ > ~/.pvmprofile

# Create file containing _unique_ host names.  Note that there are two possible sources of available hosts
sort -k 1,1 -u ${PBS_NODEFILE} >! ${MY_HOSTS}

# Start PVM & add nodes
printf "%s\n%s\n" conf quit|${PVM_ROOT}/lib/pvm ${MY_HOSTS}
wait
sleep 2

#
# Run apps requiring PVM.
#

wait
# Exit PVM daemon
echo "reset" | $PVM_ROOT/lib/pvm
echo "halt" | $PVM_ROOT/lib/pvm
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

SunGridEngine、Condor、Torque 作为 PVM 的资源管理器 的相关文章

  • Stacktrace 不打印在 Glassfish 4.1 集群日志中

    在 Glassfish 4 1 上进行第一个集群设置 应用程序 EAR 级别日志 例如打印堆栈跟踪 似乎无法到达 GF dir domains logs server log 或 GF dir nodes node name 中的服务器 实
  • 在集群中共享 Java 同步块,还是使用全局锁?

    我有一些代码只想允许一个线程访问 我知道如何使用以下任一方法来完成此操作synchronized块或方法 但这可以在集群环境中工作吗 目标环境是WebSphere 6 0 集群中有2个节点 我有一种感觉synchronized行不通 因为每
  • Terracotta Cluster 仍然开源吗?

    如果是的话 在哪里可以找到它 根据this http www infoq com news 2006 12 terracotta jvm clusteringinfoq条目 他们已经开源了 但目前他们的网站上还没有这样的产品 这一页 htt
  • 如何使用 SLURM 通过 CUDA 在 GPU 网格上运行多个作业

    我一直致力于使用 CUDA 加快作业的处理时间 通常这会相当简单 但是我遇到了一个相当有趣的问题 我们使用 slurm 来安排我们的作业 通过添加 CUDA 代码并启用它的编译 它使单个作业时间减少了一半 当查看 GPU 上的负载时就会出现
  • 动物园管理员的替代品? (集群协调服务)[关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 动物园管理员 http zookeeper apache org是数据中心的高度可用的协调服务 它起源
  • Java 中的 Infiniband

    众所周知 OFED的Socket Direct协议是已弃用 http en wikipedia org wiki Sockets Direct ProtocolOFED 的 3 x 版本根本不附带 SDP 因此 Java 的SDP http
  • 使用 DAG 的 Condor 作业以及一些需要运行同一主机的作业

    我有一个计算任务 它被分成几个具有依赖性的单独程序执行 我使用 Condor 7 作为任务调度程序 使用 Vanilla Universe 由于对程序的限制超出了我的能力范围 因此不涉及检查点 因此 DAG 看起来像是一个自然的解决方案 然
  • NodeJS 集群不使用循环(在 Windows 上开发)

    您好 我目前正在开发一个 MEAN 堆栈项目 我发现了在部署项目之前建议使用的 Nodejs 集群模块 我已经应用了它并做了一些 ApacheBenchmark 问题是 它只响应 1 个工作人员 它不会围绕我的其他 7 个工作人员轮换 我在
  • 什么分布式消息队列支持百万级队列?

    我正在寻找一个分布式消息队列 它将支持数百万个队列 每个队列每秒处理数十条消息 消息会很小 几十个字节 而且我不希望队列变得很长 每个队列最多有几十条消息 但是当系统运行时 队列应该保持相当长的状态空的 我不确定集群中有多少个节点 可能取决
  • 如何在qsub中指定错误日志文件和输出文件

    我有一个 qsub 脚本 submit job sh bin sh N job1 t 1 100 cwd SEEDFILE home user1 data1 SEED sed n e SGE TASK ID p SEEDFILE home
  • 通过脚本在 Microsoft 集群中创建专用 MSMQ 队列

    我们正在迁移到 Windows 2008 R2 Standard 并将使用 Microsoft 集群 主动 被动 配置 我们的应用程序严重依赖于 MSMQ 专用队列 并且我们的安装使用以下 C 代码创建了 100 多个专用队列 Messag
  • 如何追查 Wildfly 8.2.0.Final 中不起眼的 HA 集群错误

    设置 我有一个 Wildfly 8 2 0 Final 应用程序服务器 使用 full ha 配置文件在域模式下运行集群 该集群由两个 Wildfly 实例组成 主实例和从实例 每个实例都运行在自己的虚拟机上 应用程序 我的项目作为 war
  • 集群环境 (Websphere) 中的 Java EE 应用程序范围变量?

    在 Java EE 应用程序 在 Websphere 上运行 中是否有任何简单的方法可以在整个集群的应用程序范围内共享对象 有些东西可能类似于 Servlet Context 参数 但在集群中共享 例如 在服务器 A 和 B 的集群中 如果
  • MPI_Isend 和 MPI_Irecv 似乎导致死锁

    我在 MPI 中使用非阻塞通信在进程之间发送各种消息 然而 我似乎陷入了僵局 我用过PADB see here http padb pittman org uk 查看消息队列并得到以下输出 1 msg12 Operation 1 pendi
  • 如何控制提交网格作业时使用的 Perl 版本?

    我正在与 SGE Sun Grid Engine 合作将作业提交到网格 我也用perlbrew管理我安装的 Perl 版本 我写了一些短文sh我用来运行需要特定 Perl 版本 5 12 2 的 perl 脚本的脚本 如下所示 bin ba
  • 如何在 Chapel 中附加稀疏域

    我正在使用读取 CSV 的循环填充 Chapel 中的稀疏数组 我想知道最好的模式是什么 var dnsDom 1 n dims 1 n dims var spsDom sparse subdomain dnsDom for line in
  • 如何存储/计算单个簇大小并在 NetLogo 中绘制它们

    我有一个生成黄色斑块簇的模型 我有兴趣查看簇大小的频率分布 为此 我从 NetLogo 代码库中的 补丁集群示例 中选择了代码 它似乎在查找簇方面起作用 参见下面的照片 尽管我希望它不计算簇中的绿色斑块 但我不知道如何获取大小 或斑块计数
  • 如何将颜色更改为 fviz_silhouette 中簇号以外的变量

    我正在使用包额外事实 in R生成轮廓图 目前 轮廓会通过聚类自动为图形着色 我想用另一个变量来着色Site我将其定义为 x 我尝试过将填充和颜色更改为站点变量 但似乎没有任何效果 我也尝试过使用scale color manual and
  • SunGridEngine、Condor、Torque 作为 PVM 的资源管理器

    有人知道哪个资源管理器适合 PVM 吗 或者我不应该使用 PVM 而是依赖 MPI 或其任何版本 例如 MPICH 2 还有其他更好的吗 使用 PVM 的主要原因是因为在我之前开始这个项目的人假设使用 PVM 然而 现在这个项目是我的了 他
  • 如何通过点积获得峰值 CPU 性能?

    Problem 我一直在研究 HPC 特别是使用矩阵乘法作为我的项目 请参阅我的个人资料中的其他帖子 我在这些方面取得了不错的成绩 但还不够好 我退后一步 看看我在点积计算方面能做得如何 点积与矩阵乘法 点积更简单 并且允许我测试 HPC

随机推荐

  • 如何在 Chrome 中使用 Selenium + Python 绑定控制文件的下载

    在哪里可以找到描述可与 Selenium 和 Chrome Web 浏览器一起使用的选项的文档 我想在网络浏览器中打开链接 以获取凭据 但不想下载相应的文件 pdf 或 tiff 或 jpeg 我在 Windows 7 笔记本电脑上使用 P
  • Excon::Errors::Forbidden in UsersController#update

    我正在尝试使用 Carrierwave 将图像上传到 Amazon S3 以便为我的用户提供上传头像的机会 当我添加图像文件并单击 更新 时 收到以下错误消息 Excon Errors Forbidden in UsersControlle
  • 如何使用 javascript 控制 Sass 变量

    我有一个正在生成 CSS 文件的 Sass 文件 我在 sass 文件中使用了许多变量作为背景颜色 字体大小 现在我想通过 JavaScript 控制所有变量 例如 在 style sass 中我们有 bg 000 font size 12
  • 命令行中转换命令出错

    我有一个 bash shell 脚本 如下所示 bin bash SIZES 512 1024 2048 for i in SIZES do SIZE SIZES i echo SIZE first resize original imag
  • 我需要 SQLBulkcopy 的进度条

    我的应用程序需要进度条 我正在通过文本文件将数据上传到 SQL Server 但这需要很多时间 而且我也使用了后台工作程序 但这不能正常工作 所以我只需要知道是否有任何方法可以将进度条与 SQL Bulk Copy 一起使用它告诉我插入了
  • Python:如何让程序等待函数或方法完成

    程序经常需要等待函数完成其工作 有时恰恰相反 主程序不需要等待 我举了一个简单的例子 有四个按钮 单击每个将调用相同的calculate 函数 唯一的区别是函数的调用方式 直接打电话 使用队列 每个线程完成后将结果放入队列中 然后您只需读取
  • 我必须使用 SVN API 或库访问/提交/更新 WPF 应用程序中的 SVN 存储库 [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 任何可用于从 net 应用程序访问 SVN 的好库 使用 C 到目前为止我发现的唯一 3 个我会尝试的
  • 如何使用 easy_install 安装 django 旧版本?

    我刚刚因为 django 1 3 破坏了我的环境 我的网站都无法运行 因此 我决定使用 virtualenv 来设置不同 python 版本以及 django 的虚拟环境 但是 似乎如果我下载软件包并使用 sudo python setup
  • 阵列部件访问

    我试图更好地理解数组 请原谅我的基本问题 因为我三周前刚刚打开我的第一本 php 书 我知道您可以使用 foreach 或 for 循环 检索键 值对 如下所示 stockprices array Google gt 800 Apple g
  • II 错误:应用程序代码隐藏=“Global.asax.cs”继承=“nadeem.MvcApplication”

    我正在尝试部署我的网络项目 但不断收到此错误 Line 1 我看了这个帖子 解析器错误 应用程序中的服务器错误 https stackoverflow com questions 11596352 line 1 application co
  • MySQL Regexp 是否支持 Unicode 匹配

    有谁知道Mysql的正则表达式是否支持unicode 我一直在做一些研究 大多数博客等似乎都表明存在问题或不受支持 我想知道是否最好使用 LIKE 进行 unicode 模式匹配 使用 regexp 进行 ASCII 增强模式匹配 我喜欢能
  • 具有非正则截距项的 Scikit-learn 岭回归

    scikit learn 岭回归是否在正则化项中包含截距系数 如果是 是否有办法在不正则化截距的情况下运行岭回归 假设我拟合岭回归 from sklearn import linear model mymodel linear model
  • RxJS forkJoin 未完成

    当我订阅 getAllSubModules 时 forkJoin 会毫无错误地执行所有这些可观察值 但不会完成 我知道 forkJoin 仅在其所有可观察值完成后才完成 但作为证据 我在控制台中看到 3 次 这确认一切都成功 因此所有可观察
  • jqGrid 过滤器工具栏仅显示单列的搜索运算符选择器

    我有包含许多列的 jqGrid 表 使用过滤器工具栏在网格中进行搜索 对于大多数人来说 搜索只是简单的默认运算符 对于一个日期时间列 我需要不同类型的运算符和日期选择器选择器 我已经添加了dataInit日期选择器初始化为searchopt
  • 如何将最后 N 次提交压缩在一起?

    如何将最后 N 次提交压缩为一次提交 你可以很容易地做到这一点 无需git rebase or git merge squash 在此示例中 我们将压缩最后 3 个提交 如果您想从头开始编写新的提交消息 这就足够了 git reset so
  • java/oops 中静态变量和动态变量有什么区别?

    请有人告诉我 oops 或 java 中 静态变量 和 普通变量 之间的区别 如果可能的话 还有它们的用法 考虑一个具有静态和动态变量的类 动态变量 创建类的实例时 每个对象都有自己的动态变量副本 对于每个对象 该变量的值都将不同 无论在该
  • 使用 Jest 模拟 jsonwebtoken 模块

    我尝试用玩笑来模拟 npm 模块 jsonwebtoken 的验证功能 该函数返回一个已解码的令牌 但我想将此函数的自定义返回传递给我的单元测试 我明确请求在继续请求之前检查访问令牌的有效性 但我想模拟令牌检查的时刻以直接返回用户值 并且轻
  • 使用过滤器或挂钩修改购物车总量

    好吧 我正在尝试编写一个过滤器或挂钩 它将根据购物车中的商品总数来修改购物车的总量 例如 如果购物车中有三件商品 我想从总订单中扣除二十美元 下面是我到目前为止的代码 非常感谢任何帮助 add filter woocommerce cart
  • CookieContainer 错误?

    我很困惑 CookieContainer 如何处理域 所以我创建了这个测试 此测试显示 cookieContainer 不会为 example com 返回任何 cookie 但根据 RFC 它应该返回至少 2 个 cookie 这不是一个
  • SunGridEngine、Condor、Torque 作为 PVM 的资源管理器

    有人知道哪个资源管理器适合 PVM 吗 或者我不应该使用 PVM 而是依赖 MPI 或其任何版本 例如 MPICH 2 还有其他更好的吗 使用 PVM 的主要原因是因为在我之前开始这个项目的人假设使用 PVM 然而 现在这个项目是我的了 他