Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
了解 mesos 上 Spark 作业的资源分配
我正在 Spark 中开发一个项目 最近从使用 Spark Standalone 切换到使用 Mesos 进行集群管理 我现在发现自己对新系统下提交作业时如何分配资源感到困惑 在独立模式下 我使用了类似的东西 遵循一些建议这篇 Cloude
apachespark
mesos
领事注销“失败”服务
我有 Consul 在 Consul v0 5 2 版本上运行 服务在 Mesos 中运行 服务不断从一台服务器转移到另一台服务器 有没有办法取消领事中处于 失败 状态的服务 我可以使用此curl 获取处于失败状态的服务列表 curl ht
microservices
mesos
mesosphere
Consul
consultemplate
如何删除 Apache Mesos 中的孤立任务?
该问题可能是由 Mesos 和 Marathon 引起的不同步 https github com mesosphere marathon issues 616 但是 GitHub 上提到的解决方案对我不起作用 当我发现孤立任务时 我所做的是
mesos
marathon
Mesos 任务 - 无法接受套接字:未来已丢弃
我只是想将 mesos 版本从 1 0 3 升级到 1 3 1 Chronos 调度程序能够通过 mesos 调度作业 该作业运行良好并且能够查看 mesos 标准输出日志 但是 仍然在 mesos stderr 日志中看到以下内容 doc
Docker
mesos
mesoschronos
如何获取 Mesos Agents Framework 执行器内存
在 Mesos Web UI 内部 我可以在表中查看 Spark 执行器的内存使用情况 Agents gt Framework gt Executors 有一个表列出了我的 Spark 驱动程序的所有执行程序 它们的内存使用情况在列中指示M
apachespark
mesos
警告会话 0x0 服务器为空、意外错误、关闭套接字连接并尝试重新连接
我有两个节点 每个节点上都安装了带有Mesos marathon和zookeeper的docker 这是我在主节点上的 docker compose 文件 version 3 7 services zookeeper image ubunt
Java
Docker
apachezookeeper
mesos
marathon
如何从 Mesos 框架 Scheduler 类读取 mesos 任务 stdout/stderr?
我正在开发一个 Mesos 框架 它工作得很好 我唯一的问题是我无法从 Scheduler 类内部读取任务 stdout 或 stderr 我在下面提供了一个代码示例 我想读取已完成任务的标准输出和标准错误 最好在 statusUpdate
mesos
mesosphere
在给定容器错误状态代码的情况下,在哪里可以找到更明确的错误?
我实际上是通过一个运行任务Mesos堆栈 它使用Docker容器 有时 某些任务会失败 以下是一些相关的TaskStatus消息和原因 message Container exited with status 1 reason REASON
Docker
mesos
如何使用 marathon Rest API 获知容器名称
我正在使用 Apache Mesos Marathon Zookeeper 来部署我的 Rails 应用程序 我需要在 Rails 应用程序和其他容器之间共享数据 我在这里找到了一些关于马拉松的参考资料 如下所示 马拉松 docs nati
Docker
mesos
mesosphere
marathon
HDFS 对 DC/OS 中机器重启的弹性
我已在由 10 台 Core OS 机器 3 个主节点 7 个代理节点 组成的 DCOS 集群上安装了 Universe 中的 HDFS 我的 HA HDFS 配置有 2 个名称节点 3 个日志节点和 5 个数据节点 现在 我的问题是 HD
Hadoop
HDFS
mesos
marathon
dcos
如何使用 Apache Mesos/Marathon 运行一次性任务?
我正在尝试使用 Marathon 运行一项一次性任务 我能够让任务容器运行 但在任务命令完成后 marathon 会运行另一个任务 依此类推 如何防止 Marathon 运行多个任务 命令 或者 如果 Marathon 无法做到这一点 我怎
mesos
marathon
如何为自定义Python项目编写Dockerfile?
我对 Docker 还很陌生 我需要创建容器来将 Docker 容器作为 Apache Mesos 任务运行 问题是我找不到任何相关的例子 它们都以 Web 开发为中心 但我的情况并非如此 我有一个带有大量依赖项的纯Python项目 例如B
python
Docker
mesos
将 Docker 容器与 Mesos/Marathon 链接
到目前为止 我使用 Mesos Marathon 和 Docker 来管理服务器群以及放置在服务器上的容器 取得了巨大成功 然而 我现在想更进一步 开始做一些事情 比如自动将 haproxy 容器链接到每个启动的主 docker 服务 或者
Docker
mesos
marathon
Chronos 不运行作业
我已经为每个服务使用 Docker 映像设置了 Mesos 集群 包括 Marathon 和 Chronos 我使用的 Docker 镜像如下 动物园管理员 jplock zookeeper 3 4 5 https registry hub
Docker
mesos
mesosphere
在 mesos 集群上设置 Mesos-DNS dockerized
我在尝试在 mesos 集群上运行 mesos dns dockerized 时遇到一些麻烦 我在 Windows 8 1 主机上设置了 2 个带有 ubuntu trusty 的虚拟机 我的虚拟机名为docker虚拟机 and docke
DNS
Docker
mesos
marathon
为什么向 Mesos 提交 Spark 应用程序会失败并显示“无法解析主 URL:'mesos://localhost:5050'”?
当我尝试将 Spark 应用程序提交到 Mesos 集群时 出现以下异常 17 01 31 17 04 21 警告 NativeCodeLoader 无法为您的平台加载本机 hadoop 库 在适用的情况下使用内置 java 类 17 01
apachespark
mesos
.dockercfg 文件应如何托管在 Mesosphere-on-AWS 设置中,以便只有 Mesosphere 可以使用它?
我们已经在 AWS 上的私有 VPC 中使用 Mesosphere 设置了一个测试集群 我们有一些公开的 Docker 镜像 很容易部署 然而 我们的大多数服务都是私有镜像 托管在 Docker Hub 私有计划上 并且需要身份验证才能访问
amazonwebservices
mesos
amazonvpc
dockerregistry
mesosphere
DCOS集群资源分配是np-hard的
这里在DCOS文件指出 决定在哪里运行进程以最好地利用集群资源是 很难 事实上是 NP 难 我不否认这听起来是对的 但是有证据吗 资源的最佳利用是变化装箱问题 在装箱问题中 不同体积的物体必须 装入有限数量的箱子或容器中 每个箱子或容器的体
clustercomputing
mesos
dcos
nphard
Spark 工作负载需要 HDFS 吗?
HDFS 不是必需的 但在某些地方会出现建议 为了帮助评估运行 HDFS 所花费的精力 将 HDFS 用于 Spark 工作负载有哪些好处 最短的答案是 不 你不需要它 即使没有 HDFS 您也可以分析数据 但当然您需要在所有节点上复制数据
Hadoop
apachespark
HDFS
mesos
mesosphere
解决Mesos主导Master
我们使用 Mesos 在集群上运行作业 我们使用 haproxy 来指向 例如 mesos seanmcl com到 Mesos Master 如果该 Master 恰好不是领导者 UI 将在一段时间后重定向浏览器delay 发送给领导者
apachezookeeper
mesos
1
2
»