Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
我什么时候使用像 Paxos 这样的共识算法,什么时候使用像向量时钟这样的算法?
我已经阅读了很多有关保证分布式系统中节点之间一致性的不同策略的文章 但我在弄清楚何时使用哪种算法时遇到了一些麻烦 我会在什么样的系统中使用矢量时钟之类的东西 哪个系统最适合使用 Paxos 之类的东西 两者是互相排斥的吗 有一个由 2 个节
distributedcomputing
Distributed
Theory
Spark:同时从具有不同内存/核心配置的单个 JVM 作业启动
问题解释 假设您有带有独立管理器的 Spark 集群 其中作业通过SparkSession在客户端应用程序中创建 客户端应用程序在 JVM 上运行 为了提高性能 您必须使用不同的配置启动每个作业 请参阅职位类型示例 below 问题是您无法
Java
apachespark
configuration
Architecture
distributedcomputing
如何在 OS X C 代码中创建异步计时器?
所以这个问题实际上是 为什么 time h 在 OS X 和 Linux 上不一样 但是 我已经接受了这些分歧 为了在 Unix 系统上创建计时器 我遵循了本教程http www helsinki fi atk unix dec manua
c
MacOS
system
distributedcomputing
Dask 分布式。如何在正在计算的函数中获取任务密钥ID?
我使用 dask distributed 进行的计算包括创建名称包含 UUID4 的中间文件 用于标识该工作块 pairs n n n format list1 list2 list3 file path os path join job
python27
Distributed
distributedcomputing
Dask
自动完成后端
这是一个面试问题 设计一个自动完成的分布式后端 我会回答如下 自动完成是按给定后缀在字典中进行搜索 这本词典可能应该被组织为trie 该词典是根据最常见的查询构建的 但这是另一回事了 现在我假设字典不会经常更改 例如每天一次而不是每毫秒一次
为什么 Hadoop 不使用 MPI 来实现?
如果我错了 请纠正我 但我的理解是 Hadoop 不使用 MPI 进行不同节点之间的通信 造成这种情况的技术原因是什么 我可以冒险进行一些猜测 但我对 MPI 是如何 在幕后 实现的了解不够 无法知道我是否正确 想想看 我对 Hadoop
TCP
Hadoop
protocolbuffers
MPI
distributedcomputing
如何将事件分发到(Wildfly)集群中的所有节点?
当我的进程中运行时间较长的进程的状态时 我想通知集群中的所有节点JavaEE 7WebApp 发生变化 因此每个节点都可以通过 WebSocket 依次通知其客户端该变化 我正在集群环境中使用 Wildfly 10 What JavaEE
jakartaee
EJB
wildfly
distributedcomputing
javaee7
为什么 CAP 定理中 RDBMS 不能容忍分区,但为什么它可用?
关于 RDBMS 是 CAP 定理中的 CA 我不明白的两点 1 它说RDBMS是not 分区容忍但 RDBMS 怎么样 any less比 MongoDB 或 Cassandra 等其他技术更具有分区容错性 是否有一种 RDBMS 设置可
distributedcomputing
RDBMS
DistributedSystem
captheorem
NoSQL
Hadoop:将多个IP地址绑定到集群NameNode
我在 Softlayer 上有一个四节点 Hadoop 集群 Master NameNode 有一个用于外部访问的公共IP地址和一个用于集群访问的私有IP地址 从节点 数据节点 具有私有IP地址 我试图连接到主节点 而不需要为每个从节点分配
Java
Hadoop
NetworkProgramming
clustercomputing
distributedcomputing
什么分布式消息队列支持百万级队列?
我正在寻找一个分布式消息队列 它将支持数百万个队列 每个队列每秒处理数十条消息 消息会很小 几十个字节 而且我不希望队列变得很长 每个队列最多有几十条消息 但是当系统运行时 队列应该保持相当长的状态空的 我不确定集群中有多少个节点 可能取决
clustercomputing
MessageQueue
distributedcomputing
为 Spark 创建 JAR
我正在关注这个guide https spark apache org docs 1 2 0 quick start html 但是当我尝试使用以下命令创建 JAR 时 我无法在 Spark 中运行 Scalasbt I have 简单 s
Java
scala
apachespark
sbt
distributedcomputing
CAP定理是否意味着ACID对于分布式数据库是不可能的?
有NoSQL ACID 分布式 数据库 https stackoverflow com questions 2608103 is there any nosql that is acid compliant 尽管有 CAP 定理 这怎么可能
database
NoSQL
distributedcomputing
distributedtransactions
ACID
Erlang集群
我正在尝试使用 Erlang 作为将所有组件粘合在一起的粘合剂来实现一个集群 我喜欢它创建一个完全连接的节点图的想法 但在在线阅读不同的文章后 似乎这不能很好地扩展 最多有 50 100 个节点 OTP 的开发者是否故意施加此限制 我确实知
ERLANG
Cloud
clustercomputing
distributedcomputing
如何在 spmd 块中索引共分布式数组
我正在做一个非常大的计算 大气吸收 其中有很多单独的窄峰 最后全部加起来 对于每个峰 我预先计算了峰形函数值高于我选择的阈值的范围 然后我逐行将峰添加到我的光谱中 下面给出了一个最小示例 X 1 1e7 K numel a count th
MATLAB
parallelprocessing
distributedcomputing
spmd
Spark Streaming:接收器故障后如何不重新启动接收器
我们正在使用自定义 Spark 接收器 它从提供的 http 链接读取流数据 如果提供的http链接不正确 则接收失败 问题是spark会不断重启接收器 并且应用程序永远不会终止 问题是如果接收器失败 如何告诉 Spark 终止应用程序 这
对于不同编译版本和不同机器的相同输入,std::hash 是否给出相同的结果?
我有一些随机测试参数 我需要计算哈希值来检测我是否使用相同的参数运行 我可能会使用在不同时间重新编译的相同源来运行测试 或者在不同的机器上运行 即便如此 我想检测运行时是否使用了相同的参数 做std hash对于不同的编译版本和不同的机器
c
HashTable
distributedcomputing
portability
stdhash
使用 docker 在 AWS ray 集群上启动简单的 python 脚本
我发现遵循 Ray 指南在 ray 集群上运行 docker 映像以执行 python 脚本非常困难 我发现缺乏简单的工作示例 所以我有最简单的docker文件 FROM rayproject ray WORKDIR usr src app
我从哪里开始分布式计算?
我对学习分布式计算技术感兴趣 作为一名 Java 开发人员 我可能愿意从Hadoop http hadoop apache org 您能推荐一些书籍 教程 文章吗 也许你可以先阅读一些MapReduce和分布式计算相关的论文 以更好地理解它
Hadoop
MapReduce
distributedcomputing
Spark聚合函数——aggregateByKey是如何工作的?
假设我有一个分布在 3 个节点上的系统 并且我的数据分布在这些节点之间 例如 我有一个 test csv 文件 该文件存在于所有 3 个节点上 并且包含 2 列 row id c row1 k1 c1 row2 k1 c2 row3 k1
apachespark
distributedcomputing
Spark应用程序状态中的FAILED和ERROR有什么区别
我正在尝试创建已提交的 Spark 应用程序的状态图 当应用程序被视为失败时 我有点迷失了 各州来自这里 https github com apache spark blob d6dc12ef0146ae409834c78737c11605
apachespark
Driver
Scheduling
distributedcomputing
Bigdata
«
1
2
3
4
5
»