Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
无法使用 Keras 中的 multi_gpu_model 后的 model.save 保存模型
升级到 Keras 2 0 9 后 我一直在使用multi gpu model实用程序 但我无法使用保存我的模型或最佳权重 model save path 我得到的错误是 类型错误 无法pickle模块对象 我怀疑访问模型对象时存在一些问题
tensorflow
Keras
distributedcomputing
multigpu
keras2
Java 套接字 - 如何模拟多个客户端
我有一个用Java编写的套接字程序 服务器使用 DatagramSocket 创建具有特定端口号的套接字 我有一个客户端java程序 它连接到该服务器并发送一些消息 目前我有 3 台笔记本电脑 因此我使用 1 台运行服务器 其余 2 台作为
Java
Sockets
distributedcomputing
Spark 在 WholeTextFiles 上创建的分区少于 minPartitions 参数
我有一个文件夹 里面有 14 个文件 我在一个集群上使用 10 个执行器运行 Spark Submit 该集群的资源管理器为 YARN 我创建了我的第一个 RDD 如下所示 JavaPairRDD
apachespark
HDFS
hadoopyarn
distributedcomputing
partitioning
YARN UNHEALTHY 节点
在我们的 YARN 集群已满 80 的情况下 我们看到一些纱线节点管理器被标记为不健康 在深入研究日志后 我发现这是因为数据目录的磁盘空间已满 90 出现以下错误 2015 02 21 08 33 51 590 INFO org apach
Hadoop
distributedcomputing
Cloudera
hadoopyarn
clouderacdh
Hive - 线程安全的自动递增序列号生成
我遇到一种情况 需要将记录插入到特定的 Hive 表中 其中一列需要是自动递增的序列号 即在任何时间点都必须严格遵循 max value 1 规则 记录从许多并行的 Hive 作业插入到这个特定的表中 这些作业每天 每周 每月批量运行 现在
Hadoop
hive
apachezookeeper
distributedcomputing
通过分布式数据库聚合作业优化网络带宽
我有一个分布式 联合数据库 结构如下 数据库分布在三个地理位置 节点 每个节点集群有多个数据库 关系数据库是 PostgreSQL MySQL Oracle 和 MS SQL Server 的混合体 非关系数据库是 MongoDB 或 Ca
database
Algorithm
caching
Optimization
distributedcomputing
与恶霸算法相比,高级主选举算法有什么好处?
我读过当前的主选举算法 如 Raft Paxos 或 Zab 如何在集群上选举主节点 但不明白为什么他们使用复杂的算法而不是简单的恶霸算法 我正在开发一个集群库并使用 UDP 多播来发送心跳消息 每个节点加入一个多播地址 并定期向该地址发送
clustercomputing
distributedcomputing
apachezookeeper
paxos
raft
Apache Spark 中的混洗与非混洗合并
在将 RDD 写入文件之前执行以下转换时 它们之间有什么区别 合并 1 随机播放 true 合并 1 随机播放 假 代码示例 val input sc textFile inputFile val filtered input filter
scala
apachespark
distributedcomputing
Javascript分布式计算[关闭]
Closed 这个问题是基于意见的 help closed questions 目前不接受答案 为什么没有任何 Javascript 分布式计算框架 项目 这个想法对我来说绝对很棒 因为 客户端就是浏览器 可以使用AJAX进行迭代 网站管理
javascript
AJAX
distributedcomputing
在分布式 dask 中,我们如何为每个工作人员选择 --nthreads 和 --nprocs ?
我们如何选择 nthreads and nprocsDask 中每个工人的分布情况 我有 3 个工作线程 2 个工作线程有 4 个核心 每个核心有一个线程 1 个工作线程有 8 个核心 根据输出lscpu每个worker上的Linux命令
distributedcomputing
Dask
daskdistributed
使用 COMPS 构建 C/C++ 应用程序时出错:硬编码路径
我正在尝试构建一个使用 C C 绑定开发的 COMPASs 应用程序 当我构建应用程序时 出现以下错误 您知道我该如何解决这个问题吗 xxxx xxx c increment gt buildapp increment BSC Barcel
distributedcomputing
HPC
compss
在 Spark 执行器节点上安装 Python 依赖项的最简单方法?
据我所知 您可以将单个文件作为 Python Spark 程序的依赖项发送 但是成熟的库 例如 numpy 呢 Spark 是否有办法使用提供的包管理器 例如 pip 来安装库依赖项 或者这必须在 Spark 程序执行之前手动完成 如果答案
与共享数据相比,消息传递的性能损失
最近有很多关于不使用锁和使用 Erlang 等消息传递方法的讨论 或者关于使用不可变的数据结构 例如函数式编程与 C Java 中的比较 但我关心的是以下几点 AFAIK Erlang 不保证消息传递 消息可能会丢失 如果还要担心消息丢失
concurrency
Transactions
ERLANG
distributedcomputing
网络断开后,raft follower如何重新加入?
我在木筏上遇到了问题 在论文 寻找一种可理解的共识算法 扩展版 中写道 要开始选举 追随者会增加其当前的 任期并过渡到候选状态 第 5 2 节 它还说 AppendEntries RPC 和 RequestVot RPC 中的接收者应为 R
distributedcomputing
DistributedSystem
raft
LRPC 的意义何在?为什么有人想要对同一台机器进行远程过程调用?
根据我对 RPC 远程过程调用 的理解 它们提供了一种向远程计算机发送函数调用 调用等的方法 这样做的明显优点是 您可以拥有一个在机器集群上运行的单个程序 并且可以处理更多请求 更多数据等 但我很困惑LRPC 轻量级RPC http www
rpc
distributedcomputing
如果更新值与接受者发送的最高提案编号不同步,paxos 是否会“忽略”更新值的请求?
这里的标题可能会产生误导 我将尽力通过一个例子来解释我的疑问 我正在从 wiki 和其他来源阅读有关 paxos 算法的内容 1 想象一下客户端请求更新值的情况 X在下面的示例中 已被处理 经过一轮 Paxos 后 得到一个值Vb之所以被选
distributedcomputing
paxos
Consensus
大规模分布式系统中的日志文件
我在网格和 HPC 领域做了很多工作 对于分布在数百 或在某些情况下数千 服务器上的系统 我们面临的最大挑战之一是分析日志文件 当前日志文件本地写入每个刀片上的磁盘 但我们也可以考虑使用 UDP Appender 等发布日志信息并集中收集
distributedcomputing
HPC
如果leader没有死但是无法接收Kafka中的消息会发生什么?单点故障?
我有 3 个经纪人 3 个分区 每个代理都是一个分区的领导者和所有分区的 ISR 假设我已经在端口上运行了代理19092 29092 39092分别 19092 partition 0 29092 partition 1 39092 par
ApacheKafka
distributedcomputing
适用于商品 Linux 存储场的最佳分布式文件系统 [关闭]
Closed 这个问题是基于意见的 help closed questions 目前不接受答案 我有很多闲置的英特尔 Linux 服务器 数百台 并且希望将它们用于 Web 托管和文件共享环境中的分布式文件系统 这不适用于 HPC 应用程序
Linux
filesystems
distributedcomputing
DistributedSystem
在 Spark 中将简单的一行字符串转换为 RDD
我有一条简单的线 line Hello world 我想将其转换为只有一个元素的 RDD 我努力了 sc parallelize line 但它得到 sc parallelize line collect H e l l o w o r l
python
apachespark
PySpark
distributedcomputing
RDD
1
2
3
4
5
»