Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
大规模分布式消息中间件简介
大规模分布式消息中间件简介 当前各种 RPC 中间件技术已经广泛应用于各个领域 其中 服务器之间消息通讯这种功能广泛应用于这些中间件中 于是 将这种面向消息的中间件 Message Oriented Middleware MOM 抽象出来
分布式与大数据系统
分布式消息系统
聊聊java高并发系统之异步非阻塞
聊聊java高并发系统之异步非阻塞 几种调用方式 同步阻塞调用 即串行调用 响应时间为所有服务的响应时间总和 半异步 异步Future 线程池 异步Future 使用场景 并发请求多服务 总耗时为最长响应时间 提升总响应时间 但是阻塞主请求
分布式与大数据系统
DNS在架构设计中的巧用
DNS在架构设计中的巧用 一 缘起 一个http请求从客户端到服务端 整个执行流程是怎么样的呢 一个典型流程如上 1 客户端通过域名daojia com请求dns server 2 dns server返回域名对应的外网ip 1 2 3 4
分布式与大数据系统
网络理论与编程
分布式系统全链路监控方案设计
分布式系统全链路监控方案设计 在分布式系统中 全链路监控系统 跟踪requestid经过了哪些server 方便定位log的位置 能在一定程度上缓解维护压力 下面给出我们团队的架构设计图
运维技术
分布式与大数据系统
condition update在分布式系统中设计
condition update在分布式系统中设计 1 定义 condition update称为条件更新 用于分布式系统中数据一致性 能够保证在并发操作数据时的正确性 2 方式 1 可以通过version来保证condition upda
分布式与大数据系统
zookeeper session实现机制
zookeeper session实现机制 TO DO
分布式一致性
分布式与大数据系统
API网关
API网关 api gateway 即 api 网关 所有的请求首先会经过这个网关 这有点类似于前端控制器模式 也有点类似于 Facade模式 如下图所示 由于所有的请求会先经过这个 api 网关 所以 可以在 这里做 权限控制 安全 负载
分布式与大数据系统
分布式系统的时间
分布式系统的时间 事件的顺序 大家都知道 Linearizability在一些系统 譬如分布式数据库 里面是非常重要的 我们不能允许数据更新之后仍然能读到原先的值 譬如银行转账 用户A有100元 转给用户B 10元 这个操作之后用户A只可能
分布式与大数据系统
架构师需要了解的Paxos原理、历程及实战
架构师需要了解的Paxos原理 历程及实战 数据库高可用性难题 数据库的数据一致和持续可用对电子商务和互联网金融的意义不言而喻 而这些业务在使用数据库时 无论 MySQL 还是 Oracle 都会面临一个艰难的取舍 就是如何处理主备库之间的
分布式与大数据系统
实现一个高性能网络通讯库的要点
实现一个高性能网络通讯库的要点 由于硬件的发展速度快 本来占时间消耗小头的软件层 变成了大头 原本占性能比例非常小的的中断 上下文切换 也成为了性能优化的方向 许多bypass kernel的方案开始发展起来 以前在千兆网卡普及的时代 就有
分布式与大数据系统
Nginx+Redis+Ehcache:大型高并发与高可用的三层缓存架构总结
Nginx Redis Ehcache 大型高并发与高可用的三层缓存架构总结 Nginx 对于中间件nginx常用来做流量的分发 同时nginx本身也有自己的缓存 容量有限 我们可以用来缓存热点数据 让用户的请求直接走缓存并返回 减少流向服
分布式与大数据系统
Tachyon内存文件系统
Tachyon内存文件系统 Tachyon是以内存为中心的分布式文件系统 拥有高性能和容错能力 能够为集群框架 如Spark MapReduce 提供可靠的内存级速度的文件共享服务 从软件栈的层次来看 Tachyon是位于现有大数据计算框架
分布式与大数据系统
分布式文件系统
一种多级缓存的系统架构
一种多级缓存的系统架构 下面这个也是比较常用的多级缓存的系统架构图 整体流程如上图所示 1 首先接入Nginx将请求负载均衡到应用Nginx 此处常用的负载均衡算法是轮询或者一致性哈希 轮询可以使服务器的请求更加均衡 而一致性哈希可以提升应
分布式与大数据系统
分布式系统的正确性验证方法
分布式系统的正确性验证方法 1 Jepsen框架 Jepsen是一个开源的分布式一致性验证框架 可用于验证分布式数据库 分布式消息队列 分布式协调系统 Jepsen探索特定故障模式下分布式系统是否满足一致性 Jepsen框架是一个
分布式与大数据系统
分布式一致性
分布式配置管理系统QConf
分布式配置管理系统QConf 分布式配置管理系统QConf是360公司开源的系统 详见 https github com Qihoo360 QConf 整体架构图如下 资料 1 https github com Qihoo360 QConf
分布式一致性
分布式与大数据系统
分布式系统的自主服务
分布式系统的自主服务 分布式系统作为server运行在机器上 需要很好的自动化运维来操作集群上的复杂的分布式系统 自动化运维要做到基础数据的完整收集 关键信息的准确推送 运维流程的正确 简便执行和确认 进程内部数据按需获取 对象运行状况的长
分布式与大数据系统
Quorum Journal Manager原理
Quorum Journal Manager原理 在一个典型的HA集群 两个独立的物理节点配置为NameNodes 在任何时间点 其中之一NameNodes是处于Active状态 另一种是在Standby状态 Active NameNode
分布式与大数据系统
分布式一致性
分布式系统之数据分片
分布式系统之数据分片 详细参考 http www cnblogs com xybaby p 7076731 html
分布式与大数据系统
阿里云飞天系统
阿里云飞天系统 有幸在阿里云飞天部门工作几年 下面给出基础架构一览
分布式与大数据系统
飞天平台安全相关
飞天平台安全相关 1 capability机制 用户的身份认证 authentication 是基于密钥机制的 用户对资源的访问控制是基于权能 capability 机制进行授权 authorization 的 capability是用于访
分布式与大数据系统
安全技术研究
1
2
»