Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
【精】彻底吃透HDFS写流程(5)-- DataStreamer线程类run方法分析以及如何构建pipeline?
有关HDFS写流程的系列文章 精 彻底吃透HDFS写流程 1 BlockConstructionStage 精 彻底吃透HDFS写流程 2 Namenode侧create文件 精 彻底吃透HDFS写流程 3 DataStreamer线程和输
HDFS全方位实战
HDFS
Hadoop
big data
【精】与HDFS相关的Linux基础知识:内核是怎么保存文件描述符相关数据结构的?
研究分布式文件存储系统 少不了与底层操作系统 文件系统 存储设备等打交道 了解这些基本原理对我们全方位理解分布式存储 问题定位 性能优化等有很大帮助 大家都知道 在linux中 一切都是文件 对文件的操作都是通过打开此文件拿到文件描述符 然
HDFS全方位实战
Linux
HDFS
数据结构
【HDFS】Hadoop-RPC:客户端侧通过Client.Connection#sendRpcRequest方法发送RPC序列化数据
org apache hadoop ipc Client Connection sendRpcRequest 这个方法是客户端侧向服务端发送RPC请求的地方 调用点是Client call方法过来的 此方法代码注释里描述了一个细节 这个向服
HDFS全方位实战
HDFS
Hadoop
大数据
rpc
【精】HDFS无需重启NN进行动态刷新拓扑信息
本文实现了一个HDFS的Feature 无需滚动重启Namenode即可实现动态加载机架信息 变更集群网络拓扑和机架感知信息 本文会从功能必要性 实现原理 实现源码 测试结果 以及过程中遇到的问题这几个角度来介绍 通过本文可以get如下知识
HDFS全方位实战
分布式存储
HDFS
Hadoop
big data
【YARN】(1)-- 整体架构、RM、NM、AM等基础组件快速理解
一 Yarn的功能和整体架构 Apache Hadoop YARN Yet Another Resource Negotiator 另一种资源协调者 是一种新的 Hadoop 资源管理器 它是一个通用资源管理系统和调度平台 可为上层应用提供
HDFS全方位实战
Hadoop
yarn
大数据
【HDFS】EditLogTailer功能及原理(二)-- selectInputStreams细节详解
HDFS EditLogTailer功能及原理 一 整体流程 HDFS EditLogTailer功能及原理 二 selectInputStreams细节详解 HDFS EditLogTailer功能及原理 三 loadEdits方法细节详
HDFS全方位实战
Hadoop
HDFS
big data
Java
【HDFS】XXXRpcServer和ClientNamenodeProtocolServerSideTranslatorPB小记
初始化RouterRpcServer时候会new ClientNamenodeProtocolServerSideTranslatorPB 并把当前RouterRpcServer对象 this 传入构造函数 ClientNamenodePr
HDFS全方位实战
HDFS
Hadoop
大数据
【Java】maven-shaded-plugin超详细详解
一 总体介绍 maven shaded plugin提供了两大基本功能 将依赖的jar包打包到当前jar包 常规打包是不会将所依赖的jar包打进来的 对依赖的jar包进行重命名 用于类的隔离 创建一个Shaded JAR maven sha
Java语言积累
HDFS全方位实战
Maven
Java
jar
【精】HDFS的HA系列(一)--- 背景、架构
本文作为HDFS HA系列的第一篇文章 主要简单描述一下HDFS HA的产生背景和整体架构 同时也会对后续系列文章要讲解的内容列出一个大致提纲 一 Hadoop HA背景 单点故障 英语 single point of failure 缩写
HDFS全方位实战
HDFS
架构
Hadoop