程序员经验分享-hwhale

HDFS读数据流程

2023-10-26

 

准备工作

1，首先客户端进入分布式文件系统去寻找数据块的位置

利用得到的文集文件块位置来要求名称节点返还部分块这些返还的节点会按照HADOOP中关于集群拓扑来得出客户端的距离然后进行排序

开始读取数据

  1客户端利用FSDataInputStream的Read()方法读取数据，FSDataInputStream保存第一个数据块最近的数据节点，并以数据流的方式读取，直到数据块结束位置

   2第一块读取结束后，FSDataInputStream关闭连接，开始寻找下一个距离客户端最近的数据节点

   3客户端不仅会对按照，FSDataInputStream打开和数据节点连接，还会调用名称节点来检查下一组数据节点的位置信息当完成所有文件读取后，客户端会关闭数据流

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

大数据导论作业

HDFS

Hadoop

big data

HDFS读数据流程 的相关文章

随机推荐

  • 逆向基础：32位软件逆向技术

    在编写win32应用程序时 都必须在源码里实现一个WinMain函数 但windows程序的执行并不是从WinMain函数开始的 首先被执行的是启动函数的相关代码 这段代码是由编译器生成的 启动源代码 crt src wincmdln c中

  • 【leveldb】整体架构

    LevelDb本质上是一套存储系统以及在这套存储系统上提供的一些操作接口 为了便于理解整个系统及其处理流程 我们可以从两个不同的角度来看待 LevleDb 静态角度和动态角度 从静态角度 可以假想整个系统正在运行过程中 不断插入删除读取数据

  • 【鼠标事件 MouseEvent】clientX clientY offsetX offsetX pageX screenX screenY

    鼠标事件 MouseEvent 对象 下clientX clientY offsetX offsetX pageX screenX screenY 定义转自 MDNMouseEvent MouseEvent clientX 只读 鼠标指针在

  • C程序设计实现高内聚低耦合

    要做到高内聚低耦合 重点并不是代码的编写 而是整体程序的设计阶段 程序设计时 要先将要实现的功能列出来 然后设计模块 模块设计后 再进行代码实现 要做到高内聚低耦合 设计模块时需要做到 1 各个模块之间的功能必须明确 2 各个功能模块间实现

  • Mysql数据库基础知识总复习

    前言 小亭子正在努力的学习编程 接下来将开启javaEE的学习 分享的文章都是学习的笔记和感悟 如有不妥之处希望大佬们批评指正 同时如果本文对你有帮助的话 烦请点赞关注支持一波 感激不尽 目录 前言 数据库基础知识 数据 数据库 数据库管理

  • 关于访问后端接口报404的问题——全网最详细的404错误详解

    当我们通过前端向后端发起一个请求调用后端接口时 经常会遇到404的问题 网上关于对404问题介绍的一大堆 其实404问题的本质就两点 在介绍404问题之前先温习一个小的知识点 项目访问路径 项目访问路径 就是定位一个项目的路径 可以理解为项

  • spring整合redis缓存，以注解(@Cacheable、@CachePut、@CacheEvict)形式使用

    maven项目中在pom xml中依赖2个jar包 其他的spring的jar包省略

  • Android高级UI之事件传递之1

    点击事件的传递规则 在介绍点击事件的传递规则之前 首先要明白这里分析的对象是MotionEvent 即点击事件 所谓的事件分发 其实就是对MotionEvent事件的分发过程 即当一个MotionEvent产生以后 系统需要把这个事件传递给

  • C语言解析json数据结构分析与教程

    写在前面的话 本文档旨在归纳总结个人的学习经验与成果 记录自己的成长 随便给大家分享自己解决的思路 为在这方面有需要的朋友提供一个参考 本人能力有限水平一般 文中难免会有一些错误 希望大家抱着辩证客观的态度来阅读 有错误还请各位海涵包容并予

  • 基于内容的图像检索技术：从特征到检索

    点击上方 机器学习与生成对抗网络 星标置顶 重磅干货 第一时间送达 来自 知乎 作者 赵丽丽 编辑 新机器视觉 在介绍视觉内容检索流程前 先来回顾下文本检索流程 一 相似文本检索 相似文本检索可以分成构建词库 构建索引和检索三部分 如下图所

  • 烽火星空- 笔试

    烽火星空笔试 Java结合数据结构进行出题 无任何网络知识 无任何操作系统知识 无任何框架知识 Collection除外 选择题 Java结合数据结构 没有Java基础知识 全部结合数据结构 数据结构占比60 Java 40 链表占比极高

  • SELECT CASE WHEN 的用法

    1 SELECT CASE WHEN 的用法 select 与 case结合使用最大的好处有两点 一是在显示查询结果时可以灵活的组织格式 二是有效避免了多次对同一个表或几个表的访问 下面举个简单的例子来说明 例如表 students id

  • Android和H5那些不可描述的事情...

    今日科技快讯 近日 代表了750家移动运营商利益的全球移动通信系统协会的行业分析报告显示 禁止从中国供应商购买通信设备 将使欧洲5G网络成本增加约550亿欧元 并将导致该技术的推出延迟18个月左右 在路透社报道中提到的中国供应商 除了华为

  • 深度之眼（五）——Python组合数据类型

  • springcloud----负载均衡--Ribbon与LoadBalance

    简介 Spring Cloud Ribbon 是 Netflix Ribbon 实现的一套客户端 负载均衡工具 简单的说 Ribbon 是 Netflix 发布的开源项目 主要功能是提供 客户端的复杂均衡算法和服务调用 Ribbon 客户端

  • Pico-I / O嵌入式模块提供48点数字I / O接口

    WinSystems的PCO UIO48 G是具有中断事件检测功能的48点数字I O接口 Pico I O嵌入式模块旨在为Pico ITXe单板计算机提供低成本的I O扩展 该产品的主要功能之一是 它可以监视24个上升和下降的数字边沿转换

  • spring容器使用接口注入

    spring为何要注入接口 而注入实现类就会报错 如果只是单纯注入是可以用实现类接收注入对象的 但是往往开发中会对实现类做增强 如事务 日志等 实现增强的AOP技术是通过动态代理实现的 而spring默认是JDK动态代理 对实现类对象做增强

  • Linux（V4L2驱动）下获得Opencv摄像头属性（图像输出格式和是否发生往RGB的转换）的方法

    Opencv可通过cvGetCaptureProperty函数 或者VideoCapture get int proID 来获取摄像头输出图像的属性 但返回的是个double的值 如何查看图像输出的编码格式呢 其实可以看到 编码格式是个宏定

  • 通信仿真软件SystemView安装全流程详细解释（下载，安装，闪退，读条无反应）

    systemview简介 systemview 通信仿真软件 5 0 是一款模拟软件 这款软件主要是进行信号仿真的操作 支持支持滤波器设计 信号仿真和通信系统统计分析 软件内的功能非常丰富 操作也很简单 是一款非常不错的软件 有需要的小伙伴

  • HDFS读数据流程

    准备工作 1 首先客户端进入分布式文件系统去寻找数据块的位置 利用得到的文集文件块位置来要求名称节点返还部分块这些返还的节点会按照HADOOP中关于集群拓扑来得出客户端的距离然后进行排序 开始读取数据 1客户端利用FSDataInputSt

热门标签