HDFS文件读写流程

2023-10-31

**HDFS读文件流程**

1.客户端向NameNode发送读文件请求,NameNode返回文件的数据块信息,对于每一个数据块,元数据节点返回保存数据块的数据节点的地址

2.文件系统返回FSDataInputStream给客户端,用来读取数据

3.FSDataInputStream连接保存次文件第一个数据块的最近的数据节点,data从数据节点读到客户端

4.当此数据块读取完毕是,FSDataInputStream关闭和此数据节点的连接,然后连接此文件下一个数据块的最近的数据节点

5.当客户端读取数据完毕后,关闭FSDataInputStream

6.在读取数据的过程中,如果客户端在与数据节点通信出现错误,则尝试连接包含此数据块的下一个数据节点

7.失败的数据节点将被记录,以后不再连接

**HDFS写文件流程**

1.客户端向NameNode发送写文件请求。

2.NameNode检查是否已存在文件,检查客户端是否有写权限。若通过检查,在名称空间中创建一个新的文件。

3.文件系统返回一个输出流对象(DFSOutputStream),客户端用于写数据。

4.客户端将NameNode返回的分配的可写的DataNode列表和Data数据一同发送给最近的第一个DataNode节点,第一个节点将数据块发送给第二个节点,第二个节点将数据块发送给第三个节点。

5.三个数据节点存储数据成功后会向客户端发送写入成功,客户端会通知NameNode写入完毕。

了解更多相关技术内容欢迎关注小编!

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

HDFS文件读写流程 的相关文章

随机推荐

  • idea 2023.1设置:字体设置及自动调整大小

    一 原界面截图 二 修改字体设置 2 1 Font设置字体及大小 与下面相比 能调整字体和行高 2 2 鼠标滚轮调整字体大小 与上面相比 Ctrl 滑轮 只能调整字体大小 如果找不到 可直接搜 wheel 三 修改后界面截图 组合键在修改字
  • 《算法二》选择排序算法及它的时间复杂度

    1 选择排序算法 选择排序算法的时间复杂度为O N 2 选择排序算法规则 1 指定位置的数和后面的数比较 2 如果指定位置的数大 则两个数交换位置 3 向后移动一个位置 和指定位置的数进行比较 假设数组大小 n 第一轮比较n 1次 最小的数
  • 【如何训练一个中英翻译模型】LSTM机器翻译模型部署之ncnn(python)(五)

    系列文章 如何训练一个中英翻译模型 LSTM机器翻译seq2seq字符编码 一 如何训练一个中英翻译模型 LSTM机器翻译模型训练与保存 二 如何训练一个中英翻译模型 LSTM机器翻译模型部署 三 如何训练一个中英翻译模型 LSTM机器翻译
  • Pytorch 基础之张量合并与分割

    本次介绍一下 Tensor 张量合并与分割常用的一些方法 1 torch cat tensors dim 0 out None Tensor 方法释义 对除了要合并维度之外 其它维度 shape 都一样的 tensor 序列 数组或列表 进
  • 新手学习须注意的问题

    注意事项 1 最新版本的MDK软件Keil的编译器版本已更新到v6 且与v5版本不兼容 之前老的项目编译使用v6版编译器都会出错 建议使用老版本的Keil 如v5 36等 单纯安装v5版本的编译器比较麻烦 Keil v536同时自带v5 v
  • linux用rdate命令实现同步时间

    author skate time 2010 05 07 用rdate命令实现同步时间 前两天说到用ntp时间服务器和ntpdate命令同步时间 今天简单记录下用rdate同步时间 http blog csdn net wyzxg arch
  • Webplus网站群管理平台介绍

    简介 Webplus网站群管理平台采用模块化设计 无需用户编程 便可轻松规划 建设一个或多个功能强大的动态信息门户网站 可以同时建立多个信息相关联的网站 所有网站制作和管理均基于统一的身份认证 简单而实用的流程管理 可以做到单个网站的多部门
  • Long类型雪花算法ID返回前端后三位精度缺失问题解决

    目录 一 问题描述 二 问题复现 1 Maven依赖 2 application yml 配置 3 DemoController java 4 snowflakePage html 页面 5 DemoControllerAdvice jav
  • matlab用抛物线族表示马鞍面,matlab画马鞍面

    118 125 H sig ci ttest x 115 H sig ci ttest y 115 h sig ci ttest2 x y 1 在同一平面中的两个窗口分别画出心形线和马鞍面 的图形 例如 螺旋曲线 以及难以靠手工绘制得到理想
  • 自媒体、短视频博主都在用这5个免费视频网站

    相信不少朋友在剪辑短视频的的时候 不是因为技术不过关 而是没有合适的素材 没有素材情况下 第一想到的就是百度找素材网站 好不容易找到可能还需收费 如果你要是在剪辑的时候没有素材 那么可以看看我推荐的这个几个网站 基本都是可以免费下载的 对你
  • Matlab:数据拟合工具箱与实例

    Matlab 数据拟合工具箱与实例 Matlab 的数据拟合工具箱 Curve Fitting Toolbox 是一个非常实用的工具 可以帮助研究人员和工程师解决各种数据拟合问题 该工具箱包含了多个经典的数据拟合算法 例如最小二乘法 非线性
  • soso313.cn、dao234.com等劫持浏览器,tlntsvi_1547.exe、ydzyh.exe、scvhost.exe等做怪

    soso313 cn dao234 com等劫持浏览器 tlntsvi 1547 exe ydzyh exe scvhost exe等做怪 一位网友的电脑中了病毒 用超级巡警查杀后 每次开机进入Windows桌面后都会弹出对话框 提示找不到
  • 2021年IDEA通过jdbc连接MySql的方式

    很崩溃的几天 这篇文章解决一个问题 在运行 Class forName com mysql cj jdbc Driver 时报错 java lang ClassNotFoundException com mysql cj jdbc Driv
  • 使用YAML代替Properties

    23 6 使用YAML代替Properties YAML是JSON的一个超集 也是一种方便的定义层次配置数据的格式 无论你何时将SnakeYAML 库放到classpath下 SpringApplication类都会自动支持YAML作为pr
  • websocket心跳的实现(包括全部代码)

    本文主要讲的是如果设计websocket心跳已经需要考虑哪些问题 前言 在使用websocket的过程中 有时候会遇到客户端网络关闭的情况 而这时候在服务端并没有触发onclose事件 这样会 多余的连接 服务端会继续给客户端发数据 这些数
  • LSTM多步时间序列预测+区间预测(附代码实现)

    LSTM单步时间序列预测文章 联系方式在此文章 511条消息 时间序列预测 LSTM模型 附代码实现 lstm预测模型 噜噜啦啦咯的博客 CSDN博客 模型原理 长短时记忆网络 Long short term memory LSTM 是一种
  • 剑指 Offer II 105. 岛屿的最大面积-经典BFS和DFS问题

    https leetcode cn com problems ZL6zAn 解题思路 采用BFS 需要用到额外空间队列或者栈 采用DFS 不需要额外空间 注意 grid的更新 DFS class Solution public int ma
  • antd Form组件initialValues属性在React17中延迟渲染问题

    需求是点击修改框 然后显示一个Modal框 里面有点击部门的相关权限 把点击的数据传进Form组件initialValues 出现bug 数据改变了但是默认值为上一次点击的值 可以看到化工学院的值变成上一次点击的信息学院的值 再次点击恢复正
  • 离线强化学习(Offline RL)系列6: (采样效率) OfflineRL中的样本选择策略(Sample Selection Strategies)

    论文原文 https offline rl neurips github io 2021 pdf 33 pdf 我们知道在强化学习中 不同的样本选择对算法的影响比较大 最典型的莫过于使用优先级经验回放 PER 技术提高算法对采样样本的选择效
  • HDFS文件读写流程

    HDFS读文件流程 1 客户端向NameNode发送读文件请求 NameNode返回文件的数据块信息 对于每一个数据块 元数据节点返回保存数据块的数据节点的地址 2 文件系统返回FSDataInputStream给客户端 用来读取数据 3