HDFS 文件读写流程剖析

Write:

$ hadoop fs -put czz.log /wc_in/

1、Client调用FileSystem.create(filePath)方法,与NN进行RPC通信,check是否存在及是否有权限创建;假如不ok,就返回错误信息,假如ok,就创建一个新文件,不关联任何的block块,返回一个FSDataOutputStream对象

2、Client调用FSDataOutputStream对象的write()方法,

先将第一块的第一个副本写到第一个DN,第一个副本写完,

就传输给第二个DN,第二个副本写完

就传输给第三个DN,第三个副本写完

就返回一个ack package确认包给第二个DN,第二个DN接收到之后加上自身ok,就返回ack package确认包传输给第一个DN,第一个DN接收到第二个DN的ack package确认包加上自身ok,就返回ack package确认包给FSDataOutputStream对象,标志第一个块3个副本写完

3、当向文件写入数据完成后,Client调用FSDataOutputStream.close()方法,关闭输出流.

4、再调用Fil