欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

【大数据面试常问问题】----HDFS读写流程

程序员文章站 2022-06-02 13:09:48
...

HDFS读写流程

HDFS写流程:

首先,客户端向namenode请求上传文件。namenode检测相应的文件是否存在,若不存在namenode则向client响应可以上传。
client按照128M切分文件,切分完文件之后,client请求namenode第一个block上传的位置,namenode返回block应上传的相应的block位置,clent先向第一个dn1上传第一个block,dn1接收完数据之后,则与dn2建立通道,向其发送数据,dn2则向dn3传输文件。dn1、dn2以及dn3是逐级应答客户端。
接下来的block都是如此循环。
所有block块上传完之后,客户端向namenode响应已经传输完成。

HDFS读流程:

client向namenode请求读取文件,namenode返回文件block对应的datenode服务器地址。
client拿到相应的datenode地址,则根据就近原则选择最近的一个datenode服务器建立输入流,然后datenode服务器向输入流写入数据,并以packet校验。
client接收数据之后先放入本地缓存中,然后写入文件。
如此循环。

注意:所有答案非官方语句,皆为个人理解,不涉及底层。
每篇一言:坐而论道,起而行之。

相关标签: 大数据面试