【大数据面试常问问题】----HDFS读写流程
程序员文章站
2022-06-02 13:09:48
...
HDFS读写流程
HDFS写流程:
首先,客户端向namenode请求上传文件。namenode检测相应的文件是否存在,若不存在namenode则向client响应可以上传。
client按照128M切分文件,切分完文件之后,client请求namenode第一个block上传的位置,namenode返回block应上传的相应的block位置,clent先向第一个dn1上传第一个block,dn1接收完数据之后,则与dn2建立通道,向其发送数据,dn2则向dn3传输文件。dn1、dn2以及dn3是逐级应答客户端。
接下来的block都是如此循环。
所有block块上传完之后,客户端向namenode响应已经传输完成。
HDFS读流程:
client向namenode请求读取文件,namenode返回文件block对应的datenode服务器地址。
client拿到相应的datenode地址,则根据就近原则选择最近的一个datenode服务器建立输入流,然后datenode服务器向输入流写入数据,并以packet校验。
client接收数据之后先放入本地缓存中,然后写入文件。
如此循环。
注意:所有答案非官方语句,皆为个人理解,不涉及底层。
每篇一言:坐而论道,起而行之。
下一篇: 大便是不是有问题