HDFS

HDFS能解决的问题
1.可以存储几百万个大型文件,每个文件可以超过几十G,文件系统的容量可以达数十PB
2.利用横向扩展模式,使用基于磁盘簇而非磁盘整列的普通商用服务器实现大规模数据存储,同时在应用层完成数据的复制以实现存储的可用性和高吞吐量。
3.优化是针对大型文件的流式读写处理,而非满足小文件的低延时访问。批量的处理能力比互动响应的实时性更加重要
4.能容忍机器某些部件故障和磁盘失效
5.支持M/P处理锁需要的功能和规模要求

阅读全文…