hadoop没有slaves（Hadoop为什么没有采用RAID？）

HDFS集群没有采用RAID(冗余磁盘阵列)作为datanodes的存储设备(尽管namenode使用RAID来保护元数据不会丢失)
  
  
  
  
  
  。由于HDFS是采用在节点之间块复制的方法             ，所以RAID提供的冗余机制对HDFS来说是多余的  
  
  
  
  
  
 。

此外
  
 
  
 
  
 
  
 
  
 
  
 
，RAID条带(RAID 0)常用于增加性能











，但却比HDFS中用到的JBOD(Just a Bunch Of Disks)要慢 
  
  
  
  
  
  ，而且JBOD在所有的磁盘之间对HDFS块进行时间片的轮转
 


 


 


 


 


 


。具体说
  
  
  
  
  
  
，RAID 0读写操作受限于冗余磁盘阵列中最慢的那个磁盘的速度
 
 
 
 
 
 。在JBOD中
 


 


 


 


 


 

，磁盘的操作是独立的 
 
 
 
 
 
 ，所以读写操作的平均速度要大于最慢磁盘的速度   
   
   
   
   
   
 。实际应用中
   
   
   
   
   
   
，磁盘性能多是可以改变的
 

 

 

 

 

 
，即使是同一型号的磁盘
 

 

 

 

 

 

。在Yahoo Hadoop Cluster的Benchmark中 

 

 

 

 

 

 ，测试Gridmix显示JBOD要比RAID 0快10%            ，另一个测试显示快30%(这里的测试指的是HDFS的写能力

 

 

 

 

 

 。

最后

 
 

 
 

 
 

 
 

 
 

 
 
，当一个JBOD配置中的一个磁盘失效











，HDFS可以继续操作；但是在RAID中                   ，一个磁盘的失效将会导致整个阵列(节点也一样)变得不再可用             。

翻译自：OReilly Hadoop 《The Definitive Guide》June 2009

声明：本站所有文章
 
 
 
 
 
 
 
 
 
 
 
 
，如无特殊说明或标注

















，均为本站原创发布
 
 

 
 

 
 

 
 

 
 

 
 

。任何个人或组织             ，在未征得本站同意时
  
 
  
 
  
 
  
 
  
 
  
 
，禁止复制
  
  
  
  
  
  、盗用  
  
  
  
  
  
 、采集
 


 


 


 


 


 


、发布本站内容到任何网站
 
 
 
 
 
 、书籍等各类媒体平台











。如若本站内容侵犯了原著者的合法权益











，可联系我们进行处理                   。