NameNode单节点数据块汇总和处理

我们知道hdfs集群中只有一个NameNode是活跃的，任何时候只有一个NameNode对外提供服务,即使是搭建HA模式时，NameNode也是一个处于Active状态，另一个处于standby空闲状态，所以对于Hdfs来说，单点的NameNode始终是一个性能的薄弱点.
1.DataNode节点会在和NameNode的心跳中汇报本DataNode中新增，删除，无效的数据块信息（这些信息的汇报是以增量的形式向NameNode汇报的），NameNode的本地内存会维护一份总的数据块的对象blockMaps，这个对象会维护整个集群中的所有数据块的信息，此外NameNode还会维护一份集群中无效的块，损坏的块的列表信息，可以通过NameNode的用户界面上看到NameNode记录的关于整个集群的数据块列表，损坏的数据块列表等等信息。从这里我们可以看出NameNode节点中会维护整个集群的数据块的所有信息，包括那些文件对应那些数据块，然后对应的数据块属于哪个Datanode等,可想而知，如果整个集群中小文件越多，也就意味着相同的数据总量的情况下，数据块的数量就会越多，NameNode节点中存放数据块的内存变量blockMaps等对象就会越来越大，此外Datanode与NameNode之间需要交互的数据块数量也会越多，这样就会导致NameNode中的内存压力增大，gc频繁，所以这就是为什么Hdfs不希望集群中存在太多的小文件对象的原因.
此外，hdfs fsck命令可以通过与NameNode交互把NameNode内部记录的文件所属的磁盘块，损坏的磁盘块位置，某个磁盘块所属的DataNode及对应机架等信息输出出来，极大的方便了管理员的运维操作.