HDFS设计是用来存储海量数据的,特别适合存储TB,PB量级别的数据.但是随着时间的推移,HDFS上可能会存在大量的小文件,这里说的小文件指的是文件大小远远小于一个HDFS块(128M)的大小;HDFS上存在大量的小文件至少会产生以下影响:
消耗NameNode大量的内存
延迟MapReduce作业的总运行时间
处理大量小文件 1.合并 2.重写 3.CombineTextInputFormat
Hadoop内置提供了一个CombieFileInputFormat类来专门处理小文件,其核心思想是:根据一定的规则,将HDFS上多个小文件合并到一个InputSplit中,然后会启用一个Map来处理这里面的文件,以此减少MR整体作业的运行时间.
CombineTextInputFormat
//1.设置小文件合并成逻辑切片的大小//合并文件的大小 byte为单位conf.setLong("mapreduce.input.fileinputformat.split.minsize", 1024*2);//2M//2.设置输入类job.setInputFormatClass(CombineTextInputFormat.class);