拉链表是数据仓库中用来
记录一个事务从开始,一直到当前状态的所有变化的信息表
如下是一张拉链表
这张拉链表中存储的是
用户的基本信息 以及 每条记录的生命周期
我们可以使用这张表拿到当天的最新数据以及之前的历史数据
拉链表使用场景
在数据仓库的数据模型设计过程中,经常会遇到下面这种表的设计:
有一些表的数据量很大,比如一张用户表,大约10亿条记录,50个字段,这种表,即使使用ORC压缩,单张表的存储也会超过100G,在HDFS使用双备份或者三备份的就会更大。
表中的部分字段会被update更新操作,如用户联系方式,产品的描述信息,订单的状态等等。
需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态
表中的记录变化的比例和频率不是很大,比如,总共有10亿的用户,每天新增和发生变化的有200万左右,变化的比例占的很小。
对于这种表我们有以下几种方案:
方案一:每天只留最新的一份数据,比如我们每天用sqoop抽取最新的一份全量数据到Hive中
方法二:每天保留一份全量的切片数据
方案三:使用拉链表
方案一实现简单,节省空间,但是没有历史数据
方案二每天保留一份全量的切片可以保留历史数据,但是非常的占用存储空间
方案三
拉链表需要在表的后面加上两条记录数据生命周期的字段,一个字段为数据开始时间,一个字段为数据结束时间
拉链表在空间上做了取舍,既能获取最新数据,也能添加筛选条件获取历史数据