欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

hive拉链表

时间:2023-06-15
什么是拉链表

拉链表是数据仓库中用来

记录一个事务从开始,一直到当前状态的所有变化的信息表

如下是一张拉链表

这张拉链表中存储的是

用户的基本信息 以及 每条记录的生命周期
我们可以使用这张表拿到当天的最新数据以及之前的历史数据

拉链表使用场景
在数据仓库的数据模型设计过程中,经常会遇到下面这种表的设计:

有一些表的数据量很大,比如一张用户表,大约10亿条记录,50个字段,这种表,即使使用ORC压缩,单张表的存储也会超过100G,在HDFS使用双备份或者三备份的就会更大。
表中的部分字段会被update更新操作,如用户联系方式,产品的描述信息,订单的状态等等。
需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态
表中的记录变化的比例和频率不是很大,比如,总共有10亿的用户,每天新增和发生变化的有200万左右,变化的比例占的很小。

对于这种表我们有以下几种方案:
方案一:每天只留最新的一份数据,比如我们每天用sqoop抽取最新的一份全量数据到Hive中
方法二:每天保留一份全量的切片数据
方案三:使用拉链表

方案一实现简单,节省空间,但是没有历史数据
方案二每天保留一份全量的切片可以保留历史数据,但是非常的占用存储空间
方案三
拉链表需要在表的后面加上两条记录数据生命周期的字段,一个字段为数据开始时间,一个字段为数据结束时间
拉链表在空间上做了取舍,既能获取最新数据,也能添加筛选条件获取历史数据

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。