模型建设
模型建设策略:
统一业务归口与统一设计开发归口
统一出口,统一维度,统一指标管理统一数据管理
统一公共模型建设以维度建模为基础,统一分层,构建总线矩阵,定义数据域,梳理业务过程,明确关联维度,原子指标,修饰类型,修饰词,时间周期,派生指标,确定维度模型,事实模型表设计
1.确定业务过程
2.确定粒度
3.确定维度
4.确定事实(如时间,电话,费用等)间
5.可能由于时效不同拆成多张
dws
主键非空,核心指标非空,
dim
维度建模,核心,主键要唯一
确定主维度梳理相关维度
规范化:
可拓展,可重跑可补数,规范化
数据质量监控:
完整性
一致性
唯一性
准确性
及时性
有效性
kafka:
topic partitiion producer consumer broker
同步发送,异步发送
偏移量手动提交与自动提交
集群管理 broker zooker
ES集群:
master data
Dorisdb
运维简单,SQL支持强,mpp,列式存储,矢量化查询,SQL规则优化
分区,分桶,自查询等
aggregate,uniq,duplicate 3类
前置索引,bitemap索引,布隆过滤器
redis:
字符,map,set,list,有序组合
rdb(默认开启,多长时间内更新会自动快照一次)快照redis以便恢复 aof(默认不开启)记录每一条记录更加精确
Hbase
高可靠,高性能,列存储,主键查询