欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

Kafka数据写入Hbase中,Hbaserowkey设计问题,可能会产生热点问题,数据集中写入部分分区解决办法

时间:2023-07-14

1===>通过“加盐”重新设计 offset,数据均匀放入所有分区;

2===>通过 BufferMatator 实现批量提交写入数据,减少 数据 IO,提高 Hbase 写入速度

其中重新设计Rowkey有三种方式,分别是 反转,加盐,hash

 3:Hbase建表预分区操作:在创建表的时候,配置一些策略,让一个table有对个region,分布在不同的region server中

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。