欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

hbase每个RS高达几十上百万个压缩队列日志显示频繁的minorcompaction现在导致写入数据变的缓慢?这种情况该如何优化?

时间:2023-04-17

大家帮忙看下 hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢了 这种情况该如何优化或解决?我的设置参数如下:
hbase.hregion.memstore.flush.size=256M
每台redionserver上有region数量2000+个
每台regionserver的Hbase_HEAPSIZE设置为24G
每个RS上memstore3G
每次flush的时候 memstore才10m以内 增加的filesize才几百kb。

单台redionserver上的region数量太多了, memstore总和达到阈值导致不断flush,官方建议最多1000个
hbase.hregion.memstore.mslab.chunksize。 默认2M的话,光2000region就要小4G内存了

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。