欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

ClickHouse常见问题排查与解决(一)

时间:2023-04-20
文章目录

1、Table is in readonly mode (zookeeper path: /clickhouse/tables/iov/t_fault/2)2、Replica /clickhouse/tables/s1/dwd/xxxx/replicas/dt_fault already exists3、数据写入成功,但是数据库并不存在数据4、查询时(非MergeTree表引擎),查出多条重复数据 1、Table is in readonly mode (zookeeper path: /clickhouse/tables/iov/t_fault/2)

异常说明

表示Zookeeper压力过大,表处于只读状态,导致插入失败

分析问题

Zookeeper压力过大原因分析:

写入数据以及频率过高集群中出现Zookeeper节点挂掉,导致压力过大

解决方案:

在zookeeper中将dataLogDir存放目录应该与dataDir分开,可单独采用一套存储设备来存放ZK日志。做好zookeeper集群和clickhouse集群的规划,可以多套zookeeper集群服务一套clickhouse集群。保证Zookeeper集群高可用 2、Replica /clickhouse/tables/s1/dwd/xxxx/replicas/dt_fault already exists

异常说明

删除表 ZK replicas未同步

分析问题

表的元信息会保存到Zookeeper节点上,删除副本以及本地表后,客户端未显示表,但是Zookeeper中的元信息未同步删除,即会出现异常。

解决方案

删除本地表后等待若干时间(根据经验得大概5分钟),再删除副本(分布式表)可以登录ClickHouse服务器进行删除 3、数据写入成功,但是数据库并不存在数据

问题说明

表引擎是MergeTree或者ReplicateMergeTree,所以不存在数据被合并掉。

order by字段包括四个,并且时间在中间,比如:id,name,time,type

分析问题

根据Arthas(是一个Java诊断工具,由阿里巴巴中间件团队开源。它在开发人员中被广泛采用和流行。)一些手段查询到方法的入参以及方法栈的执行情况得知,数据确实入库。

比如同一时刻入参有三条数据进行入库,查询表只有两条数据。

第一种猜测

数据重复导致ClickHouse对重复数据进行幂等性操作,进而把重复数据删除。或者会被ClickH忽略掉此次insert

大概意思是说已经有一个一模一样的数据块了。另外ck没有事务概念,但是为了保证重复插入的insert的幂等性,会检测重复,如果重复则跳过。 本地测验重复数据会部分保留在数据库,部分被删除。 - 第二种猜测 怀疑order by排序字段位置不合理

解决方案

如果想保存重复数据,两种解决办法

关闭幂等性校验。SET insert_deduplicate=0增加一个或者多个冗余字段,保证每条数据不相同

创建表时,order by字段是必须的,但是合理安排order by字段,时间放在所有字段的后边

比如:name,code,type,time等。

4、查询时(非MergeTree表引擎),查出多条重复数据

问题说明

表引擎为:ReplicatedReplacingMergeTree

select * from A join B A.id=B.id

分析问题

表引擎ReplacingMergeTree一个特性就是:去重;但是不保证过程的数据一致性,只能保证数据最终的一致性。如果数据出现更新的话,查询的时候可能会查询出来多条重复数据。

解决方案

查询数据时,在表名后边加上关键字final ,保证数据唯一性。


JVM内存泄漏和内存溢出的原因
JVM常用监控工具解释以及使用
Redis 常见面试题(一)
ClickHouse之MaterializeMySQL引擎(十)
三种实现分布式锁的实现与区别
线程池的理解以及使用

号外!号外!

最近面试BAT,整理一份面试资料,覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。想获取吗?如果你想提升自己,并且想和优秀的人一起进步,感兴趣的朋友,可以在扫码关注下方公众号。资料在公众号里静静的躺着呢。。。

喜欢就收藏认同就点赞支持就关注疑问就评论

一键四连,你的offer也四连

————————————————————————————————————————————————————————————————

本文作者:Java技术债务
原文链接:https://www.cuizb.top/myblog/article/1645691702
版权声明: 本博客所有文章除特别声明外,均采用 CC BY 3.0 CN协议进行许可。转载请署名作者且注明文章出处。

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。