一、Hive二、ClickHouse三、Abase
一、Hive
Hive 由 Facebook 实现并开源,是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据映射为一张数据库表,并提供 HQL(Hive SQL)查询功能,底层数据是存储在 HDFS 上。Hive的本质是将 SQL 语句转换为 MapReduce 任务运行,使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计算 HDFS 上的结构化的数据,适用于离线的批量数据计算。Hive 依赖于 HDFS 存储数据,Hive 将 HQL 转换成 MapReduce 执行,所以说 Hive 是基于 Hadoop 的一个数据仓库工具,实质就是一款基于 HDFS 的 MapReduce计算框架,对存储在 HDFS 中的数据进行分析和管理。
二、ClickHouse ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。
ClickHouse非常适用于商业智能领域,除此之外,它也能够被广泛应用于广告流量、Web、App流量、电信、金融、电子商务、信息安全、网络游戏、物联网等众多其他领域。
Abase是一套支持redis协议的分布式KV存储系统。是字节跳动自研的一套数据库系统,对在线业务发挥着核心作用。
支持redis协议、高可用、低延迟、高扩展的kv存储;常用于redis的大容量持久化场景。
为什么采用Abase?
redis所有数据都在内存,容量相对较小,而且内存也贵;相对而言abase全量数据在磁盘,热数据在内存中,但性能、速度比不上redis