欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

StarRocks简介

时间:2023-06-14
简介

StarRocks(原 Apache Doris)是一款支持对海量数据进行快速分析的MPP(Massively Parallel Processing)大规模并行处理数据库。它采用新一代的弹性MPP架构,可以高效支持大数据量级的多维分析、实时分析、高并发分析等多种数据分析场景。

定位

StarRocks 的定位是面向在线报表和分析的数据仓库系统。可以对标于商业的 MPP 数据仓库系统,比如Greenplum、Vertica、Teradata 等。它采用了全面向量化技术,比同类产品平均快3-5倍。甚至在查询性能上远超当代最快的开源数据库 clickhouse

整体架构

StarRocks 的整体架构分为两层

FE(Frontend)是前端节点。多个FE组成第一层,提供FE的横向扩展和高可用。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。BE(Backend)是后端节点。多个BE组成第二层,负责数据存储与管理、查询计划执行等工作

FE 分为 follower 和 observer 两类。各个FE之间通过 bdbje (BerkeleyDB Java Edition)进行 leader 选举,数据同步等工作

follower 节点通过选举,其中一个 follower 成为 leader 节点,负责原数据的写入操作。当 leader 节点宕机后,其他 follower节点会重新选举出一个 leader,保证服务的高可用observer 节点仅从 leader 节点进行元数据同步,不参与选举。可用横向扩展以提供元数据的读服务的扩展性

适用 dbje(Oracle Berkeley DB Java Edition)来实现元数据操作日志持久化、FE 高可用等功能。

StarRocks 的目录结构如下

应用

StarRocks 支持本地文件、实时数据和HDFS文件的导入、通过兼容MySQL协议,用户可以将原来通过各种主流BI工具和可视化平台,将业务切换到Doris

优势

完全兼容 MySQL协议采用列式存储、对数据以高压缩比进行压缩存储、向量化执行等先进技术,因此获得了极高的查询效率支持多种存储模型支持两层分区支持多数据导入方式安全资源格力扩容缩容备份恢复支持web监控和管理 适用场景

高并发的点查询高吞吐的即席查询BI报表分析实时查询 相关资源

StartRocks 下载地址 https://www.starrocks.com/zh-CN/download/community

类型名称数据迁移StarRocks Migration Tool数据迁移Flink Connector StarRocks数据迁移DataX Writer监控报警Grafana Dashboard扩展依赖Hive S3 lib

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。