你也可以这么理解:大白话来讲,他们之间的关系就像发动机组与加油站之间的关系。
但若说模糊一点,其实hive既是存储框架也可以算是计算引擎。
HDFS上的数据其实都是文件,没有良好的组织形式。
Hive将这些数据规整起来,让用户可以以结构化数据库的角度去使用这些数据(建立了HDFS数据的元数据信息),在Hive上写HQL操作表翻译成了MapReduce去读HDFS的数据进行计算。
而Spark只是一个计算引擎,不是存储引擎,其本身并不负责数据存储。
你也可以这么理解:大白话来讲,他们之间的关系就像发动机组与加油站之间的关系。
但若说模糊一点,其实hive既是存储框架也可以算是计算引擎。
HDFS上的数据其实都是文件,没有良好的组织形式。
Hive将这些数据规整起来,让用户可以以结构化数据库的角度去使用这些数据(建立了HDFS数据的元数据信息),在Hive上写HQL操作表翻译成了MapReduce去读HDFS的数据进行计算。
而Spark只是一个计算引擎,不是存储引擎,其本身并不负责数据存储。
Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:
部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。