欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

Hive的Metastore与Hiveserver2

时间:2023-07-22
文章目录

metastore

原生Hive(内嵌模式)采用外部数据库(本地模式)单独起metastore服务(远程模式) Hiveserver2 metastore 原生Hive(内嵌模式)


Derby的内嵌模式:Derby数据库与应用程序共享同一个JVM,通常由应用程序负责启动和停止,对除启动它的应用程序外的其它应用程序不可见,即其它应用程序不可访问它;

不同路径下启动hive,不同路径下都会生成metastore_db文件,每一个路径下的hive拥有一套自己的元数据,无法共享。

spark和Hive一样,都是默认使用derby数据库创建的本地存储。

尝试了一下在同一目录同时启动两个spark-sql,开启第二个客户端会报错(当前目录只能有一个metastore_db):

Caused by: ERROR XJ040: Failed to start database 'metastore_db' with class loader sun.misc.Launcher$AppClassLoader@3d82c5f3, see the next exception for details.Caused by: ERROR XSDB6: Another instance of Derby may have already booted the database /home/hadoop/app/spark-2.4.3-bin-hadoop2.6/bin/metastore_db.

采用外部数据库(本地模式)

创建hive-site.xml文件:

[hadoop@hadoop000 conf]$ cat hive-site.xml <?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?>javax.jdo.option.ConnectionURLjdbc:mysql://hadoop000:3306/hadoop_hive?createDatabaseIfNotExist=truejavax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.Driverjavax.jdo.option.ConnectionUserNamerootjavax.jdo.option.ConnectionPassword123456

缺点:每启动一次hive服务,都内置启动了一个metastore,在hive-site.xml中暴露的数据库的连接信息。

单独起metastore服务(远程模式)

在hive-site.xml文件加入:

hive.metastore.uris thrift://hadoop000:9083

启动metastore服务:nohup hive --service metastore &
为了高可用,可启动多个metastore。

开启的进程:

[hadoop@hadoop000 bin]$ jps -m10626 SecondaryNameNode10420 DataNode14006 Jps -m10280 NameNode13286 RunJar /home/hadoop/app/hive-1.1.0-cdh5.15.1/lib/hive-service-1.1.0-cdh5.15.1.jar org.apache.hadoop.hive.metastore.HivemetaStore13836 RunJar /home/hadoop/app/hive-1.1.0-cdh5.15.1/lib/hive-cli-1.1.0-cdh5.15.1.jar org.apache.hadoop.hive.cli.CliDriver --hiveconf hive.aux.jars.path=file:///home/hadoop/app/hive-1.1.0-cdh5.15.1/auxlib/hive-exec-1.1.0-cdh5.15.1-core.jar

metastore服务实际上就是一种thrift服务,通过它我们可以获取到hive原数据,并且通过thrift获取原数据的方式,屏蔽了数据库访问需要驱动,url,用户名,密码等等细节。

Hiveserver2

命令行

[hadoop@hadoop000 bin]$ ./beeline beeline> !connect jdbc:hive2://localhost:10000/default

beeline方式也是通过JDBC连接的,驱动为hive2。

开启的进程:

[hadoop@hadoop000 hive-1.1.0-cdh5.15.1]$ jps -m10626 SecondaryNameNode10420 DataNode14996 Jps -m10280 NameNode14163 RunJar /home/hadoop/app/hive-1.1.0-cdh5.15.1/lib/hive-service-1.1.0-cdh5.15.1.jar org.apache.hadoop.hive.metastore.HivemetaStore14324 RunJar /home/hadoop/app/hive-1.1.0-cdh5.15.1/lib/hive-service-1.1.0-cdh5.15.1.jar org.apache.hive.service.server.HiveServer2 --hiveconf hive.aux.jars.path=file:///home/hadoop/app/hive-1.1.0-cdh5.15.1/auxlib/hive-exec-1.1.0-cdh5.15.1-core.jar14779 RunJar /home/hadoop/app/hive-1.1.0-cdh5.15.1/lib/hive-beeline-1.1.0-cdh5.15.1.jar org.apache.hive.beeline.BeeLine

Hive的jdbc驱动种类为网络协议驱动。
这种类型的驱动给客户端提供了一个网络API,客户端上的JDBC驱动程序使用套接字(Socket)来调用服务器上的中间件程序,后者再将其请求转化为所需的具体API调用。

Mysql的jdbc驱动种类为本地协议驱动。
这种类型的驱动使用Socket,直接在客户端和数据库间通信。

参考博客:
Hive-元数据
hive安装(内置数据库derby)
Hive安装前扫盲之Derby和metastore

JDBC驱动加载
浅析JDBC四种类型
HiveServer2 架构源码详解
Hive源码剖析之HiveServer2服务启动过程
JDBC原理&浅析HIVE-JDBC

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。