整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

12.3.3 Metastore

hadoop 小红牛 11℃ 0评论

metastore是Hive元数据的集中存放地。metastore包括两部分:服务和后台

数据的存储。默认情况下,metastore服务和Hive服务运行在同一个JVM中,它包含一个内嵌的以本地磁盘作为存储的Derby数据库实例。这称为“内嵌 metastore 配置”(embedded metastore configuration),参见图 12-2。

图片.png 

图 12-2. Metastore 的配置

使用内嵌metastore是Hive入门最简单的方法。但是,每次只有一个内嵌
Derby数据库可以访问某个磁盘上的数据库文件,这就意味着一次只能为每
个metastore打开一个Hive会话。如果要试着启动第二个会话,在它试图 连接metastore时,会得到以下错误信息:

Failed to start database 'metastore_db'

如果要支持多会话(以及多用户),需要使用一个独立的数据库。这种配置称
为“本地metastore”,因为metastore服务仍然和Hive服务运行在同一个
进程中,但连接的却是在另一个进程中运行的数据库,在同一台机器上或 在远程机器上。任何JDBC兼容的数据库都可以通过表12-1列出的
javax.jdo.option.*配置属性来供 metastore 使用。①

表12-1.重要的metastore配置属性

属性名称

类型

默认值

描述

hive.metastore.warehouse.dir

URI

/user/hive/warehouse

相对于fs.default.name的目录,托管表就存储在这里

hive.metastore.local

布尔型

true

是使用内嵌的metastore(true),还 是连接到远程(false)。如果是 false,则必须设置hive, metastore.uris

hive.metastore.uris

逗号分 隔的URI

未设定

指定要连接的远程metastore服 务器的URI。如果有多个远程服 务器,则客户端便以轮询(round robin)方式连接

javax.jdo.option. ConnectionURL

URI

jdbc:derby:;database Name=metastored b; create=true

metastore 数据库的 JDBC URL

javax.jdo.option. ConnectionDriverName

字符串

org.apache.derby.jdbc.EmbeddedDriver

JDBC驱动器的类名

javax.jdo.option. ConnectionUserName

字符串

APP

JDBC用户名

javax.jdo.option. ConnectionPas sword

字符串

mine

JDBC密码

对于独立的metastore,MySQL是一种很受欢迎的选择。此时
javax. jdo .option .ConnectionURL 应该设为
jdbc:mysql://host/dbname?createDatabaselfNot Exist=t rue,而javax . jdo .
option . ConnectionDriverName 则设为com.mysql.jdbc.Driver。(当然,还需要设置用户名和密
码。)MySQL的JDBC驱动的JAR文件(Connector/J)必须在Hive的类路径中,把这个文件放入Hive的/A目录即可。

 更进一步,还有一种metastore配置称为“远程metastore”。在这种配置 下,一个或多个metastore服务器和Hive服务运行在不同的进程内。这 样一来,数据库层可以完全置于防火墙后,客户端则不需要数据库凭据 (用户名和密码),从而提供了更好的可管理性和安全。

可以通过把
hive.metastore.local 设为 false,
hive.metastore.uris设为metastore服务器URI(如果有多个服务器,各个URI之间用逗号分
隔),把Hive服务设为使用远程metastore。metastore服务器URI的形式为
thrift://host:port。这里,端口号对应于启动metastore服务器时所设
定的METASTORE_PORT值(参见12.3.2节对Hiye服务的讨论)。

转载请注明:全栈大数据 » 12.3.3 Metastore

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址