整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

 分类:hadoop

14.3.2操作

如表丨4-2所示,ZooKeeper中有9种基本操作。 表14-2. ZooKeeper服务的操作 操作 描述 delete 删除一个znode(该znode不能有任何子节点) exists 测试一个znode是否存在并且査询它的元数据 ...

18℃ 0评论

12.4.2 更新、事务和索引

更新、事务和索引都是传统数据库最重要的特性。但是,直到最近,Hive 也还没有考虑支持这些特性,因为Hive被设计为用MapReduce操作 HDFS数据。在这样的环境下,“全表扫描”(full-table scan)是常态操作, 而表更新则是通过把数据变换后放入新表实现的。对...

18℃ 0评论

14.3 ZooKeeper 服务 14.3.1数据模型

ZooKeeper是一个具有髙可用性的高性能协调服务。在本节中,我们将从三个方面来了解这个服务:模型、操作和实现。 ZooKeeper维护着一个树形层次结构,树中的节点被称为znode。znode可以用于存储数据,并且有一个与之相关联的ACL。ZooKeeper被设计用来实现协...

20℃ 0评论

14.2.5删除组

为了使这个例子比较完整,让我们来看看如何删除一个组。ZooKeeper类提供了一个deleteO方法,该方法有两个参数:节点路径和版本号。如果所提供的版本号与znode的版本号一致,ZooKeeper会删除这个znode。这是一种乐观的加锁机制,使客户端能够检测出对znode的...

22℃ 0评论

12.4.1读时模式vs.写时模式

12.4Hive与传统数据库相比 Hive在很多方面和传统数据库类似(例如支持SQL接口),但是其底层对 HDFS和MapReduce的依赖意味着它的体系结构有别于传统数据库,而这 些区别又影响着Hive所支持的特性,进而影响着Hive的使用。 在传统数据库里,表的模式是在数据加...

19℃ 0评论

14.2.4 列出组成员

现在,我们需要一段程序来査看组成员(参见范例14-4)。 范例14-4.用于列出组成员的程序 public class ListGroup extends ConnectionWatcher {   &nb...

18℃ 0评论

14.2.3. 加入组

这个应用的下一部分是一段用于注册组成员的程序。每个组成员将作为一个程序运行,并且加入到组中。当程序退出时,这个组成员应当从组中被删除。为了实现这一点,我们在ZooKeeper的命名空间中使用短暂znode来代表一个组成员。 范例14-2中的程序JoinGroup实现了这个想法。在...

21℃ 0评论

12.3.3 Metastore

metastore是Hive元数据的集中存放地。metastore包括两部分:服务和后台 数据的存储。默认情况下,metastore服务和Hive服务运行在同一个JVM中,它包含一个内嵌的以本地磁盘作为存储的Derby数据库实例。这称为“内嵌 metastore 配置”(embe...

19℃ 0评论

12.3.2 Hive服务

Hive外壳环境只是hive命令提供的其中一项服务。可以在运行时使用– service选项指明要使用哪种服务。键入hive –service help可以获 得可用服务列表。下面介绍一些最有用的服务。 •cli Hive的命令行接口(外壳环境)。这是默认的...

20℃ 0评论

14.2.2. 创建组

让我们通过写一段程序的方式来介绍ZooKeeper的Java API,这段示例程序用于创建组名为/zoo的znode,参见范例14-1。 范例14-1.该程序在Zookeeper中新建表示组的znode public class CreateGroup&nb...

20℃ 0评论

14.2.1. ZooKeeper中的组成员关系

理解ZooKeeper的一种方法就是将其看作一个具有高可用性特征的文件系 统。这个文件系统中没有文件和目录,而是统一使用“节点”(node)的概念,称为znode。znode既可以作为保存数据的容器(如同文件),也可以作为保存其他znode的容器(如同目录)。所有的znode构成...

20℃ 0评论

12.3.1 配置Hive

这一节介绍运行Hive的一些更实用的技术,包括如何设置Hive使其能运 行在Hadoop集群和共享的metastore上。为此,我们会深入介绍Hive体 系结构。 12.3.1配置Hive 和Hadoop类似,Hive使用XML配置文件进行设置。配置文件为hivesite.xm...

19℃ 0评论

第十四章 关于 ZooKeeper

迄今为止,本书都是在教我们大规模数据处理技术。但本章的内容则有所不同,将介绍如何使用ZooKeeper来构建一般的分布式应用。ZooKeeper是Hadoop的分布式协调服务。 写分布式应用的主要困难在于会出现“部分失败”(partial failure)。当一条消息在网络中两个...

16℃ 0评论

12.2示例

让我们看一下如何用Hive查询我们在前面几章使用的气象数据集。第一个 步骤是把数据加载到Hive管理的存储。在这里,我们将让Hive把数据存 储在本地文件系统。稍后我们会介绍如何把表存储到HDFS。 和RDBMS —样,Hive把数据组织成表。我们使用CREATE TABLE语句...

19℃ 0评论

13.7.6 批量加载

HBase有一个高效的“批量加载”(bulk loading)工具。它从MapReduce把以内部格式表示的数据直接写入文件系统,从而实现批量加载。顺着这条路,我们加载HBase实例的速度比用HBase客户端API写入数据的方式至少快一个数量级。这个工具的相关介绍可访...

20℃ 0评论