整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

 分类:hadoop

13.5 示例

虽然HDFS和MapReduce是用于对大数据集进行批处理的强大工具,但对于读或写单独的记录,效率却很低。在这个示例中,我们将看到如何用 HBase来填补它们之间的鸿沟。 前面几章描述的气象数据集包含过去100多年上万个气象站的观测数据。 这个数据集还在继续增长,它的大...

12℃ 0评论

13.4.1 Avro、REST 和 Thrift

HBase提供了 Avro, REST和Thrift接口。在使用Java以外的编程语言和 HBase交互时,会用到这些接口。在所有情况下,java服务器上都运行着 一个HBase客户端实例,它负责协调Avro、REST和Thrift应用请求和&nbs...

10℃ 0评论

13.4客户端 13.4.1 Java

和HBase集群进行交互,有很多种不同的客户端可供选择。 HBase和Hadoop —样,都是用Java开发的。范例13-1展示了 13.3.1节中 外壳环境操作的hva实现版本。 范例13-1.基本的表管理与访问 public class ...

10℃ 0评论

9.7.2用户作业

出于集群性能调优的目的,最好包含若干代表性强、使用频繁的作业。这 样的话,调优操作可以更有针对性,而非只是对通用场景调优。但如果待 测集群是用户的第一个Hadoop集群,且还没有任何作业,则Gridmix仍不 失为一个好的评测方案。 如果想把自己的作业作为基准评测时,用户还需要为...

8℃ 0评论

13.3安装

挑选一个 Apache Download Mirror(Apache 下载镜像),下载一个 HBase的稳定发布版本,然后在本地文件系统解压。示例如下: % tar xzf hbase-x.y.z....

9℃ 0评论

9.7.1 Hadoop基准评测程序

Hadoop自带若干基准评测程序,安装开销小、运行方便。基准评测程序被 打包为一个名为test.jar的文件,经无参数解压缩之后,就可以获取文件列 表和说明文档: % hadoop jar $HADOOP_INSTALL/hadoop-*-test....

10℃ 0评论

13.3.2 实现

正如HDFS和MapReduce由客户端、从属机(slave)和协调主控机(master) (即 HDFS 的 namenode 和 datanode,..以及 MapReduce 的 jo...

10℃ 0评论

9.7利用基准评测程序测试Hadoop集群

集群是否已被正确建立?这个问题最好通过实验来回答:运行若干作业, 并确信获得了预期结果。基准评测程序能获得满意的测试结果,用户可以 拿结果数据和其他集群做比较,以检测新集群是否达到预期效果。此外, 还可以据此调整集群设置以优化整体性能。这点一般通过监控系统实现(参 见10_2节...

13℃ 0评论

13.2概念 13.3.1数据模型的“旋风之旅”

在本章中,我们将介绍如何使用HBase。要想了解更多信息,请参考Lars George所著的《HBase权威指南》。在本节中,我们只对HBase的核心概念进行快速、简单的介绍。掌握这些概念至少有助于消化后续内容。 应用把数据存放在带标签的表中。表由行和列组成。表格的“...

12℃ 0评论

9.6.3其他安全性改进

HDFS和MapReduce已经全面强化了安全措施,以阻止用户在未授权的情 况下访问资源。®—些显著的变化如下。 •任务可以由提交作业的用户以操作系统帐号启动运行,而不一定要 由运行tasktracker的用户启动。这意味着,在这种情况下,可以借助操作系统来隔离正在运行的任务,...

13℃ 0评论

9.6.2委托令牌

在诸如HDFS或MapReduce的分布式系统中,客户端和服务器之间频繁交 互,且每次交互均需认证。例如,一个HDFS读操作不仅会与namenode多 次交互、还会与一个或多个datanode交互。如果在一个高负载集群上采用 三步骤Kerberos票据交换协议来认证每次交互,则...

12℃ 0评论

9.6.1 Kerberos 和 Hadoop

从宏观角度来看,使用Kerberos时,一个客户端要经过三个步骤才可以获 得服务。在各个步骤,客户端需要和一个服务器交换报文。 (1)认证。客户端向认证服务器发送一条报文,并获取一个含时间戳的 票据授予票据(Ticket-Granting Ticket, TGT)。 (2)授权。...

18℃ 0评论

13.1 HBase 基础

HBase是一个在HDFS上开发的面向列的分布式数据库。如果需要实时地随机访问超大规模数据集,就可以使用HBase这一Hadoop应用。 虽然数据库存储和检索的实现可以选择很多不同的策略,但是绝大多数解决办法一特别是关系数据库技术的变种——不是为大规模可伸缩的分布式处理设计的。很...

12℃ 0评论

9.6 安全性

早期版本的Hadoop假定HDFS和MapReduce集群运行在安全环境中,由一组相互合作的用户所操作,因而访问控制措施的目标是防止偶然的数据丢失,而非阻止非授权的数据访问。例如,HDFS中的文件许可模块会阻止 用户由于程序漏洞而毁坏整个文件系统,也会阻止运行不小心输入的 h...

11℃ 0评论

16.7.4社区提取

到目前为止,我们已经提供了节点度量(入度)和@度量的方法(对称链接判 定)。让我们进一步看看如何度量邻居关系:一个I旨定用户的朋友中有多少 人彼此之间是朋友?同时,我们将产生一个边集来实现前一个例子那样的 可视化展示。 1.获取邻居 选择一个种子节点(这里是@hadoop)。首先...

10℃ 0评论