整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

 分类:hadoop

关于MapReduce

关于MapReduce
  MapReduce是一种可用于数据处理的编程模型。该模型比较简单,但要想写出有用的程序却不太容易。Hadoop可以运行各种语言版本的MapReduce程序。在本文中,我们将看到同一个程序的Java、Ruby、Python和C++语言版本。最重要的是,MapReduc...

40℃ 0评论

hadoop的11套面试题

Hadoop面试题系列1 一. 问答题 1.请说说hadoop1的HA如何实现? 2.列举出hadoop中定义的最常用的InputFormats。那个是默认的? 3.TextInputFormat和KeyValueInputFormat类之间的不同之处在于哪里? 4.hadoop...

148℃ 1评论

hadoop基础面试题及参考答案

一、 问答题 1、简单描述如何安装配置一个apache开源版hadoop,只描述即可,无需列出完整步骤,能列出步骤更好。 1) 安装JDK并配置环境变量(/etc/profile) 2) 关闭防火墙 3) 配置hosts文件,方便hadoop通过主机名访问(/etc/hosts)...

62℃ 0评论

MapReduce数据输入中InputFormat类源码解析

在MapReduce作业中的数据输入和输出必须使用到相关的InputFormat和OutputFormat类,来指定输入数据的格式,InputFormat类的功能是为map任务分割输入的数据。 InputFormat类中必须指定Map输入参数Key和Value的数据类型,以及对输...

26℃ 0评论

四种常见的MapReduce设计模式

使用MapReduce解决任何问题之前,我们需要考虑如何设计。并不是任何时候都需要map和reduce job。 文章目录 1 MapReduce设计模式(MapReduce Design Pattern) 1.1 Input-Map-Reduce-Output 1.2 I...

21℃ 0评论

HDFS ls命令按照时间排序(sort by time)

我们在使用HDFS Shell的时候只用最频繁的命令可能就是 ls 了,其具体含义我就不介绍了。在使用 ls 的命令时,我们可能想对展示出来的文件按照修改时间排序,也就是最近修改的文件(most recent)显示在最前面。如果你使用的是Hadoop 2.8.0以下版本,内置是不...

23℃ 0评论

使用CombineFileInputFormat来优化Hadoop小文件

我们都知道,HDFS设计是用来存储海量数据的,特别适合存储TB、PB量级别的数据。但是随着时间的推移,HDFS上可能会存在大量的小文件,这里说的小文件指的是文件大小远远小于一个HDFS块(128MB)的大小;HDFS上存在大量的小文件至少会产生以下影响: 消耗NameNode大...

19℃ 0评论

三种方法实现Hadoop(MapReduce)全局排序(2)

前面的文章介绍了MapReduce中两种全排序的方法及其实现。但是上面的两种方法都是有很大的局限性: 方法一在数据量很大的时候会出现OOM问题; 方法二虽然能够将数据分散到多个Reduce中,但是问题也很明显:我们必须手动地找到各个Reduce的分界点,尽量使得分散到每个Red...

20℃ 0评论

三种方法实现Hadoop(MapReduce)全局排序(1)

我们可能会有些需求要求MapReduce的输出全局有序,这里说的有序是指Key全局有序。但是我们知道,MapReduce默认只是保证同一个分区内的Key是有序的,但是不保证全局有序。基于此,本文提供三种方法来对MapReduce的输出进行全局排序。 文章目录 1 生成测试数据...

33℃ 0评论

【漫画解读】HDFS存储原理

根据Maneesh Varshney的漫画改编,以简洁易懂的漫画形式讲解HDFS存储机制与运行原理,非常适合Hadoop/HDFS初学者理解。 一、角色出演 如上图所示,HDFS存储相关角色与功能如下: Client:客户端,系统使用者,调用HDFS API操作文件;与NN交...

28℃ 0评论

第一章 Hadoop的前世今生

第一章 Hadoop的前世今生
在古时候,人们用牛来拉重物。当一头牛拉不动一根圆木时,人 们从来没有考虑过要培育更强壮的牛。同理,我们也不该想方设 法打造超级计算机,而应该千方百计综合利用更多计算机来解决 问题。 格蕾斯•霍轴(Grace Hopper)     1. 数据!数据!...

379℃ 4评论