整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

3.2. HDFS的概念 3.2.1. 数据块

hadoop 花牛 12℃ 0评论

每个磁盘都有默认的数据块大小,这是磁盘进行数据读/写的最小单位。构建于单个磁盘之上的文件系统通过磁盘块来管理该文件系统中的块,该文件系统块的大小可以是磁盘块的整数倍。文件系统块一般为几千字节,而磁盘块一般为512字节。这些信息一一文件系统块大小——对于需要读/写文件的文件系统用户来说是透明的。尽管如此,系统仍然提供了一些工具(如df和fsck)来维护文件系统,由它们对文件系统中的块进行操作。

HDFS同样也有块(block)的概念,但是大得多,默认为64 MB。与单一磁盘上的文件系统相似,HDFS上的文件也被划分为块大小的多个分块 (chunk),作为独立的存储单元。但与其他文件系统’不同的是,HDFS中小于一个块大小的文件不会占据整个块的空间。如果没有特殊指出,本书中 提到的“块”特指HDFS中的块。

为何HDFS中的块如此之大?

HDFS的块比磁盘的块大,其目的是为了最小化寻址开销。如果块设置 得足够大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的 时间•因而,传输一个由多个块组成的文件的时间取决于磁盘传输速率。

我们来做一个速算,如果寻址时间约为10 ms,而传输速率为100 MB/s,为了使寻址时间仅占传输时间的1%,我们要将块大小设置约为 100 MB。默认的块大小实际为64 MB,但是很多情况下HDFS使用128 MB的块设置。以后随着新一代磁盘驱动器传输速率的提升,块的大小将被 设置得更大。

但是这个数也不会设置得过大。MapReduce中的map任务通常一次只处理一个块中的数据,因此如果任务数太少(少于集群中的节点数量),作 业的运行速度就会比较慢。

对分布式文件系统中的块进行抽象会带来很多好处。第一个最明显的好处 是,一个文件的大小可以大于网络中任意一个磁盘的容量。文件的所有块 并不需要存储在同一个磁盘上,因此它们可以利用集群上的任意一个磁盘 进行存储。事实上,尽管不常见,但对于整个HDFS集群而言,也可以仅存储一个文件,该文件的块占满集群中所有的磁盘。

第二个好处是,使用抽象块而非整个文件作为存储单元,大太简化了存储 子系统的设计。简化是所有系统的目标,但是这对于故障种类繁多的分布 式系统来说尤为重要。将存储子系统控制单元设置为块,可简化存储管理 (由于块的大小是固定的,因此计算单个磁盘能存储多少个块就相对容易)。 同时也消除了对元数据的顾虑(块只是存储数据的一部分——而文件的元数据,如权限信息,并不需要与块一同存储,这样一来,其他系统就可以单 独管理这些元数据)。

不仅如此,块还非常适合用于数据备份进而提供数据容错能力和提高可用 性。将每个块复制到少数几个独立的机器上(默认为3个),可以确保在块、 磁盘或机器发生故障后数据不会丢失。如果发现一个块不可用,系统会从 其他地方读取另一个复本,而这个过程对用户是透明的。一个因损坏或机 器故障而丢失的块可以从其他候选地点复制到另一台可以正常运行的机器 上,以保证复本的数量回到正常水平。参见4.1节对数据完整性的讨论,进 一步了解如何应对数据损坏。同样,有些应用程序可能选择为一些常用的 文件块设置更高的复本数量进而分散集群中的读取负载。

与磁盘文件系统相似,HDFS中fsck指令可以显示块信息。例如,执行以下命令将列出文件系统中各个文件由哪些块构成:

% hadoop fsck / -files -blocks

转载请注明:全栈大数据 » 3.2. HDFS的概念 3.2.1. 数据块

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址