整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

7.2.1.6. mapper中的文件信息

hadoop 花牛 7℃ 0评论

处理文件输入分片的mapper可以从作业配置对象的某些特定属性中读取输入分片的有关信息,这可以通过调用在MapperContext对象上的getInputSplit()方法来实现。当输入的格式源自于FilelnputFormat时,该方法返回的InputSplit可以被强制转换为一个FileSplit,以此来访问表7-7列出的文件信息。

在老版本的MapReduce API、StreamingPipes中,同一个文件分片的信息可通过从mapper配置的可读属性获取。(在老版本的MapReduce API 中,可以通过在Mappe类中编写configure()方法来获取]obConf对象来实现。)

除了表7-7中的属性,所有mapperreduce可访问的属性都在6.5.1节 “任务执行环境”中列出。

表7-7.文件输入分片的属性

FileSplit方法

属性名称

类型

说明

getPath()

map.input.file

Path/String

正在处理的输入女件的路径

getStart()

map.input.start

long

分片开始处的字节偏移量

getLength()

map.input.length

long

分片的长度(按字节)

转载请注明:全栈大数据 » 7.2.1.6. mapper中的文件信息

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址