整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

16.1.3 用Hadoop制作图表

hadoop 花牛 8℃ 0评论

Last.fm使用用户产生的音乐收听数据来生成许多不同类型的图表,例如针对每个国家或个人制作一周音乐汇总图表。许多Hadoop程序用于处理音乐 收听数据然后生成这些图表,它们可以以天、周或月为单位执行。图16-1 展示了这些数据在网站上如何被显示的一个例子,本例是音乐的周排行统计数据。

image.png

图16-1. Last.fm音乐排行统计图表

通常情况下,Last.fm有以下两种音乐收听信息来源:

    •用户播放自己的音乐(例如,在PC机或其他设备上听MP3文件), 这种信息通过Last.fm的官方客户端应用或第三方应用(有上百种发送到Last.fm

    •用户收听Last.fm某个网络电台的节目,并在本地计算机上通过流 技术缓冲一首歌。Last.fni播放器或站点能够用来访问这些流数据,然后提供给用户一些额外的功能,比如允许用户对她收听的音频进行喜爱、跳过或禁止等操作

在处理接收到的数据时,我们对它们进行分类:一类是用户提交的收听的 音乐数据(这是第一类数据,被称为“scrabble”,即收藏数据),另一类是用户收听的Last.fm的电台数据(这是第二类数据,被称为“radio listen”即 电台收听数据)。为了避免Last.fm的推荐系统出现信息反馈循环的问题, 对数据源的区分是非常重要的,Last.fm的推荐系统只使用收藏数据。 Last.fm的一项重要任务就是用Hadoop程序接受这些收听数据并处理成能够在Last.fm网站上进行显示的格式化数据,这些数据也能够作为其他 Hadoop程序的输入数据。这一过程是Track Statistics(音轨统计)程序实现 的,以下几节描述中将会用这段程序作为实例。

转载请注明:全栈大数据 » 16.1.3 用Hadoop制作图表

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址