整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

5.2 配置开发环境

hadoop 小红牛 6℃ 0评论

首先新建一个项目,以便编译MapReduce程序并通过命令行或在自己的IDE中以本地(独立,standalone)模式运行它们。在范例5-3中的Maven POM说明了编译和测试MapReduce程序时需要的依赖项(dependency)。

范例5-3•编译和测试MapReduce应用的Maven PoM

<project>

<modelVersion>4•0•0</modelVersion>

<gnoupId>com.hadoopbook</groupId> <artifactId>hadoop-book-mr-dev</artifactId>

<version>3.0</version>

<properties>

<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

<project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>

 </properties

<dependencies>

<!– Hadoop main artifact –>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-core</artifactId>

<version>l.0.0</version>

</dependency>

<!– Unit test artifacts –>

<dependency>

<groupId>junit</groupId>

<artifactld>junit</artifactld>

<version>4.10</vers ion >

<scope>test</scope>

</dependency>

<dependency>

<groupId>org.hamcrest</groupId> <artifactld>hamcrest-all</artifactld>

<version>1.1</version>

<scope>test</scope>

</dependency>

<dependency>

<groupId>org.apache.mrunit</groupId> <artifactld>mrunit</artifactld>

<version>0.8.0-incubating</version>

<scope>test</scope>

</dependency>

<!– Hadoop test artifacts for running mini clusters –> <dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-test</artifactId>

<version>1.0.0</version>

<scope>test</scope>

</dependency>

<!– Missing dependency for running mini clusters –> <dependency>

<groupId>com.sun.jersey</groupId>

<artifactld>jersey-core</artifactId>

<version>1.8</version>

<scope>test</scope>

</dependency>

"dependencies

<build>

<finalName> hadoop-examples </-6inalName>

<plugins>

<plugin>

<groupId>org.apache.maven.plugins</groupId>

<artifactId>maven-compiler-plugin</artifactId> <version>2.B.2</version>

<configuration>

<source>1.6</source>

<target>1.6</target>

</configuration>

</plugin>

<plugin>

<groupId>org.apache.maven.plugins</groupId>

<artifactld>maven-jar-plugin</artifactld>

<version>2.4</version>

<configuration>

<outputDirectory>${basedir}</outputDirectory>

</configuration>

</plugin>

</plugins>

</build>

</project>

依赖是POM中有趣的一部分。(只要你使用此处定义的依赖,就可以直接使用其他的构建工具,例如Gradle或者Ant with Ivy)要想构建MapReduce作业,你只需要有hadoop-core依赖,它包含所有的Hadoop类。当运行单元测试时,我们要使用junit类以及两个辅助库,hamcrestall提供了帮助撰写测试断言的匹配符,而mrunit则被用于写MapReduce测试。hadoooptest库中包含了mini–”集群,这有助于在一个单JVM中运行Hadoop集群进行测试(由于HadoopPOM中没有jerseycore,我们把它加了进来)。

 JAR包在版本l.x后发生了变化,因此我们不能仅仅改变hadoop-—core依赖的版本号使得它正常工作。本书站点的范例代码包含针对?不同Hadoop版本的最新依赖声明。

很多IDE可以直接读MavenPOM,因此你只需要在包含pom.xml文件的目录中指向这些MavenPOM,就可以开始写代码®。也可以使用MavenIDE生成配置文件。例如,如下创建Eclipse配置文件以便将项目导入Eclipse

%mvn eclipse:eclipse -DdownloadSources=true -Ddownload3avadocs=true

转载请注明:全栈大数据 » 5.2 配置开发环境

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址