整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

Flink本地模式安装(Local Setup)

flink 小小明 35℃ 0评论

要求(Requirements)

Flink可以在Linux, Mac OS X 以及Windows等平台上运行。Local模式安装的唯一要求是安装Java 1.7.x或者更高版本。下面的操作假定是类UNIX环境,对于Windows可以参见本文的Flink on Windows章节。

我们可以使用下面的命令来查看Java的版本:

java -version

上面的命令运行结果类似于下面的输出:

java version "1.8.0_51"
Java(TM) SE Runtime Environment (build 1.8.0_51-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.51-b03, mixed mode)

配置(Configuration)

在本地模式下,Flink原生的配置就足够我们使用,我们不需要修改Flink的默认配置。

Flink默认会使用我们的默认配置好的Java安装,我们可以手动通过设置JAVA_HOME环境变量或者是配置conf/flink-conf.yaml文件里面的env.java.home属性。如果你想手动覆盖Java运行时的相关环境,请参见Flink的配置页面。

启动Flink(Starting Flink)

现在我们已经准备好启动Flink了。先将下载好的打包文件进行解压,然后进入到解压后的文件夹中,在里面进行一些相关的操作,我们就可以在local模式下启动Flink了,主要操作步骤如下:

$ tar xzf flink-*.tgz
$ cd flink
$ bin/start-local.sh
Starting job manager

我们可以通过查看logs文件夹下面的相关日志文件来检查我们的Flink系统正在正确地运行:

$ tail log/flink-*-jobmanager-*.log
INFO ... - Initializing memory manager with 409 megabytes of memory
INFO ... - Trying to load org.apache.flinknephele.jobmanager.scheduler.local.LocalScheduler as scheduler
INFO ... - Setting up web info server, using web-root directory ...
INFO ... - Web info server will display information about nephele job-manager on localhost, port 8081.
INFO ... - Starting web info server for JobManager on port 8081

JobManager进程将会在8081端口上启动一个WEB页面,我们可以通过浏览器到https://www.iteblog.com:8081中查看相关的信息。

Flink on Windows

如果你想在Window上运行Flink,我们同样需要下载、解压和配置Flink,正如上面提到的。在那之后,我们可以通过运行Windows Batch文件 (.bat) 或者使用Cygwin来运行Flink JobManager。

通过Window批处理文件启动Flink(Starting with Windows Batch Files)

如果需要通过Windows Batch方式启动Flink的本地模式,首先需要打开命令行窗口,然后进入到Flink的bin文件夹下,然后运行start-local.bat即可。

需要注意的是:JRE(Java Runtime Environment )的bin路径必须正确地设置到Window的%PATH%环境变量中。如何设置可以参见http://www.java.com/en/download/help/path.xml文档说明。

$ cd flink
$ cd bin
$ start-local.bat
Starting Flink job manager. Webinterface by default on http://localhost:8081/.
Do not close this batch window. Stop job manager by pressing Ctrl+C.

启动完Flink本地模式之后,我们需要打开另外一个终端并通过flink.bat来提交作业。

Starting with Cygwin and Unix Scripts

对于Cygwin,我们需要启动Cygwin 终端,并且切换到Flink的bin文件夹下面,运行start-local.sh脚本,其实就和类UNIX下操作类似。 如下:

$ cd flink
$ bin/start-local.sh
Starting Nephele job manager

通过Git安装Flink

如果是用Window git shell从git仓库来安装你的Flink,Cygwin可能会产生类似于下面的错误:

c:/flink/bin/start-local.sh: line 30: $'\r': command not found

产生这种错误的原因是因为在Windows上运行Git,git自动将UNIX的换行符转换成windows上的换行符,而Cygwin只能处理UNIX风格的换行符。我们可以通过下面的方法来解决这个问题:

首先启动一个Cygwin shell,

通过下面的命令确定你的home目录的路径:

cd; pwd

上面的命令将会返回Cygwin的根路径。

最后我们通过NotePad, WordPad或者其他的文本编辑器打开上面输出路径下的.bash_profile文件,然后在其中加上下面的内容(如果.bash_profile文件不存在,你可以直接创建它)

export SHELLOPTS
set -o igncr

保存这个文件,并打开一个新的bash shell,上面的错误将不会发生。

转载请注明:全栈大数据 » Flink本地模式安装(Local Setup)

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址