整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

Flink独立集群模式安装(Cluster Standalone)

flink 小小明 27℃ 0评论

如何Flink集群模式安装,主要是Standalone方式。

文章目录

  • 1 要求(Requirements)
  • 2 Flink部署(Flink Setup)
    • 2.1 Flink配置(Configuring Flink)
    • 2.2 启动Flink(Starting Flink)
    • 2.3 在已经运行的集群中添加JobManager/TaskManager

要求(Requirements)

Flink可以在Linux, Mac OS X 以及Windows(通过Cygwin)等平台上运行。集群模式主要是由一个master节点和一个或者多个worker节点组成。在你启动集群的各个组件之前,确保每个节点上都安装了下面的软件:

1、Java 1.7.x或者更高版本
2、ssh(如何安装可以参见《Linux平台下安装SSH》)。

我们必须在每个节点上配置好JAVA_HOME环境变量,并将这个值设定成Java的安装路径。

Flink部署(Flink Setup)

Flink配置(Configuring Flink)

首先到Flink官网下载好相应的包,然后解压等, 并进入解压后的Flink根目录。然后我们对其进行相关的配置。主要涉及到的配置文件是conf/flink-conf.yaml

我们将jobmanager.rpc.address的值设置成你master节点的IP地址。此外,我们通过jobmanager.heap.mbtaskmanager.heap.mb配置参数来设置每个节点的JVM能够分配的最大内存。从配置参数名字可以看出,这个参数的单位是MB,如果某些节点拥有比你之前设置的值更多的内存时,我们可以在那个节通过FLINK_TM_HEAP参数类覆盖值钱的设置。

最后,我们需要把所有将要作为worker节点的IP(或者是hostname)地址存放在conf/slaves文件中,就像HDFS配置一样。每个worker节点最后会运行一个TaskManager。在conf/slaves文件中,每个IP地址必须放在一行,如下:

192.168.0.100
192.168.0.101
.
.
.
192.168.0.150

我们最好将Flink安装包放在每个worker节点的同一位置上,你可以使用共享NSF目录或者将配置好的Flink安装包分发到所有的worker节点上。

下面介绍几个比较重要的选项:

taskmanager.heap.mb:每个TaskManager可用的总内存
taskmanager.numberOfTaskSlots:每台机器上可用CPU的总数
parallelism.default:每个Job运行时默认的并行度(这个参数在文档中介绍好像有问题)
taskmanager.tmp.dirs:临时目录

关于更详细的Flink配置请参见Flink官方网站:https://ci.apache.org/projects/flink/flink-docs-master/setup/config.html。

启动Flink(Starting Flink)

在master节点上运行下面的脚本,那么这台机器上将会启动一个JobManager,并通过SSH连接列在slaves文件中的所有节点以便在每个节点上启动TaskManager。

[iteblog@www.iteblog.com ~]$ bin/start-cluster.sh

一切顺利的话,我们的Flink集群模式已经部署完成!运行在master的JobManager进程通过配置好的RPC端口来接收Job的提交。

如果你想停止集群,可以在master节点上运行下面的命令:

[iteblog@www.iteblog.com ~]$ bin/stop-cluster.sh

在已经运行的集群中添加JobManager/TaskManager

我们可以通过bin/taskmanager.sh或者bin/jobmanager.sh脚本在已经运行的集群中添加JobManager或者TaskManager节点

添加一个JobManager

[iteblog@www.iteblog.com ~]$ bin/jobmanager.sh (start cluster)|stop|stop-all

添加一个TaskManager

[iteblog@www.iteblog.com ~]$ bin/taskmanager.sh start|stop|stop-all

需要注意的是,我们必须在我们期望作为JobManager或者TaskManager的机器上运行上面的脚本。

转载请注明:全栈大数据 » Flink独立集群模式安装(Cluster Standalone)

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址