flink 1.14.5 集群模式安装

flink 1.14.5 集群模式安装

前言

        选择 flink 1.14.5原因是，支持java1.8的最高版本了。

集群 三节点，我的hostname分别是 h01、h02、h03，安装路径是/opt/module/

将flink解压到自己想到的目录 

tar zxvf flink-1.14.5-bin-scala_ -C /opt/module/

创建连接，方便多个版本时的管理，无需多次配置环境变量（在另外两台机器上也建立连接）

cd  /opt/module/ ln -s flink-1.14.5/ flink# 我有多个flink版本，通过连接控制一个版本作为主版本

编辑 /etc/profile，三台机器均要配置 FLINK_HOME 

sudo vim /etc/profile

将以下内容添加进/etc/profile，HOME 路径不要抄作业！！！根据自己的来

# FLINK_HOME
export FLINK_HOME=/opt/module/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CLASSPATH=`hadoop classpath`

生效刷新/etc/profile

source /etc/profile

配置flink的conf文件

cd /opt/module/flink
vim ./conf/flink-conf.yaml

改./conf/flink-conf.yaml文件的以下几个内容，（我master是h01不要抄作业）

jobmanager为h01，设置两个插槽slot，并行度设置为2（slot、并行度看自己的需要）。

jobmanager.rpc.address: h01taskmanager.numberOfTaskSlots: 2parallelism.default: 2

:wq保存文件

改vim ./conf/masters文件。（我master是h01不要抄作业）

vim ./conf/masters

内容改为：

h01:8081

改vim ./conf/masters文件。

vim ./conf/workers

内容为：不要抄作业 h02、h03根据自己的来

h02
h03

然后scp分发flink文件夹

 scp -r /opt/module/flink liang@h02:/opt/modulescp -r /opt/module/flink liang@h03:/opt/module

启动集群模式

 ./bin/start-cluster.sh
# Starting cluster.
# Starting standalonesession daemon on host h01.
# Starting taskexecutor daemon on host h02.
# Starting taskexecutor daemon on host h03.

访问web ui h01:8081/ 网址为master的hostname+ip8081，不要抄作业

 至此 flink1.14 的独立集群模式配置完成。