Flink应用开发-集群部署-概览

作者: ApacheFlink
Flink SQL Flink SQL

Standalone

本页面提供了关于如何在静态 （但可能异构）集群上以完全分布式方式运行 Flink 的说明。

需求

软件需求
Flink 运行在所有类 UNIX 环境 下，例如 Linux ，Mac OS X 和 Cygwin （Windows），集群由一个 master 节点 以及一个或多个 worker 节点 构成。在配置系统之前，请确保在每个节点上安装有以下软件：

  • Java 1.8.x 或更高版本，
  • ssh （必须运行 sshd 以执行用于管理 Flink 各组件的脚本）

如果集群不满足软件要求，那么你需要安装/更新这些软件。

使集群中所有节点使用免密码 SSH 以及拥有相同的目录结构可以让你使用脚本来控制一切。
JAVA_HOME 配置
Flink 需要 master 和所有 worker 节点设置 JAVA_HOME 环境变量，并指向你的 Java 安装目录。

你可以在 conf/flink-conf.yaml 文件中通过 env.java.home 配置项来设置此变量。

前往 [下载页面]

  
   /flink.apache.org/zh/downloads.html

) 获取可运行的软件包。

在下载完最新的发布版本后，复制压缩文件到 master 节点并解压：

  
   tar xzf flink-*.tgz
   cd flink-*

配置 Flink

在解压完文件后，你需要编辑 conf/flink-conf.yaml 文件来为集群配置 Flink。

设置 jobmanager.rpc.address 配置项指向 master 节点。你也应该通过设置 jobmanager.memory.process.size 和 taskmanager.memory.process.size 配置项来定义 Flink 允许在每个节点上分配的最大内存值。

这些值的单位是 MB。如果一些 worker 节点上有你想分配到 Flink 系统的多余内存，你可以在这些特定节点的 conf/flink-conf.yaml 文件中重写 taskmanager.memory.process.size 或 taskmanager.memory.flink.size 的默认值。

最后，你必须提供集群上会被用作为 worker 节点的所有节点列表，也就是运行 TaskManager 的节点。编辑文件 conf/workers 并输入每个 worker 节点的 IP 或主机名。

以下例子展示了三个节点（IP 地址从 10.0.0.1 到 10.0.0.3 ，主机名为 master 、worker1 、 woker2）的设置，以及配置文件（在所有机器上都需要在相同路径访问）的内容：

概览 - 图1
/path/to/flink/conf/
flink-conf.yaml

  
   jobmanager.rpc.address: 10.0.0.1

/path/to/flink/
conf/workers

  
   10.0.0.2
   10.0.0.3

Flink 目录必须放在所有 worker 节点的相同目录下。你可以使用共享的 NFS 目录，或将 Flink 目录复制到每个 worker 节点上。

请参考 [配置参数页面] 获取更多细节以及额外的配置项。

特别地，

  • 每个 JobManager 的可用内存值（jobmanager.memory.process.size），
  • 每个 TaskManager 的可用内存值 （taskmanager.memory.process.size，并检查 [内存调优指南]），
  • 每台机器的可用 CPU 数（taskmanager.numberOfTaskSlots），
  • 集群中所有 CPU 数（parallelism.default）和
  • 临时目录（io.tmp.dirs）

的值都是非常重要的配置项。
启动 Flink

下面的脚本在本地节点启动了一个 JobManager 并通过 SSH 连接到 workers 文件中所有的 worker 节点，在每个节点上启动 TaskManager。现在你的 Flink 系统已经启动并运行着。可以通过配置的 RPC 端口向本地节点上的 JobManager 提交作业。

假定你在 master 节点并且在 Flink 目录下：

  
   bin/start-cluster.sh

为了关闭 Flink，这里同样有一个 stop-cluster.sh 脚本。
为集群添加 JobManager/TaskManager 实例

你可以使用 bin/jobmanager.sh 和 bin/taskmanager.sh 脚本为正在运行的集群添加 JobManager 和 TaskManager 实例。
添加 JobManager

  
   bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all

添加 TaskManager

  
   bin/taskmanager.sh start|start-foreground|stop|stop-all

确保在你想启动/关闭相应实例的主机上执行这些脚本。

高可用

JobManager 高可用（HA）模式加强了 Flink 集群防止 JobManager 故障的能力。 此特性确保 Flink 集群将始终持续执行你提交的作业。

JobManager 高可用

JobManager 协调每个 Flink 的部署。它同时负责 调度 和 资源管理。

默认情况下，每个 Flink 集群只有一个 JobManager 实例。这会导致 单点故障（SPOF）：如果 JobManager 崩溃，则不能提交任何新程序，运行中的程序也会失败。

使用 JobManager 高可用模式，你可以从 JobManager 失败中恢复，从而消除单点故障。你可以为每个集群部署配置高可用模式。 有关更多信息，请参阅 [高可用服务] high-availability-services 如何启用集群高可用 JobManager 高可用一般概念是指，在任何时候都有 一个领导者 JobManager ，如果领导者出现故障，则有多个备用 JobManager 来接管领导。这保证了 不存在单点故障，只要有备用 JobManager 担任领导者，程序就可以继续运行。

如下是一个使用三个 JobManager 实例的例子：

概览 - 图1 Flink 的 [高可用服务] high-availability-services

  • 领导者选举 ：从 n 个候选者中选出一个领导者
  • 服务发现：检索当前领导者的地址
  • 状态持久化：继承程序恢复作业所需的持久化状态（JobGraphs、用户代码jar、已完成的检查点）

高可用服务

Flink 提供了两种高可用服务实现：

  • [ZooKeeper]：每个 Flink 集群部署都可以使用 ZooKeeper HA 服务。它们需要一个运行的 ZooKeeper 复制组（quorum）。
  • [Kubernetes]：Kubernetes HA 服务只能运行在 Kubernetes 上。

高可用数据生命周期

为了恢复提交的作业，Flink 持久化元数据和 job 组件。高可用数据将一直保存，直到相应的作业执行成功、被取消或最终失败。当这些情况发生时，将删除所有高可用数据，包括存储在高可用服务中的元数据。

文章列表

更多推荐

更多
  • IOS开发者的AWS和DevOps指南-十、iOS 应用开发的持续交付渠道 Jenkins 管道公司，AWS 代码管道，摘要，Fastlane 测试阶段，AWS 设备场测试阶段，Fastlane 构建阶段，Fastlane 交付阶段，为 AWS 代码管道设置 Jenkins 环境，在 AWS 控制台上设置代码管
    Apache CN

  • IOS开发者的AWS和DevOps指南-九、将 AWS 设备群用于测试 AWS 设备群简介，为应用测试生成 ipa 包，设置设备场项目并安排测试运行，AWS 设备场 Jenkins 插件，使用 Jenkins 自动化 AWS 设备群测试，摘要，使用 AWS 控制台安排测试运行，使用 AWS CLI 计划测试
    Apache CN

  • IOS开发者的AWS和DevOps指南-八、使用 Fastlane 自动构建、测试和发布 使用 Fastlane 匹配和亚马逊 S3 设置代码签名，设置 Jenkins 环境，用 Fastlane 自动化测试和构建，自动发布到 App Store Connect，摘要，正在初始化 Fastlane 匹配，在亚马逊 S3 存储
    Apache CN

  • IOS开发者的AWS和DevOps指南-六、使用 AWS CodeCommit 的源代码管理 Git 基础，创建 AWS 代码提交存储库，在 AWS 代码提交中添加源代码，AWS 代码提交中分支，AWS 代码提交中的拉请求，摘要，Git 安装，初始化 Git 存储库，记录对 Git 存储库的更改，克隆和使用远程 Git 存储库，
    Apache CN

  • IOS开发者的AWS和DevOps指南-七、将 AWS CodeCommit 与 Jenkins 集成 Jenkins 代码提交插件，设置集成组件，配置插件，使用 AWS 代码提交源创建 Jenkins 作业，摘要，通过 AWS 控制台设置组件，通过 Terraform 设置组件，测试 AWS 代码提交插件， 当应用源代码存储在 AWS
    Apache CN

  • IOS开发者的AWS和DevOps指南-四、AWS 上的 macOS 服务器 Amazon EC2 Mac 服务器，部署 Amazon EC2 Mac 服务器，连接到 Amazon EC2 Mac 服务器，使用 Amazon CloudWatch 监控 EC2 Mac 服务器，清理 Amazon EC2 Mac
    Apache CN

  • IOS开发者的AWS和DevOps指南-五、在 macOS 实例上设置开发工具 增加 macOS 实例宗卷大小，设置 Xcode，陷害 Jenkins，建立 Fastlane，设置 GitLab，摘要，Xcode 命令行工具，供应 Jenkins 控制器，EC2 Mac 实例作为 Jenkins 构建代理，创建 G
    Apache CN

  • IOS开发者的AWS和DevOps指南-三、亚马逊网络服务（AWS）上的 DevOps 三、亚马逊网络服务AWS上的 DevOpsAWS 上的持续集成，AWS 上的连续交付，基础设施作为代码，监控和记录，摘要，AWS 代码提交，AWS 代码构建，AWS 程式码人工因素，AWS 代码部署，AWS 代码管道，AWS 云阵，AW
    Apache CN

  • IOS开发者的AWS和DevOps指南-二、从 Xcode 到 App Store Connect 标识符，应用商店连接，从 Xcode 上传构件，测试和发布，摘要，截图和应用详细信息，TestFlight 软件，应用提交， 在前一章中，我们看到了如何使用 Xcode 在物理 iPhone 设备和模拟器上构建和运行应用。我们将进一步探
    Apache CN

  • IOS开发者的AWS和DevOps指南-一、iOS 应用开发基础 开发要求，迅速发生的，摘要，苹果个人计算机，苹果开发者账户，Xcode 简介，创建应用，构建应用，Xcode 命令行工具， 为了开发 iOS 应用，苹果提供了几种工具和资源。iOS 应用可以用原生编程语言开发，如 Swift 或 Obj
    Apache CN

    • ApacheFlink

    355
    文章数
    1066
    获赞数
    1024
    粉丝数
    Flink SQL Flink SQL

    近期文章

    更多
    文章目录

      热门标签

      更多

      推荐作者

      更多