Flink架构

Flinks所需组件 JobManager 接受需要执行的应用，此应用包含一个JobGraph(逻辑Dataflow图)，以及打包了全部所需类、库以及其他资源的JAR文件。JobManager将JobGraph转化为ExecutionGraph(物理Dataflow图)，此图包含了那些可以并行的任务。JobManager向ResourceManager申请执行任务所需资源(TaskManager的slot槽)。将ExecutionGraph中的任务分发给TaskManager来执行。负责所有需要集中协调的操作，如创建检查点等。 ResourceManager 分配TaskManager给JobManager。负责终止空闲的TaskManager以释放资源。 TaskManager 向ResourceManager注册它的slot槽。接受ResourceManager的指示，向JobManager提供一个或多个槽。接受并执行JobManager提供的任务。 Dispatcher 提供一个REST接口来让我们提交需要执行的应用。转交提交的应用给JobManager。启动WebUI，用来提供有关作业执行的信息。 Flink任务提交流程

通用提交流程（ResourceManager未指定）运行在yarn上的提交流程 Flink任务提交方式

standaloneyarn
1）session模式
①开辟资源
命令：./yarn-session.sh -n 2 -jm 1024 -tm 1024 -d
-n 2 表示分配两个container容器，也就是taskmanager的数量
-jm 1024 表示jobmanager 1024M内存
-tm 1024 表示taskmanager 1024M内存
-d 任务后台运行
②提交任务
./flink run jar包路径/jar包名.jar
2）job模式
命令：./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 jar包路径/jar包名.jar
-m yarn-cluster 指定需要连接的jobmanager(主节点)地址
-yn 2 表示分配两个container容器，也就是taskmanager的数量
-yjm 1024 表示jobmanager 1024M内存
-ytm 1024 表示taskmanager 1024M内存