Skip to content

Latest commit

 

History

History
100 lines (42 loc) · 3.47 KB

基础篇.md

File metadata and controls

100 lines (42 loc) · 3.47 KB

客户端 将客户提交的代码 优化 编译成图 然后提交给 JobManager

JobManager 负责调度,让taskmanager 执行任务

image-20200922095537266

image-20200922095645615

  • 如果有两个flink,会产生一些冲突,启动flink会绑定6123端口

  • flink启动后,会在/tmp目录下,会产生一个记录pid的文件,日志的命名会有pid

  • zoo.cfg 可以用它启动zookeeper集群

  • image-20200922102637995

    image-20200922103618757

    image-20200922103750027

  • 8081端口是master 或者worker配置的端口

  • image-20200922104137924

  • 提交hdfs时,yarn已经存在,需要删除tmp文件下的一个文件

  • 高可用HA

    image-20200922104839100

    image-20200922105018826

    image-20200922105249740

    image-20200922105309524

需要将zoo.cfg同步到各个节点

image-20200922105414819

  • yarn 模式paoflink job

    image-20200922110735284

    Jobmanager找yarn的Resourcemanager申请资源

    image-20200922110837931

  • -n 是在yarn session模式下指定taskmamager的数量,-yn是在 yarn single job模式下指定taskmanager数量,-p是实际资源

DataStream API

什么是流处理

Flink是分布式流处理引擎,

DAG,有向无环图

image-20200922112627792

image-20200922112949872

Flink DataStream 程序结构

image-20200922113322855

image-20200922113751326

DataStream基本转换

image-20200922114206638

image-20200922114500616

image-20200922114804150

image-20200922115017878

API原理

image-20200922154435290

客户端操作