Replies: 1 comment
-
|
flink 版本 1.17.0，运行方式flink on yarn,hadoop版本 3.2.4，jobmanager内存8g，taskmanager内存4g |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
同步mysql全库的所有表，使用flink cdc，总的表有几百张，有些表数据量达到几千万，还有表的主键类型多样，不统一，有的是uuid，有的是复合主键，在执行snapshot阶段的时候，jobmanager的heap占用很大，经常跑了一段时间以后出现内存溢出，splitSize设置的16384，batchSize设置的1024，source并行度是1，请问下jobmanager的heap里存的主要是什么数据呢？应该采取些什么手段优化一下呢？
Beta Was this translation helpful? Give feedback.
All reactions