Flink运行任务中,出现节点挂掉的现象--已解决

2019/7/23 10:13:33 人评论 次浏览 分类:学习教程

Flink App抛出The assigned slot container_e08_1539148828017_15937_01_003564_0 was removed.此类异常,通过查看日志,一般就是某一个Flink App内存占用大,导致TaskManager(在Yarn上就是Container)被Kill掉。如果代码写的没问题,就确实是资源不够了,其实1G Slot跑多个Task(Slot Group Share)其实挺容易出现的。因此有两种选择。可以根据具体情况,权衡选择一个。

将该Flink App调度在Per Slot内存更大的集群上。
通过slotSharingGroup("xxx"),减少Slot中共享Task的个数

相关资讯

    暂无相关的资讯...

共有访客发表了评论 网友评论

验证码: 看不清楚?
    -->