Spark中RDD的宽窄依赖和各自的特点。

2019/7/24 14:31:35 人评论 次浏览 分类:学习教程

窄依赖

      父RDD和子RDD partition之间的关系是一对一。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一。不会有shuffle的产生。

宽依赖

      父RDD与子RDD partition之间的关系是一对多。会有shuffle的产生。

相关资讯

    暂无相关的资讯...

共有访客发表了评论 网友评论

验证码: 看不清楚?
    -->