Spark中RDD的宽窄依赖和各自的特点。

2019/7/24 14:31:35 人评论 次浏览 分类:学习教程

窄依赖

      父RDD和子RDD partition之间的关系是一对一。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一。不会有shuffle的产生。

宽依赖

      父RDD与子RDD partition之间的关系是一对多。会有shuffle的产生。

相关资讯

  • 那些我们不愿意承认的事

    很久没有见的老朋友,准确的说应该是很久没有见过的老师,一个比我大两岁的老师,我上初中的时候他从高中回来教我了一年。后来又回去上高中,我上高中的时候他上大学,现在我刚大学毕业他创办了公司。昨日一见依然如故,他还是热爱销售,而我却成了纯粹的技术人员。 看到他…

    2015/6/22 13:12:47

学习教程

共有访客发表了评论 网友评论

验证码: 看不清楚?
    -->