试题-概述一下spark中的常用算子区别(map,mapPartitions, foreach, foreachPatition)

题目

概述一下spark中的常用算子区别(map,mapPartitions, foreach, foreachPatition)

解答

map：用于遍历RDD，将函数应用于每一个元素，返回新的RDD (transformation算子)
foreach：用于遍历RDD，将函数应用于每一个元素，无返回值(action算子)
mapPatitions：用于遍历操作RDD中的每一个分区，返回生成一个新的RDD (transformation算子)
foreachPatition：用于遍历操作RDD中的每-个分区，无返回值(action算子 )
总结:：一般使用mapPatitions和foreachPatition算子比map和foreach更加高效，推荐使用

点赞
收藏
分享
文章链接

C 2条回复评论

我叫新账号

不错，值得学习参考

发表于 2022-12-21 22:00:00

0 0

童立

没看这篇帖子之前完全不懂该咋答

发表于 2022-09-01 22:00:00

0 0