校招刷题群
高效刷题 迎战校招
校招精选试题
近年面笔经面经群内分享
Java刷题群 前端刷题群 产品运营群
首页 > 开源框架 > spark
题目

概述一下spark中的常用算子区别(map,mapPartitions, foreach, foreachPatition)

解答

map:用于遍历RDD,将函数应用于每一个元素, 返回新的RDD (transformation算子)
foreach:用于遍历RDD,将函数应用于每一个元素,无返回值(action算子)
mapPatitions:用于遍历操作RDD中的每一个分区, 返回生成一个新的RDD (transformation算子)
foreachPatition:用于遍历操作RDD中的每-个分区,无返回值(action算子 )
总结::一般使用mapPatitions和foreachPatition算子比map和foreach更加高效,推荐使用

C 2条回复 评论
我叫新账号

不错,值得学习参考

发表于 2022-12-21 22:00:00
0 0
童立

没看这篇帖子之前完全不懂该咋答

发表于 2022-09-01 22:00:00
0 0