试题-如何判定一个job的map和reduce的数量?

题目

如何判定一个job的map和reduce的数量?

解答

1.map数量
splitSize=max{minSize,min{maxSize,blockSize}}
map数量由处理的数据分成的block数量决定default_num = total_size / split_size

2.reduce数量
reduce的数量job.setNumReduceTasks(x);x 为reduce的数量。不设置的话默认为 1

C 2条回复评论

coderpwh

懂了懂了

发表于 2026-02-20 22:00:00

慨然思既往

楼主的这篇文章写得很精彩，总结的很到位，支持一个

发表于 2025-09-15 23:00:00

问题信息

分类：开源框架 - haddop

难度: