考点介绍：

大数据的关键技术分为分析技术和处理技术，可用于大数据分析的关键技术主要包括A/B测试，关联规则挖掘，数据挖掘，集成学习，遗传算法，机器学习，自然语言处理，模式识别，预测模型，信号处理，空间分析，监督式学习，时间序列分析等，可用于大数据处理的关键技术主要是商业智能，云计算，数据仓库，数据集市，分布式系统，元数据，非关系型数据库，非结构化数据，半结构化数据，SOL，流处理和可视化技术等。

本期分享的前端算法考察之大数据相关算法，分为试题、文章以及视频三部分。

答案详情解析和文章内容可扫下方二维码或链接即可查看！

一、考点题目

1、要从1000个数据元素中选五个最小的，下面排序算法中，那个算法最快？（）

A.希尔排序
B.快速排序
C.堆排序
D.简单选择排序

解答：C
简单选择排序，每轮选出最小的一个元素，那么5轮就完成了任务，比较次数为1000+999+998+997+996=5000-10=4990次......

2、.hdfs写文件的步骤

(1)client向NameNode申请上传…/xxx.txt文件
(2)NN向client响应可以上传文件
(3)Client向NameNode申请DataNode
(4)NN向Client返回DN1,DN2,DN3
(5)Client向DN1,DN2,DN3申请建立文件传输通道
(6)DN3,DN2,DN1依次响应连接
(7)Client向DN1上传一个block，DN1向DN2,DN3冗余文件

3、Hadoop解决数据倾斜方法

解答：在Mapper加上combiner相当于提前进行reduce，即把一个Mapper中的相同key进行了聚合，减少shuffle过程中传输的数据量，以及Reducer端的计算量.....

4、Flume采集数据会丢失吗?（防止数据丢失的机制）

解答：如果是FileChannel不会，Channel存储可以存储在File中，数据传输自身有事务。如果是MemoryChannel有可能丢.....

（答案点击下方链接或者扫海报二维码查看哦）

二、考点文章

1、大数据平台模型数据算法总结

大数据平台数据来源于企业内部、外部各个源系统，包括企业内部的前端人工输入、智能设备采集、app端埋点日志、外部数据采购等等等等，可以说是千奇百怪五花八门，从以前的CDS到数据仓库，再到数据湖、数据中台，整个企业内部数据流向就如同一条条毛细血管中的血液，由全身各处流向心脏，在做有氧交换，处理、加工、汇总、分析再分发到需要他的地方。这个比喻可能有失偏颇，但是大致就是这么个意思吧……

2、【校招VIP】大数据必须掌握的三个基本算法

Hadoop自带的Partitioner的实现有两种，一种为HashPartitioner, 默认的分区方式，计算公式 hash(key)%reducernum，另一种为TotalOrderPartitioner, 为排序作业创建分区，分区中数据的范围需要通过分区文件来指定……

3、【校招VIP】大数据算法-求TopN热搜关键词

搜索引擎的热门搜索排行榜功能你用过吗？你知道这个功能是如何实现的吗？实际上，它的实现并不复杂。搜索引擎每天会接收大量的用户搜索请求，它会把这些用户输入的搜索关键词记录下来，然后再离线地统计分析，得到最热门的 Top 10 搜索关键词……

（扫下方海报二维码查看完整版）

三、考点视频

1、直接插入排序和最佳复杂度

本题是校招的常见考点之一，这里考察的是简单排序的直播插入排序。首先要对熟悉排序算法本身，不要把选择和插入搞混……

更多资讯可搜索校招VIP小程序查看哦!
移动端链接：https://m.xiaozhao.vip/dTopic/detail/535
PC端链接：https://xiaozhao.vip/dTopic/detail/535