文章声明：转载来源：https://blog.csdn.net/weixin_46129834/article/details/105623746

一. Hadoop是什么

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要就是解决数据存储和数据分析计算的问题（通过HDFS和MapReduce实现）。分布式就是多个服务器做同样的一件事。

广义上来说，hadoop通常指hadoop生态圈。

二. Hadoop的三大发行版本：

Apache版本: 最原始（基础）的版本，对于入门学习最好
Cloudera在大型互联网企业中用得最多
Hortonworks文档较好

三. Hadoop的优势：
高可靠性：维护多个数据副本，在出现故障时会对失败的节点重新分布处理。
高扩展性：在集群之间分配任务数据，可方便地扩展数以千计的节点。
高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
高容错性：自动保存多份副本数据，并且能够自动将失败的任务重新分配。

四. Hadoop的组成：
Hadoop HDFS:一个高可靠,高吞吐量的分布式文件系统（相当于磁盘）
Hadoop MapReduce:一个分布式的离线并行计算框架。（形象理解就相当于跑的一个个应用程序，比如QQ）
Hadoop Yarn：作业调度与集群资源管理的框架（相当于电脑系统）
Hadoop Common:支持其他模块的工具模块,就是辅助前三个能正常运行的一些工具包。

ResourceMnager(rm):处理客户端请求，启动/监控ApplicationMaster,监控NodeMnager，资源分配和调度。（监控总体，起领头人作用）
NodeManager(nm):单个节点上的资源管理，处理来自ResourceManager的命令，处理来自ApplicationMaster的命令。(为每个Node服务)
ApplicationMaster:数据切分，为应用程序申请资源，并分配给内部任务，任务监控与容错。（为应用Application服务)
Container:对任务运行环境的抽象，封装了CPU,内存等多维资源以及环境变量，启动命令等任务运行相关的信息

五. 大数据技术生态体系

Spark Core内存计算比MapReduce离线计算快，因为MapReduce是基于磁盘计算。Spark Core是基于内存计算。

Sqoop:Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库（mysql)间进行数据的传递，可以将关系型数据库中的数据导进Hadoop的HDFS中，也可以将HDFS的数据导进关系型数据库中

Flume：Flume是Cloudera提供的一个高可用，高可靠的，分布式的海量日志采集，聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于采集数据，同时，Flume提供对数据进行简单处理，并写到各种数据接收方的能力。

Kafka:Kafka是一种高吞吐量的分布式发布订阅消息系统，特点如下：

通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能保持长时间的稳定性能。
高吞吐量：即使是非常普通的硬件，Kafka也可以支持每秒数百万的消息
支持通过Kafka服务器和消费机集群来分区消息
支持Hadoop并行数据加载

Storm：Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。Storm也可被用于“连续计算”，对数据流做连续查询，在计算时就将结果以流的形式输出给用户

Spark:Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。

Oozie：Oozie是一个管理Hadoop作业（job)的工作流程调度管理系统。Oozie协调作业就是通过时间（频率）和有效数据触发当前的Oozie工作流程

Hbase:Hbase是一个分布式的，面向列的开源数据库。Hbase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库

Hive: hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类似SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

R语言：R是用于统计分析，绘图的语言和操作环境。R是属于GNU系统的一个自由，免费，源代码开放的软件，它是一个用于统计计算和统计制图的优秀软件

Mahout:Apache Mahout是个可扩展的机器学习和数据挖掘库，当前Mahout支持主要的4个用例：

推荐挖掘：搜集用户动作并以此给用户推荐可能喜欢的事物
聚集：收集文件并进行相关文件分组
分类：从现有的分类文档中学习，寻找文档中的相似特征，并为无标签的文档进行正确的归类
频繁项集挖掘：将一组项分组，并识别哪些个别项会经常一起出现

ZooKeeper: ZooKeeper是Google的Chubby的一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护，名字服务，分布式同步，组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效，功能稳定的系统提供给用户。