一、请谈谈你对Hadoop的理解？
提升单台计算机速度是过去的办法，慢慢走到了极端，CPU的速度不可能再大幅度提升了。人们一直希望通过增加计算机数量提升运算。
例如：在过去，计算机运算的效率依靠的是CPU的速度，随着对计算机体系结构的不断改善和研究，微型机CPU的处理速度基本达到稳定值了。也就是说过去计算速度依靠的是“个人英雄主义”。而现在呢？通过增加计算机数量（专业术语：集群）并行运算以提升运算和数据处理速度。可见，现在计算速度依靠的是“团体作战主义”。如果过去一台计算机处理一批数据需要24小时，现在通过同时在240台计算机上并行处理数据，仅仅需要10分钟。
（个人英雄主义->团体作战主义）
继续研究和发展云计算技术的人员或科研团队来说，无法获得更多的了解。
Hadoop是Google云计算平台的开源实现（山寨版），越来越多的公司和组织选择使用Hadoop开源项目作为其解决方案。
Hadoop可以应用到：搜索引擎、广告优化、机器学习。
在未来，企业应用需求要求有更强的计算能力、更广泛的数据分布、更低的耦合性、更强的稳定性以及更灵活的可扩展性，采用传统的集群模式在这些要求面前显得力不从心了。如果采用分布式技术，就可以运用自己已有的资源，组织更加庞大的计算机网络、更大的集群来满足各行业对应用的需求，而Hadoop就是一个相当成功的分布式计算平台。
现代社会的信息量飞速增长，在这些信息里包含着大量的数据，主要有个人数据和工业数据。到2020年，预计数字信息超过1/3的内容将驻留在云平台或者借助云平台来进行处理数据。那么，如何高效地存储和管理这些数据，又如何分析这些数据呢？可以采用Hadoop系统，它在面对存储、管理分析这些数据时，采用分布式存储方式来存储数据，提高了读/写数据的速度并扩大了数据的存储容量；采用MapReduce来整合分布式文件系统的数据，使得分析和处理数据达到了高效率；同时Hadoop采用存储冗余数据的方式来保证数据的安全性。
起源于Apache基金会项目，随着越来越多的用户加入，扩大了使用面，对其进一步开发和完善，到现在已经形成一个强大的生态系统。
从2009年开始，大力发展云计算和大数据，Hadoop作为海量数据分析的最佳解决方案，受到越来越多IT厂商的关注，使得Hadoop发展飞速，出现了Hadoop的商业版以及相匹配的Hadoop产品，包括软件和硬件产品。
国内淘宝、中国移动、金山、腾讯、百度、网易、新浪等。淘宝的Hadoop系统用于存储并处理电子商务交易的相关数据；中国移动研究院基于Hadoop的“大云”系统用于对数据进行分析并对外提供服务；金山专注安全云；腾讯提出“腾云”、WebQQ;百度采用Hadoop进行搜索日志的分析和网页数据的挖掘工作。
core/common:为Hadoop其他子项目提供支持的常用工具，主要包括FileSystem、RPC和串行化库，它们为在廉价的硬件上搭建云计算环境提供基本的服务，并且为运行在该云平台上的软件开发提供了所需的API。
Avro:用于数据序列化的系统。它提供了丰富的数据结构类型、快速可压缩的二进制数据格式、存储持久性数据的文件集、远程调用RPC的功能和简单的动态语言集成功能。其中，代码生成器既不需要读/写文件数据，也不需要使用或实现RPC协议，它只是一个可选的对静态类型语言的实现。
①MapReduce的基本概述
采用MapReduce架构实现的程序能够在由大量的普通配置的计算机构成的集群中实现并行化操作。MapReduce系统在运行过程中只关心数据如何分割、如何调度，以及集群中计算机如何对错误进行处理，管理着计算机之间的通信。采用MapReduce架构可以使那些没有进行并行计算和分布式计算的开发人员能充分利用分布式系统的丰富资源进行并行式、分布式的开发。
MapReduce框架由一个单独的master JobTracker和集群节点上的slave TaskTracker共同组成。master负责调度一个作业中的所有任务，把这些任务分布在不同的slave上。master监控slave节点上这些任务的执行情况，并重新执行失败的任务，而slave仅负责执行由master指派的任务。
②MapReduce是什么
MapReduce是一种编程模型，一种云计算的核心计算模型。
1）MapReduce主要用来解决什么问题
MapReduce致力于解决大规模数据处理的问题。基于分治法的思想，利用局部性原理将整个问题分而治之。数据在处理之前已经将数据集分布到各个节点上，处理时，每个节点先就近读取本地存储的数据来进行Map处理，将Map处理后的数据再进行合并（combine）排序（shuffle和sort）后再分发到Reduce节点。
2）MapReduce的核心思想
MapReduce编程模式的主要思想是将自动分割的要执行问题拆解成Map(映射)和Reduce（化简）的方式。它的两项核心操作是Map和Reduce。在数据分割后通过Map函数的程序将数据映射成不同的区块，分配给计算机群处理，达到分布式运算的效果。再通过Reduce函数的程序将结果汇整，从而输出开发者需要的结果。
