hadoop是由apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原yahoo!dougcutting根据google发布的学术论文研究而来。
用户可以在不了解分布式底层细节的情况下，轻松地在hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让hadoop成为最流行的大数据分析系统，然而其赖以生存的hdfs和mapreduce组件却让其一度陷入困境——批处理的工作方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。
因此，各种基于hadoop的工具应运而生，本次为大家分享hadoop生态系统中最常用的13个开源工具，其中包括资源调度、流计算及各种业务针对应用场景。首先，我们看资源管理相关。
资源统一管理/调度系统
在公司和机构中，服务器往往会因为业务逻辑被拆分为多个集群，基于数据密集型的处理框架也是不断涌现，比如支持离线处理的mapreduce、支持在线处理的storm及impala、支持迭代计算的spark及流处理框架s4，它们诞生于不同的实验室，并各有所长。
为了减少管理成本，提升资源的利用率，一个共同的想法产生——让这些框架运行在同一个集群上;因此，就有了当下众多的资源统一管理/调度系统，本次为大家重点介绍apachemesos及yarn：
1、apachemesos
代码托管地址：apachesvn
mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持hadoop、mpi、hypertable、spark等。
mesos是apache孵化器中的一个开源项目，使用zookeeper实现容错复制，使用linuxcontainers来隔离任务，支持多种资源计划分配(内存和cpu)。提供java、python和c++apis来开发新的并行应用程序，提供基于web的用户界面来提查看集群状态。
2、hadoopyarn
代码托管地址：apachesvn
yarn又被称为mapreduce2.0，借鉴mesos，yarn提出了资源隔离解决方案container，但是目前尚未成熟，仅仅提供java虚拟机内存的隔离。
对比mapreduce1.x，yarn架构在客户端上并未做太大的改变，在调用api及接口上还保持大部分的兼容，然而在yarn中，开发人员使用resourcemanager、applicationmaster与nodemanager代替了原框架中核心的jobtracker和tasktracker。其中resourcemanager是一个中心的服务，负责调度、启动每一个job所属的applicationmaster，另外还监控applicationmaster的存在情况;nodemanager负责container状态的维护，并向rm保持心跳。applicationmaster负责一个job生命周期内的所有工作，类似老的框架中jobtracker。
hadoop上的实时解决方案
前面我们有说过，在互联网公司中基于业务逻辑需求，企业往往会采用多种计算框架，比如从事搜索业务的公司：网页索引建立用mapreduce，自然语言处理用spark等。
3、clouderaimpala
代码托管地址：github
impala是由cloudera开发，一个开源的massivelyparallelprocessing(mpp)查询引擎。与hive相同的元数据、sql语法、odbc驱动程序和用户接口(huebeeswax)，可以直接在hdfs或hbase上提供快速、交互式sql查询。impala是在dremel的启发下开发的，第一个版本发布于2012年末。
impala不再使用缓慢的hive+mapreduce批处理，而是通过与商用并行关系数据库中类似的分布式查询引擎(由queryplanner、querycoordinator和queryexecengine三部分组成)，可以直接从hdfs或者hbase中用select、join和统计函数查询数据，从而大大降低了延迟。
4、spark
代码托管地址：apache
spark是个开源的数据分析集群计算框架，最初由加州大学伯克利分校amplab开发，建立于hdfs之上。spark与hadoop一样，用于构建大规模、低延时的数据分析应用。spark采用scala语言实现，使用scala作为应用框架。
spark采用基于内存的分布式数据集，优化了迭代式的工作负载以及交互式查询。与hadoop不同的是，spark和scala紧密集成，scala像管理本地collective对象那样管理分布式数据集。spark支持分布式数据集上的迭代式任务，实际上可以在hadoop文件系统上与hadoop一起运行(通过yarn、mesos等实现)。
5、storm
代码托管地址：github
storm是一个分布式的、容错的实时计算系统，由backtype开发，后被twitter捕获。storm属于流处理平台，多用于实时计算并更新数据库。storm也可被用于“连续计算”(continuouscomputation)，对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式rpc”，以并行的方式运行昂贵的运算。
hadoop上的其它解决方案
就像前文说，基于业务对实时的需求，各个实验室发明了storm、impala、spark、samza等流实时处理工具。而本节我们将分享的是实验室基于性能、兼容性、数据类型研究的开源解决方案，其中包括shark、phoenix、apacheaccumulo、apachedrill、apachegiraph、apachehama、apachetez、apacheambari。
6、shark
代码托管地址：github
shark，代表了“hiveonspark”，一个专为spark打造的大规模数据仓库系统，兼容apachehive。无需修改现有的数据或者查询，就可以用100倍的速度执行hiveql。
shark支持hive查询语言、元存储、序列化格式及自定义函数，与现有hive部署无缝集成，是一个更快、更强大的替代方案。
7、phoenix
代码托管地址：github
phoenix是构建在apachehbase之上的一个sql中间层，完全使用java编写，提供了一个客户端可嵌入的jdbc驱动。phoenix查询引擎会将sql查询转换为一个或多个hbasescan，并编排执行以生成标准的jdbc结果集。直接使用hbaseapi、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。phoenix完全托管在github之上。
phoenix值得关注的特性包括：1，嵌入式的jdbc驱动，实现了大部分的java.sql接口，包括元数据api;2，可以通过多个行键或是键/值单元对列进行建模;3，ddl支持;4，版本化的模式仓库;5，dml支持;5，通过客户端的批处理实现的有限的事务支持;6，紧跟ansisql标准。
8、apacheaccumulo
代码托管地址：apachesvn
apacheaccumulo是一个可靠的、可伸缩的、高性能、排序分布式的键值存储解决方案，基于单元访问控制以及可定制的服务器端处理。使用googlebigtable设计思路，基于apachehadoop、zookeeper和thrift构建。accumulo最早由nsa开发，后被捐献给了apache基金会。
对比googlebigtable，accumulo主要提升在基于单元的访问及服务器端的编程机制，后一处修改让accumulo可以在数据处理过程中任意点修改键值对。
9、apachedrill
代码托管地址：github
本质上，apachedrill是googledremel的开源实现，本质是一个分布式的mpp查询层，支持sql及一些用于nosql和hadoop数据存储系统上的语言，将有助于hadoop用户实现更快查询海量数据集的目的。当下drill还只能算上一个框架，只包含了drill愿景中的初始功能。
drill的目的在于支持更广泛的数据源、数据格式及查询语言，可以通过对pb字节数据的快速扫描(大约几秒内)完成相关分析，将是一个专为互动分析大型数据集的分布式系统。
10、apachegiraph
代码托管地址：github
apachegiraph是一个可伸缩的分布式迭代图处理系统，灵感来自bsp(bulksynchronousparallel)和google的pregel，与它们区别于则是是开源、基于hadoop的架构等。
giraph处理平台适用于运行大规模的逻辑计算，比如页面排行、共享链接、基于个性化排行等。giraph专注于社交图计算，被facebook作为其opengraph工具的核心，几分钟内处理数万亿次用户及其行为之间的连接。
11、apachehama
代码托管地址：github
apachehama是一个建立在hadoop上基于bsp(bulksynchronousparallel)的计算框架，模仿了google的pregel。用来处理大规模的科学计算，特别是矩阵和图计算。集群环境中的系统架构由bspmaster/groomserver(computationengine)、zookeeper(distributedlocking)、hdfs/hbase(storagesystems)这3大块组成。
12、apachetez
代码托管地址：github
apachetez是基于hadoopyarn之上的dag(有向无环图，directedacyclicgraph)计算框架。它把map/reduce过程拆分成若干个子过程，同时可以把多个map/reduce任务组合成一个较大的dag任务，减少了map/reduce之间的文件存储。同时合理组合其子过程，减少任务的运行时间。由hortonworks开发并提供主要支持。
13、apacheambari
代码托管地址：apachesvn
apacheambari是一个供应、管理和监视apachehadoop集群的开源框架，它提供一个直观的操作工具和一个健壮的hadoopapi,可以隐藏复杂的hadoop操作，使集群操作大大简化，首个版本发布于2012年6月。
apacheambari现在是一个apache的顶级项目，早在2011年8月，hortonworks引进ambari作为apacheincubator项目，制定了hadoop集群极致简单管理的愿景。在两年多的开发社区显着成长，从一个小团队，成长为hortonworks各种组织的贡献者。ambari用户群一直在稳步增长，许多机构依靠ambari在其大型数据中心大规模部署和管理hadoop集群。
目前apacheambari支持的hadoop组件包括：hdfs、mapreduce、hive、hcatalog、hbase、zookeeper、oozie、pig及sqoop。