随着互联网、移动互联网、物联网、云计算的快速发展，各行各业爆炸性增长的海量数据将再一次颠覆云时代，信息量暴增的大数据时代吹响了号角。
用户如何从这庞大的数据库中提取对自己有用的信息呢?这就需要大数据分析技术和工具，而传统的商业智能(BI)工具已经抵挡不住企业如此庞大的数据信息。提到大数据，不得不说的是与大数据相关的技术名词：Hadoop、MapReduce、HBase、NoSQL等。业界的众多厂商也都开始从技术入手，打造各自的大数据解决方案。一时间，Hadoop红遍了全球，就像当年的Linux开源软件系统一样，成为了研究和设计大数据解决方案的主流平台。
华丽的变形
Hadoop的发展基本上经历了这样一个过程：从一个开源的Apache基金会项目，随着越来越多的用户的加入，不断地被使用、贡献和完善，逐渐形成了一个强大的生态系统。
随着云计算和大数据的发展，如今Hadoop已经是一个能够让用户轻松驾驭和使用的分布式计算平台。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序，并能充分利用集群的威力实现高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在价格低廉的硬件上，而且它提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求，这样可以用流的形式访问文件系统中的数据。
Hadoop最受欢迎的是在Internet上对搜索关键字进行内容分类的工具，但它也可以解决许多要求极大伸缩性的问题。例如，如果您要grep一个100TB的巨型文件，会出现什么情况?在传统的系统上，这将需要很长的时间。但是Hadoop在设计时就考虑到这些问题，采用并行执行机制，因此能大大提高效率。
如今，基于Hadoop的应用已经遍地开花：Yahoo通过集群运行Hadoop，以支持广告系统和Web搜索的研究;Facebook借助集群运行Hadoop，以支持其数据分析和机器学习;百度则使用Hadoop进行搜索日志的分析和网页数据的挖掘工作;淘宝的Hadoop系统用于存储并处理电子商务交易的相关数据。
九年的长跑，Hadoop已从初出茅庐的小象华丽变形，成为了行业巨人，但还需戒骄戒躁、不断完善。
性能大提升
Hadoop还是一个能够对大量数据进行分布式处理的软件框架。Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。
Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。
Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop可以将数千个节点投入计算，非常具有性能潜力。但并非所有的工作都可以进行并行处理，如用户交互进行的数据分析。如果你设计的应用没有专门为 Hadoop集群进行优化，那么性能并不理想，因为每个Map/Reduce任务都要等待之前的工作完成。
英特尔针对大数据的开放架构核心产品线，推出了英特尔Hadoop分发版，让用户可以实现“软硬协同，体验至上”的创新效果。例如，利用英特尔至强处理器平台对网络和I/O 技术所做的优化，与英特尔Hadoop分发版进行强力组合，以往分析1TB的数据需要4个多小时才能完全处理完，现在仅需要短短的7分钟即可完成，极大地提升了大数据分析的速度。
更多详情见请继续阅读下一页的精彩内容： http://www.linuxidc.com/Linux/2013-10/92140p2.htm
相关阅读：
Hadoop 2.0 安装向导 (0.23.x) http://www.linuxidc.com/Linux/2012-05/61463.htm
Hadoop 1.2.1 单节点安装(Single Node Setup)步骤 http://www.linuxidc.com/Linux/2013-08/89377.htm
在CentOS上安装Hadoop http://www.linuxidc.com/Linux/2013-08/88600.htm
Ubuntu 12.04安装Hadoop http://www.linuxidc.com/Linux/2013-08/88187.htm
CentOS 6.3 x86_64安装与配置Hadoop-1.0 http://www.linuxidc.com/Linux/2013-07/87959.htm
