Hadoop2.2 Ubuntu64位 编译

企鹅博客
19232
文章
0
评论
2019年7月12日19:15:46 评论 747 views

Hadoop2.2作为release不支持Linux的64位版本,需要自己手工编译。下面是我自己的安装过程:

1. 复制一个虚拟机。

2. 下载hadoop-2.2.0-src.tar.gz解压缩,并且拷贝到Ubuntu的/opt文件夹下:

[email protected]:/opt$ cp -r /mnt/hgfs/F/hadoop/soft/hadoop-2.2.0-src ./

3.  下载protobuf-2.5.0.zip并且解压缩后拷贝到/opt目录下,而后编译

安装依赖包:

sudo apt-get install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

编译protobuf

4.  修改hadoop2.2 BUG

目前的2.2.0 的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。否则编译hadoop-auth 会提示下面错误:

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:testCompile (default-testCompile) on project hadoop-auth: Compilation failure: Compilation failure:

[ERROR] /home/chuan/trunk/hadoop-common-project/hadoop-auth/src/test/java/org/apache/hadoop/security/authentication/client/AuthenticatorTestCase.java:[84,13] cannot access org.mortbay.component.AbstractLifeCycle

[ERROR] class file for org.mortbay.component.AbstractLifeCycle not found         

处理方式:https://issues.apache.org/jira/browse/HADOOP-10110

5.  正式编译:

mvn clean package -Pdist,native -DskipTests -Dtar

6.  编译后的文件位置:/opt/hadoop-2.2.0-src/hadoop-dist/target

把 hadoop-2.2.0拷贝到/opt文件夹下就可以正常使用。

相关阅读

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

继续阅读
  • 版权声明: 发表于 2019年7月12日19:15:46
  • 转载注明:https://www.qieseo.com/160410.html
LVS-NAT模型实现负载均衡 linux服务器应用

LVS-NAT模型实现负载均衡

前言 前篇文章我们主要讲解了LVS的理论知识,包括LVS来源、宗旨、三种模型的架构以及LVS内核空间的十种算法,今天我们来进行实践的LVS中三种模型中的NAT模型的架构以及实现方式。(实验环境以Web...
Liferay MinifierFilter的研究 linux服务器应用

Liferay MinifierFilter的研究

大家都知道,在Web应用程序中,为了节省网络开销,往往吧多个小的js文件整合成一个大的js文件,吧多个小的css文件整合成一个大的js文件,这样原本N次小文件的请求就可以合并成单次的网络请求。最典型的...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: