Ubuntu 12.04 搭建 Hadoop 集群版环境

Linux大全评论624 views阅读模式

终于把Hadoop集群的环境搭建好了,搭建的流程和单机版基本差不多,但是搭建过程中也遇到了许多的困难,例如:ssh授权这块,搭建过程中,出现的问题很多,导致我耽误了好长的时间!现在我把我的搭建过程梳理一下,如果有什么问题,请多多指教!

一. 搭建环境前的准备:

我的本机Ubuntu 12.04 32bit作为maser,就是上篇hadoop单机版环境搭建时用的那台机子,http://www.linuxidc.com/Linux/2013-01/78112.htm

还在KVM中虚拟了4台机子,分别起名为:

son-1        (ubuntu 12.04 32bit),

son-2        (ubuntu 12.04 32bit),

son-3        (CentOS 6.2 32bit),

son-4        (RedHat 6.0 32bit).

KVM的搭建详见:http://www.linuxidc.com/Linux/2013-01/78114.htm

KVM的桥接设置详见:http://www.linuxidc.com/Linux/2013-01/78115.htm

Ubuntu12.04搭建Hadoop单机版环境详见:http://www.linuxidc.com/Linux/2013-01/78112.htm

下来修改本机的host文件,

sudo gedit /etc/hosts

在后面添加内容为:

192.168.200.150 master

192.168.200.151 son-1

192.168.200.152 son-2

192.168.200.153 son-3

192.168.200.154 son-4

现在开始我们的打建之旅吧。

二 . 为本机(master)和子节点(son..)分别创建hadoop用户和用户组,其实ubuntu和centos下创建用户还多少还是有点区别的。

ubuntu下创建:

先创建hadoop用户组:

sudo addgroup hadoop

然后创建hadoop用户:

sudo adduser -ingroup hadoop hadoop

centos 和 redhat 下创建:

sudo adduser hadoop

注:在centos 和 redhat下直接创建用户就行,会自动生成相关的用户组和相关文件,而ubuntu下直接创建用户,创建的用户没有家目录。

给hadoop用户添加权限,打开/etc/sudoers文件;

sudo gedit /etc/sudoers

按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限。

在root  ALL=(ALL:ALL)  ALL下添加hadoop  ALL=(ALL:ALL)  ALL,

hadoop  ALL=(ALL:ALL) ALL

三. 为本机(master)和子节点(son..)安装JDK环境。

ubuntu下一条命令即可:

sudo apt-get install openjdk-6-jre

centos和redhat建议下载源码安装。

详见:http://www.linuxidc.com/Linux/2012-11/74760.htm

四. 修改 本机(master)和子节点(son..)机器名

打开/etc/hostname文件;

企鹅博客
  • 本文由 发表于 2019年9月8日 22:24:01
  • 转载请务必保留本文链接:https://www.qieseo.com/157008.html

发表评论