64位CentOS下Hadoop2.2.0集群安装

Linux大全评论888 views阅读模式

1、准备环境

  三台64位CentOS,安装在VMware虚拟机下。

  1)安装中文输入法:

      1、需要root权限,所以要用root登录 ,或su root

        2、yum install "@Chinese Support"

  2)安装ssh或者vsftp

      使用chkconfig --list来查看是否装有vsftpd服务;

      使用yum命令直接安装:  yum install vsftpd

      查看与管理ftp服务:

      启动ftp服务:service vsftpd start

        查看ftp服务状态:service vsftpd status

        重启ftp服务:service vsftpd restart

        关闭ftp服务:service vsftpd stop

    3)jdk安装

    参考 http://www.linuxidc.com/Linux/2014-06/102663.htm

--------------------------------------分割线 --------------------------------------

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop集群上使用Lzo压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

--------------------------------------分割线 --------------------------------------

2、修改主机名

      本人安装一个虚拟机,然后通过虚拟机-》管理-》克隆 完成其他两台机器的安装,现在存在的一个问题就是主机名是一样的,这个明显不是自己想要的,所以需要修改其余两台的主机名。

  [root@slaver2 sysconfig]# vi /etc/sysconfig/network

    NETWORKING=yes

    HOSTNAME=slaver

3、配置/ect/hosts,三台服务器的配置一样

vi /etc/hosts

192.168.21.128  master

192.168.21.131  slaver

192.168.21.130  slaver2

4、创建用户(使用root用户创建后来发现Browse the filesystem 报错,后来查文档,建议使用新建的用户)

useradd  hadoop

passwd hadoop

输入密码,确认

5、ssh无密码登录

参考:http://www.linuxidc.com/Linux/2014-06/102664.htm

6、HADOOP的下载和环境的配置

http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/

[  ] hadoop-2.2.0.tar.gz        07-Oct-2013 14:46  104M

hadoop环境变量的配置:

vi/etc/profile

在文件的最下面添加

export HADOOP_HOME=/usr/zkt/hadoop2.2.0/hadoop-2.2.0

export PAHT=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_LOG_DIR=/usr/zkt/hadoop2.2.0/hadoop-2.2.0/logs

export YARN_LOG_DIR=$HADOOP_LOG_DIR

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

注:在64位操作系统上需要加入一下红色部分的配置信息

企鹅博客
  • 本文由 发表于 2019年9月5日 07:49:24
  • 转载请务必保留本文链接:https://www.qieseo.com/161731.html

发表评论