Hadoop工作日志-安装及挂载HDFS

Linux大全评论993 views阅读模式

首先是操作系统以及所使用的软件的版本

操作系统:CentOS 5.5 (32位)

Hadoop版本:hadoop-0.20.2.tar.gz

jdk版本:jdk-6u20-linux-i586.bin

fuse版本:fuse-2.8.1.tar.gz

ant版本:apache-ant-1.7.0-bin.tar.gz

两台32位的服务器:hadoop1(192.168.0.3),hadoop2(192.168.0.2),hadoop3(192.168.0.5),hadoop1是master,hadoop2,hadoop3是slave,并在hadoop2,hadoop3之上挂载HDFS文件系统。

一:操作系统安装

1.网卡选择启动时激活

2.选择Desktop-Gnome ,Desktop-KDE,Server

3.定制软件包:桌面环境,应用程序,开发,服务器,基本系统,这些全选

二:hadoop安装:

1.首先修改三台机器的/etc/hosts文件。将倒数两行注释掉(#127.0.0.1······以及#::······)。然后在文件的末尾添加:

192.168.0.3    hadoop1

192.168.0.2    hadoop2

192.168.0.4    hadoop3

2.建立节点之间按的无密码连接:

(1)在hadoop1上:

   #cd /root

   #ssh-keygen -t rsa  一路回车即可

   #ls -a   查看是否有.ssh文件夹

   #cd .ssh  进入.ssh目录

   #cp id_rsa.pub authorized_keys  生成authorized_keys文件

   #cd .. 退出到root目录

   建立本身的信任连接 #ssh hadoop1    按提示输入yes(三个字母要打全)

  (2)在hadoop2和hadoop3之上

    #cd /root   

    #ssh-keygen -t rsa     生成.ssh文件夹

    #scp root@hadoop1:/root/.ssh/* .ssh/   拷贝hadoop1上的.ssh文件夹覆盖本地的

   (3)在三台机器之上运行:

     #ssh hadoop1

     #ssh hadoop2

     #ssh hadoop3

    这样就建立了三台机器之间的互信连接

3. 安装JDK(在hadoop1,hadoop2,hadoop3三之上执行,安装位置要一致):

     #cd /root/Desktop/hadoop_file/  (此目录中存放hadoop,ant,jdk)

     #cp  jdk-6u20-linux-i586.bin /usr/local

     #cd /usr/local

     #chmod a+x jdk-6u20-linux-i586.bin

     #./jdk-6u20-linux-i586.bin

     然后修改/etc/profile文件,在文件的最末尾添加:

     export JAVA_HOME=/usr/local/jdk1.6.0_20

     export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 

 export   CLASSPATH=.:/usr/local/jdk1.6.0_20/lib:/usr/local/jdk1.6.0_20/jre/lib:$CLASSPATH
 

   source /etc/profile

4.安装hadoop(在hadoop1,hadoop2,hadoop3上执行,hadoop的安装位置要一致):

   #cd  /root/Desktop/hadoop_file/hadoop-0.20.2(hadoop压缩文件就在此目录,我就将它

   安装在此目录)

   #tar -xzvf hadoop-0.20.2.tar.gz

   #cd /root/Desktop/hadoop_file/hadoop-0.20.2/conf

   在hadoop-env文件中

   #export JAVA_HOME=/usr/local/jdk1.6.0_20

   #vi core-site.xml 添加:

 
  <property>
     <name>fs.default.name</name>
     <value>hdfs://hadoop1:9000</value>
   </property>
 

  #vi hdfs-site.xml  添加:

     <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>
 
 
     <property>
       <name>hadoop.tmp.dir</name>
       <value>/tmp/hadoop/hadoop-${user.name}</value>
     </property>
 

  #vi mapred-sit.xml 添加:

   
   <property>
        <name>mapred.job.tracker</name>
        <value>hadoop1:9001</value>
    </property>
 

   #vi  masters 修改为:

      hadoop1

   #vi  slaves 修改为:

       hadoop2

       hadoop3

     到此,hadoop的安装就完成了。

5.启动hadoop:

    #service iptables stop (在hadoop1,hadoop2,hadoop3中都要执行)

    #cd /root/Desktop/hadoop_file/hadoop-0.20.2/bin

    #./hadoop namenode -format

    #./start-all.sh

     这样就将hadoop启动起来了,接下来测试一下:

企鹅博客
  • 本文由 发表于 2020年5月21日 04:46:55
  • 转载请务必保留本文链接:https://www.qieseo.com/146588.html

发表评论