首先是操作系统以及所使用的软件的版本
操作系统:CentOS 5.5 (32位)
Hadoop版本:hadoop-0.20.2.tar.gz
jdk版本:jdk-6u20-linux-i586.bin
fuse版本:fuse-2.8.1.tar.gz
ant版本:apache-ant-1.7.0-bin.tar.gz
两台32位的服务器:hadoop1(192.168.0.3),hadoop2(192.168.0.2),hadoop3(192.168.0.5),hadoop1是master,hadoop2,hadoop3是slave,并在hadoop2,hadoop3之上挂载HDFS文件系统。
一:操作系统安装
1.网卡选择启动时激活
2.选择Desktop-Gnome ,Desktop-KDE,Server
3.定制软件包:桌面环境,应用程序,开发,服务器,基本系统,这些全选
二:hadoop安装:
1.首先修改三台机器的/etc/hosts文件。将倒数两行注释掉(#127.0.0.1······以及#::······)。然后在文件的末尾添加:
192.168.0.3 hadoop1
192.168.0.2 hadoop2
192.168.0.4 hadoop3
2.建立节点之间按的无密码连接:
(1)在hadoop1上:
#cd /root
#ssh-keygen -t rsa 一路回车即可
#ls -a 查看是否有.ssh文件夹
#cd .ssh 进入.ssh目录
#cp id_rsa.pub authorized_keys 生成authorized_keys文件
#cd .. 退出到root目录
建立本身的信任连接 #ssh hadoop1 按提示输入yes(三个字母要打全)
(2)在hadoop2和hadoop3之上
#cd /root
#ssh-keygen -t rsa 生成.ssh文件夹
#scp root@hadoop1:/root/.ssh/* .ssh/ 拷贝hadoop1上的.ssh文件夹覆盖本地的
(3)在三台机器之上运行:
#ssh hadoop1
#ssh hadoop2
#ssh hadoop3
这样就建立了三台机器之间的互信连接
3. 安装JDK(在hadoop1,hadoop2,hadoop3三之上执行,安装位置要一致):
#cd /root/Desktop/hadoop_file/ (此目录中存放hadoop,ant,jdk)
#cp jdk-6u20-linux-i586.bin /usr/local
#cd /usr/local
#chmod a+x jdk-6u20-linux-i586.bin
#./jdk-6u20-linux-i586.bin
然后修改/etc/profile文件,在文件的最末尾添加:
export JAVA_HOME=/usr/local/jdk1.6.0_20
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export CLASSPATH=.:/usr/local/jdk1.6.0_20/lib:/usr/local/jdk1.6.0_20/jre/lib:$CLASSPATH
source /etc/profile
4.安装hadoop(在hadoop1,hadoop2,hadoop3上执行,hadoop的安装位置要一致):
#cd /root/Desktop/hadoop_file/hadoop-0.20.2(hadoop压缩文件就在此目录,我就将它
安装在此目录)
#tar -xzvf hadoop-0.20.2.tar.gz
#cd /root/Desktop/hadoop_file/hadoop-0.20.2/conf
在hadoop-env文件中
#export JAVA_HOME=/usr/local/jdk1.6.0_20
#vi core-site.xml 添加:
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop1:9000</value>
</property>
#vi hdfs-site.xml 添加:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop/hadoop-${user.name}</value>
</property>
#vi mapred-sit.xml 添加:
<property>
<name>mapred.job.tracker</name>
<value>hadoop1:9001</value>
</property>
#vi masters 修改为:
hadoop1
#vi slaves 修改为:
hadoop2
hadoop3
到此,hadoop的安装就完成了。
5.启动hadoop:
#service iptables stop (在hadoop1,hadoop2,hadoop3中都要执行)
#cd /root/Desktop/hadoop_file/hadoop-0.20.2/bin
#./hadoop namenode -format
#./start-all.sh
这样就将hadoop启动起来了,接下来测试一下: