Hadoop 0.20.0+RHEL 5+Eclipse plugin+Makefile开发环境搭建

企鹅博客
企鹅博客
企鹅博客
29402
文章
0
评论
2020年9月14日20:03:40 评论 24 views 2714字阅读9分2秒

Hadoop框架已经将MapReduce的运行机制封装好,程序员在实际开发过程中,只需要将精力专注于各自的业务逻辑,而不必花费过多的时间和精力来考虑具体怎么调度和执行,因为MapReduce框架已经将这些做好了,这样降低了MapReduce程序开发的难度,具有很好的易用性。

这里通过在Linux系统下,搭建基于Hadoop + Eclipse plugin的开发环境,并在实际中使用。下面详述具体的配置和实践情况。

RHEL 5环境配置

(1)无密码验证配置

执行如下命令:

  1. [www.linuxidc.com @localhost .ssh]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa  
  2. [www.linuxidc.com @localhost .ssh]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  
  3. [www.linuxidc.com @localhost .ssh]$ ssh localhost  

如果可以不需要密码,ssh到localhost,表示配置成功。

否则,如果出现需要输入密码进入,则需要检查一下你的.ssh目录的权限,包括.ssh目录下的authorized_keys和known_hosts是否具有读(r)的权限,如果问题出在这里,授权即可。

(2)环境变量配置

修改.bashrc文件,配置环境变量:

[www.linuxidc.com @localhost ~]$ vi .bashrc

  1. # .bashrc  
  2. # Source global definitions  
  3. if [ -f /etc/bashrc ]; then  
  4.         . /etc/bashrc  
  5. fi  
  6. # User specific aliases and functions  
  7. export JAVA_HOME=/usr/java/jdk1.6.0_16  
  8. export PATH=$JAVA_HOME/bin:$PATH  
  9. export CLASSPATH=.:$JAVA_HOME/jre/lib/*.jar:$JAVA_HOME/jre/lib/*.jar  
  10. export HADOOP_HOME=/home/shirdrn/eclipse/eclipse-3.5.2/hadoop/hadoop-0.20.0  
  11. export PATH=$PATH:$HADOOP_HOME/bin  

Hadoop准备

1、下载hadoop-0.20.0.tar.gz压缩包,解压缩到/home/shirdrn/eclipse/eclipse-3.5.2/hadoop/目录下面:

[www.linuxidc.com @localhost hadoop]$ tar -xzvf hadoop-0.20.0.tar.gz

2、配置Hadoop

(1)修改hadoop-0.20.0/conf/hadoop-env.sh,在该文件中增加如下三行:

  1. export JAVA_HOME=/usr/java/jdk1.6.0_16  
  2. export HADOOP_HOME=/home/shirdrn/eclipse/eclipse-3.5.2/hadoop/hadoop-0.20.0  
  3. export PATH=$PATH:$HADOOP_HOME/bin  

(2)修改hadoop-0.20.0/conf/core-site.xml,内容如下所示:

  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6. <configuration>  
  7.   <property>  
  8.     <name>fs.default.name</name>  
  9.     <value>hdfs://localhost:9000</value>  
  10.   </property>  
  11.   <property>  
  12.     <name>hadoop.tmp.dir</name>  
  13.     <value>/tmp/hadoop/hadoop-${user.name}</value>  
  14.   </property>  
  15. </configuration>  

(3)修改hadoop-0.20.0/conf/hdfs-site.xml,内容如下所示:

  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6. <configuration>  
  7.   <property>  
  8.     <name>dfs.replication</name>  
  9.     <value>1</value>  
  10.   </property>  
  11. </configuration>  

(4)修改hadoop-0.20.0/conf/mapred-site.xml,内容如下所示:

  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6.   
  7. <configuration>  
  8.   <property>  
  9.     <name>mapred.job.tracker</name>  
  10.     <value>localhost:9001</value>  
  11.   </property>  
  12. </configuration>  

Eclipse plugin配置

这个配置比较容易一点:

解压缩eclipse-SDK-3.5.2-linux-gtk.tar.gz到/home/shirdrn/eclipse/目录下面,然后将hadoop-0.20.0/contrib/eclipse-plugin/hadoop-0.20.0-eclipse-plugin.jar插件拷贝到/home/shirdrn/eclipse/eclipse-3.5.2/eclipse/plugins/目录下面:

继续阅读
weinxin
欢迎加入中国站长博客之家
本站的所有资源都会上传分享到博客之家,希望大家互相学习交流进步。
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: