如何确认分布式Hadoop1.2.1集群环境是否运转正常

企鹅博客
企鹅博客
企鹅博客
28702
文章
0
评论
2020年9月14日09:35:03 评论 5 views 1767字阅读5分53秒

Hadoop学习环境搭建好后,就要测试环境是否OK了,测试的方法很简单,只需要自己用hadoop自带的example jar进行测试一把即可,具体的测试方法如下:

 1: su - grid
 2:  pwd
      /home/grid
 3:  创建input目录,mkdir input  ---> 然后进入input 目录 cd input
 4: 通过输出重定向的方式,新增两个txt文件
    echo "Hi,China">Text1.txt 
    echo "Hi,Hadoop">Text2.txt
 5: 查看txt文件,确认内容是否OK
    cat Text1.txt
    Hi,China
  6:查看Hadoop HDFS里是否有东西
    cd ..
      cd hadoop-1.2.1
      bin/hadoop fs -ls
      返回: ls: Cannot  access .: No such file or directory
 7:  把input目录下的文件拷贝到hadoop in目录下
    bin/hadoop fs -put ../put  ./in
    提示错误:
    put: org.apache.hadoop.hdfs.server .namenode.SafeModeException: Cannot create directory /user/grid/in. Name node is in safe mode.
 
  很显然,提示我们目前Hadoop处于安全模式下,处于安全模式下,我们是不能做任何操作的,不能拷贝文件,所以需要接触安全模式:
 
  bin/hadoop dfsadmin -safemode leave ,继续以上操作就哦了。
 
8:确认文件是否拷贝进去.
  bin/hadoop fs -ls
  返回: 以上两个文件。
 
9:可以查看以上文件内容,确认是否OK.
  bin/hadoop fs -cat ./in/Text1.txt
  返回:Hi,China
 
10:执行example jar 进行统计分析。
  bin/hadoop jar hadoop-examples-1.2.1.jar wordcount in out
 
11:查看执行输出文件。
 bin/hadoop fs -cat ./out/part-r-00000
 

返回:
 Hadoop 1
 Hi 2
 China 1
 
如果看上以上结果,就说明集群环境已经哦了,可以正常干活了。

试验过程的步骤,供大家参考:

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2014年资料/5月/13日/如何确认分布式Hadoop1.2.1集群环境是否运转正常

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

--------------------------------------分割线 --------------------------------------

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop集群上使用Lzo压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

--------------------------------------分割线 --------------------------------------

继续阅读
weinxin
欢迎加入中国站长博客之家
本站的所有资源都会上传分享到博客之家,希望大家互相学习交流进步。
Nginx+Django+Uwsgi架构部署 linux服务器应用

Nginx+Django+Uwsgi架构部署

随着IT不断发展,用户对网站的体验也越来越高,做为一名Linux运维攻城师,就得学习更多知识,网络、系统、硬件、开发等等知识。 尤其是近期自动化运维的不断发展,更多的基础运维工程师开始不断的升华自己,...
Nginx的ip_hash解析 linux服务器应用

Nginx的ip_hash解析

网络结构描述:1个Nginx(前端)+2个tomcat(后端) 环境:公司内网(网段:192.168.1.0/24),服务器也是分配的内网ip:192.168.1.4(暂定);后端两个tomcat:1...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: