hadoop-2.0.0-cdh4.1.2升级到hadoop-2.7.2

Linux大全评论837 views阅读模式

要求:Hadoop-2.0.0-cdh4.1.2升级到hadoop-2.7.2

升级前准备:

配置好新的hadoop-2.7.2到各个集群服务器上

配置好新的环境变量备用

开始升级:

1.停止hive、hbase、zookeeper等相关服务

2.检查文件(如果文件太多太费时间可以不做)

hadoop dfsadmin -safemode enter

检查元数据块(过滤所有以小圆点开始的行):

hadoop fsck / -files -blocks -locations |grep -v -E '^\.' > old-fsck.log

hadoop dfsadmin -safemode leave

3.停止hadoop集群

$HADOOP_HOME/bin/stop-all.sh

4.修改环境变量

source /etc/profile 各个集群都执行

echo $HADOOP_HOME 看是否是新的hadoop目录了

5.开始升级

hadoop-daemon.sh start namenode -upgrade 启动namenode升级

hadoop-daemons.sh start datanode 启动各个数据节点

打开日志文件观察有误错误,如果报内存溢出,修改hadoop-env.sh 文件的export HADOOP_HEAPSIZE,HADOOP_CLIENT_OPTS参数值和yarn-env.sh文件JAVA_HEAP_MAX参数值

打开50070端口web页面观察升级过程

hadoop-2.0.0-cdh4.1.2升级到hadoop-2.7.2

hadoop-2.0.0-cdh4.1.2升级到hadoop-2.7.2

等所有数据节点全部升级完成后,检查数据完整性(此过程根据集群数量得等一段时间)

hadoop fsck /

有问题回滚命令:

hadoop-daemon.sh start namenode -rollback

hadoop-daemons.sh start datanode –rollback

6.提交升级

运行一段时间后,观察没有问题,可以提交升级

hdfs dfsadmin -finalizeUpgrade

下面关于Hadoop的文章您也可能喜欢,不妨看看:

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

企鹅博客
  • 本文由 发表于 2019年9月5日 22:21:41
  • 转载请务必保留本文链接:https://www.qieseo.com/166847.html

发表评论