CentOS 7.0下安装并配置Spark

企鹅博客
19217
文章
0
评论
2020年2月13日17:23:10 评论 8 views 1557字阅读5分11秒

安装环境:
虚拟机:VMware® Workstation 8.0.1(网络桥接)
OS:CentOS 7
JDK版本:jdk-7u79-linux-x64.tar
Scala版本:scala-2.11.7
Spark版本:spark-1.4.0-bin-Hadoop2.4
用户:Hadoop安装Centos时创建的,属于管理员组

第一步:配置SSH

使用hadoop登录系统,在终端运行:

yum install openssh-server

如果提示:

则是因为yum服务被占用,需要强制解锁:

rm -rf /var/run/yum.pid

终端就会联网下载安装包并自行进行安装。安装完成后输入下面指令验证22端口是否打开:

netstat -nat

确定22端口是打开的,然后检查SSH安装正确否,输入

ssh localhost

输入当前用户名和密码按回车确认,说明安装成功,同时ssh登陆需要密码。

这里重点说明一下:

Ssh配置实际上就是配置无密码访问,使用身份凭据代替密码验证,访问时只需要提供一个身份凭据即可,不需要输入密码。那么意思也就是说,每一个用户都有一个独一无二的凭据,要访问谁,就将这个凭据交给谁(即复制到人家的目录下即可)

接下来,在终端输入命令进入Hadoop账户目录:

cd /home/hadoop

再次输入:

ssh-keygen -t rsa

然后一路回车

然后我们再次进入.ssh文件夹,然后将id_rsa.pub追加到authorized_keys文件,命令如下:

cd .ssh

顺便查看下本目录下都有什么文件。Id_rsa是属于该账户的私钥,id_rsa.pub是属于该账户的公钥,就是要交出去的。

这里需要多说一句,如果一个主服务器有多个账户要配置无密码访问怎么办?

主服务器下面应该有一个叫authorized_keys 的文件,谁需要配置无密码访问,就把你的公钥追加在这个文件里即可。

cp id_rsa.pub authorized_keys

再次测试无密码登录

ssh localhost

最好是多打开几次终端,测试ssh登录,也可以重启服务测试:

service sshd restart 重启服务

service sshd start 启动服务

service sshd stop 停止服务

netstat -antp | grep sshd 查看是否启动22端口

任何时候遇到权限拒绝在命令前加上sudo 即可,如下就被拒绝了:

chkconfig sshd on设置开机启动

chkconfig sshd off 禁止SSH开机启动

--------------------------------------分割线 --------------------------------------

Spark1.0.0部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

CentOS 6.2(64位)下安装Spark0.8.0详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark简介及其在Ubuntu下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装Spark集群(在CentOS上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

继续阅读
  • 版权声明: 发表于 2020年2月13日17:23:10
  • 转载注明:https://www.qieseo.com/165305.html
LVS-NAT模型实现负载均衡 linux服务器应用

LVS-NAT模型实现负载均衡

前言 前篇文章我们主要讲解了LVS的理论知识,包括LVS来源、宗旨、三种模型的架构以及LVS内核空间的十种算法,今天我们来进行实践的LVS中三种模型中的NAT模型的架构以及实现方式。(实验环境以Web...
Liferay MinifierFilter的研究 linux服务器应用

Liferay MinifierFilter的研究

大家都知道,在Web应用程序中,为了节省网络开销,往往吧多个小的js文件整合成一个大的js文件,吧多个小的css文件整合成一个大的js文件,这样原本N次小文件的请求就可以合并成单次的网络请求。最典型的...
Hadoop集群中的日志文件 linux服务器应用

Hadoop集群中的日志文件

Hadoop存在多种日志文件,其中master上的日志文件记录全面信息,包括slave上的jobtracker与datanode也会将错误信息写到master中。而slave中的日志主要记录完成的ta...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: