这篇文章给大家介绍怎么在centOS7系统中安装火花,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
环境说明:
操作系统:centos7 64位3台
centos7-1 192.168.190.130主
centos7-2 192.168.190.129 slave1
centos7-3 192.168.190.131 slave2
安装火花需要同时安装如下内容:
java开发工具包量表
1.安装jdk,配置爪哇开发工具包环境变量
这里不讲如何安装配置jdk,自行百度。
2.安装斯卡拉
#tar-zxvfscala-2.13.0-M4.tgz
再次修改/etc/profile文件,添加如下内容:
export Scala _ HOME=$ WORK _ SPACE/Scala-2。13 .0-M4
导出路径=$ PATH : $ SCALA _ HOME/bin
#source/etc/profile//让其立即生效
#scala-version//查看斯卡拉是否安装完成 3.安装spark
源代码:火花源码,需要编译才能使用,另外Scala 2.11需要使用源码编译才可使用
使用用户提供的Hadoop: "无Hadoop”预构建版,可应用到任意大数据版本
Hadoop 2.7及更高版本的预构建:基于Hadoop 2.7的预先编译版,需要与本机安装的大数据版本对应。可选的还有Hadoop 2.6。我这里因为装的大数据是3.1.0,所以直接安装对于hadoop 2.7及更高版本的版本。
注:hadoop的安装请查看我的上一篇博客,不在重复描述。
centOS7下火花安装配置
#mkdirspark
#cd/usr/spark
# tar-zxvfspark-2。3 .1-bin-Hadoop 2.7。图斯特拉古铁雷斯
#vim/etc/profile
#添加火花的环境变量,加如小路下、出口出来
#source/etc/profile
#进入主配置文件目录下,把spark-env.sh。模板拷贝一份改名spark-env.sh
# CD/usr/spark/spark-2。3 .1-bin-Hadoop 2.7/conf
# CP火花-env。先令模板spark-env。嘘
#vimspark-env.sh
导出Scala _ HOME=/usr/Scala/Scala-2。13 .0-M4
导出Java _ HOME=/usr/lib/JVM/JRE-1。8 .0-JDK公开赛-1。8 .0 .171-8 .b 10。El 7 _ 5。x86 _ 64
导出Hadoop _ HOME=/usr/Hadoop/Hadoop-3。1 .0
导出Hadoop _ CONF _ DIR=$ Hadoop _ HOME/etc/Hadoop
导出spark _ HOME=/usr/spark/spark-2。3 .1箱Hadoop 2.7
exportSPARK_MASTER_IP=master
exportSPARK_EXECUTOR_MEMORY=1G
#进入主配置文件目录下,把奴隶。模板拷贝一份改名为奴隶
# CD/usr/spark/spark-2。3 .1-bin-Hadoop 2.7/conf
#cpslaves.templateslaves
#vimslaves
#添加节点域名到奴隶文件中
#master//该域名为centos7-1的域名
#slave1//该域名为centos7-2的域名
#slave2//该域名为centos7-3的域名启动火花
#启动火花之前先要把大数据节点启动起来
#cd/usr/hadoop/hadoop-3.1.0/
#sbin/start-all.sh
#jps//检查启动的线程是否已经把大数据启动起来了
# CD/usr/spark/spark-2。3 .1箱Hadoop 2.7
#sbin/start-all.sh
备注:在slave1slave2节点上也必须按照上面的方式安装火花,或者直接拷贝一份到slave1,slave2节点上
# scp-r/usr/spark root @ slave 1 IP :/usr/spark启动信息如下:
起始组织。阿帕奇。火花。部署。主人。master,log ing to/usr/spark/logs/spark-root-org。阿帕奇。火花。部署。主人。大师1大师。在外面
从属2:开始组织。阿帕奇。火花。部署。工人。worker,log ing to/usr/spark/logs/spark-root-org。阿帕奇。火花。部署。工人。工人-1-奴隶2。com。cn。在外面
从属1:开始组织。阿帕奇。火花。部署。工人。worker,log ing to/usr/spark/logs/spark-root-org。阿帕奇。火花。部署。工人。工人-1-奴隶1。com。cn。在外面
主:启动组织。阿帕奇。火花。部署。工人。worker,log ing to/usr/spark/logs/spark-root-org。阿帕奇。火花。部署。工人。工人1主输出
测试火花集群:
用浏览器打开掌握节点上的火花集群URL :http://192。168 .13033608080/
关于怎么在centOS7系统中安装火花就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。