怎么在centOS7系统中安装Spark

2022年 10月 19日 发表评论
腾讯云正在大促:点击直达 阿里云超级红包:点击领取
免费/便宜/高性价比服务器汇总入口(已更新):点击这里了解

这篇文章给大家介绍怎么在centOS7系统中安装火花,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

环境说明:

操作系统:centos7 64位3台

centos7-1 192.168.190.130主

centos7-2 192.168.190.129 slave1

centos7-3 192.168.190.131 slave2

安装火花需要同时安装如下内容:

java开发工具包量表

1.安装jdk,配置爪哇开发工具包环境变量

这里不讲如何安装配置jdk,自行百度。

2.安装斯卡拉

#tar-zxvfscala-2.13.0-M4.tgz

再次修改/etc/profile文件,添加如下内容:

export Scala _ HOME=$ WORK _ SPACE/Scala-2。13 .0-M4

导出路径=$ PATH : $ SCALA _ HOME/bin

#source/etc/profile//让其立即生效

#scala-version//查看斯卡拉是否安装完成 3.安装spark

源代码:火花源码,需要编译才能使用,另外Scala 2.11需要使用源码编译才可使用

使用用户提供的Hadoop: "无Hadoop”预构建版,可应用到任意大数据版本

Hadoop 2.7及更高版本的预构建:基于Hadoop 2.7的预先编译版,需要与本机安装的大数据版本对应。可选的还有Hadoop 2.6。我这里因为装的大数据是3.1.0,所以直接安装对于hadoop 2.7及更高版本的版本。

注:hadoop的安装请查看我的上一篇博客,不在重复描述。

怎么在centOS7系统中安装Spark

centOS7下火花安装配置

#mkdirspark

#cd/usr/spark

# tar-zxvfspark-2。3 .1-bin-Hadoop 2.7。图斯特拉古铁雷斯

#vim/etc/profile

#添加火花的环境变量,加如小路下、出口出来

#source/etc/profile

#进入主配置文件目录下,把spark-env.sh。模板拷贝一份改名spark-env.sh

# CD/usr/spark/spark-2。3 .1-bin-Hadoop 2.7/conf

# CP火花-env。先令模板spark-env。嘘

#vimspark-env.sh

导出Scala _ HOME=/usr/Scala/Scala-2。13 .0-M4

导出Java _ HOME=/usr/lib/JVM/JRE-1。8 .0-JDK公开赛-1。8 .0 .171-8 .b 10。El 7 _ 5。x86 _ 64

导出Hadoop _ HOME=/usr/Hadoop/Hadoop-3。1 .0

导出Hadoop _ CONF _ DIR=$ Hadoop _ HOME/etc/Hadoop

导出spark _ HOME=/usr/spark/spark-2。3 .1箱Hadoop 2.7

exportSPARK_MASTER_IP=master

exportSPARK_EXECUTOR_MEMORY=1G

#进入主配置文件目录下,把奴隶。模板拷贝一份改名为奴隶

# CD/usr/spark/spark-2。3 .1-bin-Hadoop 2.7/conf

#cpslaves.templateslaves

#vimslaves

#添加节点域名到奴隶文件中

#master//该域名为centos7-1的域名

#slave1//该域名为centos7-2的域名

#slave2//该域名为centos7-3的域名启动火花

#启动火花之前先要把大数据节点启动起来

#cd/usr/hadoop/hadoop-3.1.0/

#sbin/start-all.sh

#jps//检查启动的线程是否已经把大数据启动起来了

# CD/usr/spark/spark-2。3 .1箱Hadoop 2.7

#sbin/start-all.sh

备注:在slave1slave2节点上也必须按照上面的方式安装火花,或者直接拷贝一份到slave1,slave2节点上

# scp-r/usr/spark root @ slave 1 IP :/usr/spark启动信息如下:

起始组织。阿帕奇。火花。部署。主人。master,log ing to/usr/spark/logs/spark-root-org。阿帕奇。火花。部署。主人。大师1大师。在外面

从属2:开始组织。阿帕奇。火花。部署。工人。worker,log ing to/usr/spark/logs/spark-root-org。阿帕奇。火花。部署。工人。工人-1-奴隶2。com。cn。在外面

从属1:开始组织。阿帕奇。火花。部署。工人。worker,log ing to/usr/spark/logs/spark-root-org。阿帕奇。火花。部署。工人。工人-1-奴隶1。com。cn。在外面

主:启动组织。阿帕奇。火花。部署。工人。worker,log ing to/usr/spark/logs/spark-root-org。阿帕奇。火花。部署。工人。工人1主输出

测试火花集群:

用浏览器打开掌握节点上的火花集群URL :http://192。168 .13033608080/

怎么在centOS7系统中安装Spark

关于怎么在centOS7系统中安装火花就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。

小咸鱼

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: