ubuntu docker怎样搭建Hadoop集群环境

本文将详细解释ubuntu docker如何构建Hadoop集群环境，本站认为这是相当实用的，所以我将与大家分享，以供参考。希望你看完这篇文章能有所收获。

Spark应该和Hadoop的hdfs结合使用。但是Hadoop的特点是分布式。在主机上构建集群有点困难。百度发现可以用docker建，于是就开始了：

Github项https://github.com/kiwenlau/hadoop-cluster-docker

docker安装

文章中安装了Docker.io

但是我推荐安装docker-ce。docker.io太老了。步骤如下：

1.国际惯例更新下的APT软件包来源

Sudoapt-getupdate2，安装软件包以允许apt通过HTTPS使用存储库

sudoapt-getinstall

apt-transport-https

ca-证书

卷曲

软件-属性-共性3，因为它是由墙使用的，所以教育网形象：

复制代码代码如下：

curl-FSsl https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add

4.同样的，

su loaded-apt-repository

deb[arch=amd64]https://mirrors . ustc . edu.cn/docker-ce/Linux/Ubuntu

$(lsb_release-cs)

稳定的5英尺。更新我们的软件来源

Sudoapt-getupdate6，安装docker

Sudoapt-getinstalldocker-ce7，启动docker服务

sudoservicedockerstartor

Sudosystemctlstartdocker8。如果你觉得有必要，你可以将开机设置为自带开机

Sudosystemctlenabledocker9。关闭自启动

Sudosystemctldisabledocker10，国内访问docker会受到限制，可以使用加速服务，阿里巴巴云，网易云，DaoCloud

11.运行docker运行hello-world测试安装是否成功

12.如果您想安装其他映像，您可以在docker hub上找到它们

https://hub.docker.com/

或者直接在github上搜索相应的docker

搭建Hadoop集群

施工过程非常简单

https://github.com/kiwenlau/hadoop-cluster-docker

上述步骤的说明非常详细：

1.拉镜像，慢速更换国内镜像源

sudodockerpullkiwenlau/Hadoop :1.0200m不算大，我下载了jupyter官方pyspark的docker 5g…

2.在本地克隆项目

事实上，gitclonehttps://github.com/kiwenlau/hadoop-cluster-docker只在里面使用了start-container.sh文件，也可以单独复制粘贴

3.start-container.sh需要将cd修改到文件目录

修改sudo gedit start-container.sh如下

打开9000端口，创建一个共享文件夹供以后使用

4.保存后，创建docker-Hadoop网络

sudodockernetworkcreate-driver=bridgeHadoop 5，打开容器

sudo。/start-container . sh

6.开放Hadoop集群。/start-Hadoop . sh

7.测试Hadoop并在hdfs上创建一个测试/输入目录

Hadoop fs-mkdir-p/测试/输入

Hadoop fs-ls/test

8.运行字数统计程序。/run-wordcount.sh结果如下

这篇关于“ubuntu docker如何构建Hadoop集群环境”的文章已经在这里分享了。希望以上内容能帮助大家学到更多的知识。如果你觉得文章好，请分享给更多人看。