本文将详细解释ubuntu docker如何构建Hadoop集群环境，本站认为这是相当实用的，所以我将与大家分享，以供参考。希望你看完这篇文章能有所收获。
Spark应该和Hadoop的hdfs结合使用。但是Hadoop的特点是分布式。在主机上构建集群有点困难。百度发现可以用docker建，于是就开始了：
Github项https://github.com/kiwenlau/hadoop-cluster-docker
docker安装
文章中安装了Docker.io
但是我推荐安装docker-ce。docker.io太老了。步骤如下：
1.国际惯例更新下的APT软件包来源
Sudoapt-getupdate2，安装软件包以允许apt通过HTTPS使用存储库
sudoapt-getinstall
apt-transport-https
ca-证书
卷曲
软件-属性-共性3，因为它是由墙使用的，所以教育网形象：
复制代码代码如下：
curl-FSsl https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add
4.同样的，
su loaded-apt-repository
deb[arch=amd64]https://mirrors . ustc . edu.cn/docker-ce/Linux/Ubuntu
$(lsb_release-cs)
稳定的5英尺。更新我们的软件来源
Sudoapt-getupdate6，安装docker
Sudoapt-getinstalldocker-ce7，启动docker服务
sudoservicedockerstartor
Sudosystemctlstartdocker8。如果你觉得有必要，你可以将开机设置为自带开机
Sudosystemctlenabledocker9。关闭自启动
Sudosystemctldisabledocker10，国内访问docker会受到限制，可以使用加速服务，阿里巴巴云，网易云，DaoCloud
11.运行docker运行hello-world测试安装是否成功
12.如果您想安装其他映像，您可以在docker hub上找到它们
https://hub.docker.com/
或者直接在github上搜索相应的docker
搭建Hadoop集群
施工过程非常简单
https://github.com/kiwenlau/hadoop-cluster-docker
上述步骤的说明非常详细：
1.拉镜像，慢速更换国内镜像源
sudodockerpullkiwenlau/Hadoop :1.0200m不算大，我下载了jupyter官方pyspark的docker 5g…
2.在本地克隆项目
事实上，gitclonehttps://github.com/kiwenlau/hadoop-cluster-docker只在里面使用了start-container.sh文件，也可以单独复制粘贴
3.start-container.sh需要将cd修改到文件目录
修改sudo gedit start-container.sh如下
打开9000端口，创建一个共享文件夹供以后使用
4.保存后，创建docker-Hadoop网络
sudodockernetworkcreate-driver=bridgeHadoop 5，打开容器
sudo。/start-container . sh
6.开放Hadoop集群。/start-Hadoop . sh
7.测试Hadoop并在hdfs上创建一个测试/输入目录
Hadoop fs-mkdir-p/测试/输入
Hadoop fs-ls/test
8.运行字数统计程序。/run-wordcount.sh结果如下
这篇关于“ubuntu docker如何构建Hadoop集群环境”的文章已经在这里分享了。希望以上内容能帮助大家学到更多的知识。如果你觉得文章好，请分享给更多人看。
