服务器之家:专注于VPS、云服务器配置技术及软件下载分享
分类导航

云服务器|WEB服务器|FTP服务器|邮件服务器|虚拟主机|服务器安全|DNS服务器|服务器知识|Nginx|IIS|Tomcat|

服务器之家 - 服务器技术 - 服务器知识 - 使用docker安装hadoop的实现过程

使用docker安装hadoop的实现过程

2023-04-11 17:55老酒的酒瓶不见了 服务器知识

这篇文章主要介绍了使用docker安装hadoop的详细过程,本文给大家讲解的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

1.拉镜像

这里推荐第一个

?
1
docker pull registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base

或者

?
1
docker pull qianiqan/hadoop_only

2.创建容器

三个容器的名称分别是Master、Slave1、Slave2

1.创建hadoop内部网络

目的是实现容器与容器之间的相互通信

?
1
docker network create --driver=bridge hadoop

hadoop:是创建的网络名

2.创建master容器,开放端口

?
1
docker run -it --network hadoop -h Master --name Master -p 9870:9870 -p 8088:8088 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash

--network hadoop :指定该容器使用创建的hadoop网络

--name Master :把该容器名称命名为Master

-p 9870:9870 :将宿主机的9870端口号,映射到容器的9870端口

-p 8088:8088 : 将宿主机的8088端口号,映射到容器的8088端口

这两个开放端口

3.创建slave1容器,不开放端口

?
1
docker run -it --network hadoop -h Slave1 --name Slave1 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash

不开端口,只有master容器开

4.创建slave2容器,不开放端口

?
1
docker run -it --network hadoop -h Slave2 --name Slave2 registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base bash

不开端口,只有master容器开

3.三台主机都修改/etc/hosts文件

分别进入三台主机,然后修改他们的hosts文件

?
1
2
3
4
5
vim /etc/hosts
**************添加下面内容*************
172.20.0.2  Master    #(容器ip   容器主机名)
172.20.0.3  Slave1
172.20.0.4  Slave2

查看容器ip的方法

?
1
docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' 容器ID

4.格式化hdfs

在master容器内操作

进入hadoop的bin目录格式化

可以看出hadoop的存放目录为/usr/local/hadoop/

?
1
2
3
cd /usr/local/hadoop/bin
-
./hadoop namenode -format

5.启动hadoop

三台主机容器内部都可以

?
1
2
3
cd /usr/local/hadoop/sbin
-
./start-all.sh

6.web访问测试

宿主机ip:9870

到此这篇关于使用docker安装hadoop(已实现) 的文章就介绍到这了,更多相关docker安装hadoop内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://www.cnblogs.com/gqboke/p/17073457.html

延伸 · 阅读

精彩推荐