使用docker部署hadoop集群的详细教程-创新互联
最近要在公司里搭建一个hadoop测试集群,于是采用docker来快速部署hadoop集群。
0. 写在前面
网上也已经有很多教程了,但是其中都有不少坑,在此记录一下自己安装的过程。
目标:使用docker搭建一个一主两从三台机器的hadoop2.7.7版本的集群
准备:
首先要有一台内存8G以上的centos7机器,我用的是阿里云主机。
其次将jdk和hadoop包上传到服务器中。
我安装的是hadoop2.7.7。包给大家准备好了,链接:/tupian/20230522/init 提取码:vmzw。
1. 步骤
大致分以下几步:
- 安装docker
- 基础环境准备
- 配置网络,并启动docker容器
- 配置host及ssh免密登录
- 安装配置hadoop
1.1 安装docker
依次执行如下步骤安装docker。如果有docker环境的可以跳过。
yum update yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo /tupian/20230522/docker-ce.repo yum install -y docker-ce systemctl start docker docker -v
网页标题:使用docker部署hadoop集群的详细教程-创新互联
本文路径:http://azwzsj.com/article/csdcph.html