Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台,用户可借助Hadoop存有基础环境的配置(虚拟机安装、Linux安装等),Hadoop集群搭建,配置和测试。
VMware (Virtual Machine ware)是一个“虚拟PC”软件公司,提供服务器、桌面虚拟化的解决方案。
使用的虚拟软件:VMware15
VMware15软件的安装包与安装教程:https://mp.weixin.qq.com/s/AqPE61EmGJ89lO6sJshOzA
- VMware15.5 pro
- Centos7镜像文件(mini)
- Centos7下载链接:https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/
2.1 新建虚拟机,选择典型
3.选择语言(默认为English)
1.查看网络是否连通
2.安装net-tools
3.查看Mac地址(enter后面)
4.查看ip地址的起始和结束地址
5.修改网络配置文件
mac地址为2步骤的enter值
ip地址参照4步骤自行选择(必须在起始和结束的范围内)
子网掩码默认设置为255.255.255.0
网关的值为将ip地址中最后一段的值改为2
DNS使用谷歌提供的免费dns1:8.8.8.8
6.重启网络服务,查看是否配置成功
7.重启虚拟机后,查看是否连通网络(ip地址并未改变,且能连通网络)
1.克隆虚拟机(右键相应虚拟机->管理->克隆)
2.创建完整克隆
3.克隆虚拟机名称和位置(等待克隆完成)
4.开启Hadoop02,修改主机名
5.查看mac地址
6.网络配置文件修改(标红需要修改,IP自己设置,mac用步骤5查到地址,网关为ip地址最后改为2)
7.重新启动网络配置(查看网络是否可用)
8.按照以上步骤,再克隆另外一台虚拟机Hadoop03
1.修改hosts配置文件(所有虚拟机都需要配置此文件)
2.生成密钥文件(四次回车)
2.将本机公钥文件复制到其它虚拟机上(接收方需先开机)
在hadoop01上执行,先输入yes,后输入对应主机的密码,多台虚拟机配置操作相同
3.在虚拟机hadoop02,hadoop03都需要执行,保证三台主机都能够免密登录
3.查看是否成功免密登录
1.在所有虚拟机根目录下新建文件夹export,export文件夹中新建data、servers和software文件
2.准备安装包
hadoop-2.7.4.tar.gz
jdk-8u161-linux-x64.tar.gz
4.在Xshell先进入software文件内,然后下载rz命令,并使用rz命令进行文件上传,此时会弹出上传的窗口,选择要上传的文件,点击确定即可将本地文件上传到Linux上。
5.安装JDK(所有虚拟机都要操作)
5.1 解压jdk
5.2 重命名jdk目录
5.3 配置环境变量
5.4 使配置文件生效
5.5 查看是否配置成功
6.Hadoop安装(所有虚拟机都要操作)
6.1 解压hadoop
6.2 打开配置文件
6.3 配置hadoop环境变量
6.4 使配置文件生效
6.5 查看是否配置成功
7.Hadoop集群配置
7.1 进入主节点配置目录
7.2 修改hadoop-env.sh文件
7.3 修改core-site.xml文件
7.4 修改hdfs-site.xml文件
7.5 修改mapred-site.xml文件
7.6 修改yarn-site.xml文件
7.7 修改slaves文件
7.8将主节点中配置好的文件和hadoop目录copy给子节点
7.9 使子节点中的配置文件生效
7.10 在主节点格式化文件系统(successfully formatted 格式化成功)
1.启动集群
1.1在主节点启动所有HDFS服务进程
1.2 在主节点启动所有HDFS服务进程
2.关闭防火墙(所有虚拟机都要操作)
3.打开window下的C:WindowsSystem32driversetc打开hosts文件,在文件末添加三行代码:
192.168.121.134 hadoop01
192.68.121.135 hadoop02
192.168.121.136 hadoop03
5.在Windows系统下,访问http://hadoop01:8088,查看Yarn集群状态