分享好友 最新动态首页 最新动态分类 切换频道
Hadoop集群安装和搭建(全面超详细的过程)
2024-12-27 03:09

   Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台,用户可借助Hadoop存有基础环境的配置(虚拟机安装、Linux安装等,Hadoop集群搭建,配置和测试。


   VMware (Virtual Machine ware)是一个“虚拟PC”软件公司,提供服务器、桌面虚拟化的解决方案。
使用的虚拟软件:VMware15
VMware15软件的安装包与安装教程:https://mp.weixin.qq.com/s/AqPE61EmGJ89lO6sJshOzA


  • VMware15.5 pro
  • Centos7镜像文件(mini)
  • Centos7下载链接:https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/

2.1 新建虚拟机,选择典型


3.选择语言(默认为English


1.查看网络是否连通

 
 

2.安装net-tools

 

3.查看Mac地址(enter后面

4.查看ip地址的起始和结束地址

5.修改网络配置文件

 

mac地址为2步骤的enter值
ip地址参照4步骤自行选择(必须在起始和结束的范围内
子网掩码默认设置为255.255.255.0
网关的值为将ip地址中最后一段的值改为2
DNS使用谷歌提供的免费dns1:8.8.8.8

6.重启网络服务,查看是否配置成功

 

7.重启虚拟机后,查看是否连通网络(ip地址并未改变,且能连通网络

 
 

1.克隆虚拟机(右键相应虚拟机->管理->克隆

2.创建完整克隆

3.克隆虚拟机名称和位置(等待克隆完成

4.开启Hadoop02,修改主机名

 
 

5.查看mac地址

 
 

6.网络配置文件修改(标红需要修改,IP自己设置,mac用步骤5查到地址,网关为ip地址最后改为2

 
 

7.重新启动网络配置(查看网络是否可用

 

8.按照以上步骤,再克隆另外一台虚拟机Hadoop03


1.修改hosts配置文件(所有虚拟机都需要配置此文件

 
 

2.生成密钥文件(四次回车

 
 

2.将本机公钥文件复制到其它虚拟机上(接收方需先开机
 在hadoop01上执行,先输入yes,后输入对应主机的密码,多台虚拟机配置操作相同

 
 

3.在虚拟机hadoop02,hadoop03都需要执行,保证三台主机都能够免密登录

 

3.查看是否成功免密登录


1.在所有虚拟机根目录下新建文件夹export,export文件夹中新建data、servers和software文件

 

2.准备安装包
hadoop-2.7.4.tar.gz
jdk-8u161-linux-x64.tar.gz

4.在Xshell先进入software文件内,然后下载rz命令,并使用rz命令进行文件上传,此时会弹出上传的窗口,选择要上传的文件,点击确定即可将本地文件上传到Linux上。

 
 
 

5.安装JDK(所有虚拟机都要操作
5.1 解压jdk

 

5.2 重命名jdk目录

 

5.3 配置环境变量

 
 
 

5.4 使配置文件生效

 

5.5 查看是否配置成功

 
 

6.Hadoop安装(所有虚拟机都要操作
6.1 解压hadoop

 

6.2 打开配置文件

 

6.3 配置hadoop环境变量

 
 

6.4 使配置文件生效

 

6.5 查看是否配置成功

 
 

7.Hadoop集群配置
7.1 进入主节点配置目录

 

7.2 修改hadoop-env.sh文件

 

7.3 修改core-site.xml文件

 
 
 

7.4 修改hdfs-site.xml文件

 
 

7.5 修改mapred-site.xml文件

 
 
 

7.6 修改yarn-site.xml文件

 
 

7.7 修改slaves文件

 
 

7.8将主节点中配置好的文件和hadoop目录copy给子节点

 

7.9 使子节点中的配置文件生效

 

7.10 在主节点格式化文件系统(successfully formatted 格式化成功

 
 

1.启动集群
1.1在主节点启动所有HDFS服务进程

 

1.2 在主节点启动所有HDFS服务进程

 
 

2.关闭防火墙(所有虚拟机都要操作

 
 

3.打开window下的C:WindowsSystem32driversetc打开hosts文件,在文件末添加三行代码
192.168.121.134 hadoop01
192.68.121.135 hadoop02
192.168.121.136 hadoop03

5.在Windows系统下,访问http://hadoop01:8088,查看Yarn集群状态

最新文章
竞价推广这么玩,花1元店铺可获10元的收益!
新店开业还在为没有流量而苦恼?眼睁睁听着隔壁老王家时不时响起“您有新的饿了么订单……”,心里别提有多心酸了!饿了么竞价排名,分分钟让你霸占25名以内的排名,订单蹭蹭涨不停!竞价推广是什么?商家通过竞价(付费)的方式增加自己店
如何解决房屋内墙面渗水问题?这些方法有哪些实际效果?
房屋内墙面渗水是一个令人头疼的问题,不仅影响美观,还可能导致墙面发霉、脱落,甚至影响居住者的健康。下面为您介绍一些解决房屋内墙面渗水问题的方法及其实际效果。1. 外墙防水涂料:在外墙表面涂刷防水涂料,形成一层防水膜,阻挡雨水
梦幻西游全服第一童子 18技能资质不差感受人生巅峰
  逆袭无级别的玩家有上千个,但是绝大多数的无级别装备价格都在10万以下,价格能到50万以上的少之又少!童子不一样,他是目前梦幻西游里175级玩家用来打服战的最佳选择。内丹数量6个、天生成长资质高、有必带技能,合成多技能的童子可比
(2024版)天翼云从业者认证考试题库(多选题汇总).docxVIP
(2024版)天翼云从业者认证考试题库大全-下(多选题汇总)第一部分多选题1.边缘节点是相对于网络复杂结构而提出的一个概念,指距离最终用户接入具有较少的中间环节的网络节点,对最终接入用户有较好的什么?A、运维能力B、响应能力C、安全能力D
贵阳夜生活指南:2024年热门商务KTV与夜总会排名及包厢价格概览
发布时间:2024-12-14 14:45:01贵阳,这座光与影交织的城市,以其独特的魅力吸引着八方来客。夜幕降临,华灯初上,贵阳的夜生活也随之拉开帷幕。你可以体验到别具一格的休闲娱乐方式,无论是逛街购物,还是享受夜总会的繁华,都能让人沉醉
上海徐汇线上青少年编程培训名单大全一览
课程单价:250元课时数:80节全部校区:童程童美少儿编程(南城中心)课程内容:课程采用SPIKE硬件以编程逻辑为主要学习目标,引导学生进行自主设计、搭建、编程,培养学生独立解决问题的能力。课程中还引入知名科创挑战活动的经典项目,锻
行为人的笔迹是怎么鉴定的?
一、行为人的笔迹是怎么鉴定的?由司法鉴定机构进行,笔迹鉴定的整个过程可以分为分别检验、比较检验、综合判断三个阶段。1、分别检验分别检验是发现与确定检材笔迹与样本笔迹各自的特征:真实程度、检材特征、样本特征。2、比较检验比较检
sem推广是什么?SEM推广的基本原理和优势
  SEM(Search Engine Marketing)是指通过搜索引擎进行网络营销的一种方式。在当今数字化时代,搜索引擎已经成为人们获取信息、寻找产品和服务的主要途径之一。而SEM推广作为一种有效的网络营销手段,已经成为各行各业企业提升品牌知名度
逆水寒手游江湖门派技能效果
逆水寒手游中有五大江湖门派,加入之后可以学会独特的门派技能。不少玩家对于这些门派的技能非常感兴趣,本次就给大家详细介绍一下。1、相思门相思剑法一式:突刺,对路径敌人造成伤害二式:化为剑影,跟随指定目标,持续造成伤害。三式:斩击。
还有6天,一年一度的云电脑产业嘉年华即将开启
12月18日14:00北京香格里拉饭店2024通信产业大会AI赋能云电脑创新发展论坛一年一度的云电脑产业嘉年华盘点2024云电脑产业发展特征展望2025AI云终端技术趋势发布2024云电脑产业创新调研(第二届)行业领袖纵论AI赋能产业机会和挑战最新云电
相关文章
推荐文章
发表评论
0评