既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
需要这份系统化资料的朋友，可以戳这里获取
3.2 查看hive中的表
3.3 创建表
3.4 显示表结构
3.5 显示表内容
3.6 从文件中导入数据
本地机创建文件
在文件里添加数据
3.7 增加字段
3.8 修改字段名称
3.9 修改字段类型、位置
3.10 删除字段
3.11 复制表
3.12 复制表结构
3.13 重命名表
3.14 清空表中数据
3.15 删除表
3.16 将hive 表中数据下载到本地
4. 表的存储
5. 外部表和内部表
表：管理表（内部表，临时表） 删除的时候，元数据、实际表文件全部删除。
外部表：删除的时候，只删除元数据、实际表文件不删除。
创建外部表：
6. 分区表
分区表：将一张表的数据按照分区规则分成多个目录存储。这样可以通过指定分区来提高查询速度。
7. 桶表
对于每一个表（table）或者分区，Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分
向桶表输入数据
8. 复杂数据类型
9. 其他语句
9.1 创建数据库
9.2 删除数据库
删除命令的最后面加上关键字，这样可以使Hive自行先删除数据库中的表
10. 视图
略
11. 常用HQL命令
1.* 代表查询所有字段
- 查询指定字段
- limit 限制查询条数
- where 代表限定条件
- where 后面加多个条件
查询条件是字符、字符串的加上 ‘’ “” 均可
- distinct :去重
- group by 分组
做一些运算,通常与聚合函数配合使用,聚合函数还有max(),min(),count()
- like主要用于模糊匹配
查找name中含有a 这个字符的数据
in关键字的用法
- join 按照条件把数据连接起来
左右表有不一致数据，左表全部显示
左右表有不一致数据，右表全部显示
- union all 把数据合起来,条件是字段名与类型必须相同
- having
where 关键字无法与聚合函数一起使用， having只用于group by分组统计语句。
11. 关闭hive
第6章 ZooKeeper分布式协调系统
1. 简介
ZooKeeper是一个分布式应用程序协调服务，主要用于解决分布式集群中应用系统的一致性问题。
ZooKeeper = 文件系统+通知机制。（类似于资源管理系统）
Zookeeper 和 Kafka 启动的时候都是需要在所有的计算机（指主从）都启动
不需要启动Hadoop集群
分别登录master和slave01、slave02节点
进入zookeeper安装目录，启动服务
启动命令：
ZooKeeper可以处理两种类型的队列：
- 同步队列，即当一个队列的所有成员都聚齐时，这个队列才可用，否则会一直等待所有成员聚齐
- 先入先出队列，即按照先入先出方式进行入队和出队操作。
2. 持久节点和临时节点
ZooKeeper中节点主要有四种类型：
- 持久节点（PERSISTENT）：
是指节点在被创建后就一直存在，直到有删除操作来主动清除这个节点。这类节点不会因为创建该节点的客户端会话失效而消失。 - 持久顺序节点（PERSISTENT_SEQUENTIAL）：
在ZooKeeper中，每个父节点会为自己的第一级子节点维护一份时序文件，记录每个子节点创建的先后顺序。基于这个特性，可以创建持久顺序节点，即在创建子节点的时候，用户可以指定其顺序属性，ZooKeeper就会自动为给定节点名加上一个数字后缀，作为新的节点名 - 临时节点（EPHEMERAL）：
和持久节点不同，临时节点的生命周期和客户端会话绑定。也就是说，如果客户端会话失效，那么这个节点就会自动被清除掉（注意是会话失效，而非连接断开）。另外，在临时节点下面不能创建子节点。 - 临时顺序节点（EPHEMERAL_SEQUENTIAL）：
临时顺序节点与临时节点的不同在于：临时顺序节点在创建时会自动加上编号，其创建方法与编号格式与持久顺序节点相同。
3. get 获取节点数据和更新信息
cZxid ：创建节点的事务id
ctime ： 节点的创建时间
mZxid ：修改节点的事务id
mtime ：修改节点的时间
pZxid ：子节点的id
cversion : 子节点的版本
dataVersion ： 当前节点数据的版本
aclVersion ：权限的版本
ephemeralOwner ：判断是否是临时节点
dataLength ： 数据的长度
numChildren ：子节点的数量
4. 访问权限
ACL：Access Control List 访问控制列表
ZK的节点有5种操作权限：CREATE、READ、WRITE、DELETE、ADMIN 也就是 增、删、改、查、管理权限，这5种权限简写为crwda
这5种权限中，除了 DELETE ，其它4种权限指对自身节点的操作权限
5. 四级命令
5.1.stat 查看状态信息
5.2 ruok 查看zookeeper是否启动
5.3 dump 列出没有处理的节点，临时节点
5.4 conf 查看服务器配置
3.5 cons 显示连接到服务端的信息
3.6 envi 显示环境变量信息
3.7 mntr 查看zk的健康信息
3.8 wchs 展示watch的信息
3.9 wchc和wchp 显示session的watch信息 path的watch信息
6. 关闭zookeepr
关闭ZooKeeper （master，slave）
第7章 Kafka
1. Kafka概念
Kafka是一种高吞吐量的分布式发布订阅消息系统
：消息生产者，负责将消息发布到Kafka上。
即消息。Kafka的数据单元被称为消息。
消息元数据，键。
分区。Partition是物理上的概念，为了使得Kafka的吞吐率可以水平扩展.
主题。每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。
Partition物理上由多个Segment组成，每个Segment存着消息（message）信息。
2. kafka 特点
- 可进行持久化操作。将消息持久化到磁盘，因此可用于批量消费。
- 分布式系统，易于向外扩展。
- 支持online和offline的场景。
- 支持压缩(snappy、gzip)
3. 常用命令
分别登录master和slave节点启动Zookeeper
分别登录master和slave节点启动Kafka
在master创建一个名为 test的主题topic
在slave01终端上启动一个消费者
查看topic列表
查看topic说明信息
4. 关闭
第8章 HBase
1. 简介
HBase是一个高可靠、高性能、面向列、可伸缩的、实时读写的分布式数据库，是Hadoop的一个重要组件。
2. 和传统关系数据库的区别
HBase与传统的关系数据库的区别主要体现在以下几个方面：
（1）数据类型：HBase字符串
（2）数据操作：HBase操作则不存在复杂的表与表之间的关系，只有简单的插入、查询、删除、清空等
（3）存储模式：关系数据库是基于行模式存储的。HBase是基于列存储的
（4）数据索引：HBase只有一个索引——行键
（5）数据维护：HBase中执行更新操作时，并不会删除数据旧的版本，而是生成一个新的版本，旧有的版本仍然保留
（6）可伸缩性：
3. 常用命令
3.1 启动
单机模式
伪分布式模式
完全分布式模式
3.2 启动2
3.3 进入Hbase shell
3.4 集群状态命令 status
1 servers, 0 dead, 2.5000 average load
该集群共有1台RegionServer，平均每台山有2.5个region
3.5 创建表:
3.6 查看表结构
3.7 查看所有记录
3.8 查看表中的记录总数
3.9 添加记录
3.10 查询表中有多少条记录，使用count命令。
3.11 获取一条数据，使用get命令
需要给出Row key。
3.12 获取某行数据一个列族的所有数据，使用get命令。
3.13 获取某行数据一个列族中一个列的所有数据，使用get命令
3.14 更新一条记录，使用put命令
将liuneng的体重改为135。
3.15 删除行键值为19052006的列height，使用delete命令。
可以看到，列height已经被删除。
3.16 增加列族
3.16 删除列族
3.17 删除整行
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
需要这份系统化资料的朋友，可以戳这里获取
cabdb534.png)
3.15 删除行键值为19052006的列height，使用delete命令。
可以看到，列height已经被删除。
3.16 增加列族
3.16 删除列族
3.17 删除整行
[外链图片转存中…(img-3jRFmPsN-1715620639523)]
[外链图片转存中…(img-x04dJTGu-1715620639524)]
[外链图片转存中…(img-WItkofGT-1715620639524)]
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新