Kafka常见指令及监控程序介绍

   日期:2024-12-26    作者:b1255259 移动:http://mip.riyuangf.com/mobile/quote/48205.html
kafka启动
 
kafka停止
 
查看Kafka运行状态
 
kafka主题创建
 
 

:在主题名称中使用句点(‘.’)或下划线(‘_’)可能会导致与指标相关的问题。

查看kafka主题列表
 
查看kafka指定主题详情
 
 
删除kafka指定主题
 
修改主题分区数量
 
 
修主题分区数量
 
 
生产者发送消息
 

会打开交互窗口,可以在交互窗口输入信息,以模拟信息推送

消费者消费信息(相当于查看主题KafkaText的元数据)
 

会打开交互窗口,可以在交互窗口输入信息,以模拟信息接收
–from-beginning,它将会接收主题中所有分区的所有消息,包括在你启动消费者之前已发布到主题的消息
在消费组未命名消费组的情况下,每一次都会生成

 
查看消费组列表
 
查看消费者组消费情况
 

这里–group 需要指定自己的消费组名称

查看特定主题元数据
 
参看配置参数信息
 

–entity-name 指定kafka集群中节点的broker_id
|grep 后跟着参数名称的关键字

kafka 日志目录含义

bootstrap.checkpoint:该文件与 Kafka 启动过程相关,可能包含有关启动过程状态或进度的信息。该文件为十六进制,使用xxd 进行查看

cleaner-offset-checkpoint:该文件存储由日志清理器使用的偏移量,表示它已清理的日志段的位置。日志清理器负责从日志段中删除过时的消息。默认情况下每隔10分钟会触发一次checkpoint

__cluster_metadata-0:此目录与集群元数据相关,主要是元数据得flush相关信息

__consumer_offsets-0, __consumer_offsets-12, …:

这些目录用于存储消费者组的偏移量。每个目录代表一个用于存储消费者组偏移量的分区。
KafkaText-0, KafkaText-2, …:

这些目录与 Kafka 主题相关。每个目录代表指定主题(例如,KafkaText)的一个分区,其中包含实际数据/消息的日志段。

log-start-offset-checkpoint:

该文件包含分区中第一条消息的偏移量。它表示从分区中读取消息的起始点。

meta.properties:

该文件包含 Kafka 本broker的属性。

recovery-point-offset-checkpoint:

从第三行开始的内容
每一行表示一个分区的信息,包括分区名、复制状态的起始点和恢复点偏移量。

例如,__consumer_offsets 30 0 表示 __consumer_offsets 分区 30 的复制状态,起始点偏移量为 0,恢复点偏移量也为 0。

replication-offset-checkpoint:

从第三行开始的内容:每一行表示一个分区的复制状态,包括分区名和高水位偏移量。

例如,__consumer_offsets 43 0 表示 __consumer_offsets 分区 43 的复制状态,高水位偏移量为 0。

KafkaText 0 9 表示 KafkaText 分区 0 的复制状态,高水位偏移量为 9。

写了这么多,全是指令代码。大家肯定觉得很麻烦,如果有一款可可视化工具就好了。以下推荐给大家两款软件。

kafka可视化工具
kafka tool

http://www.kafkatool.com/download.html

kafka-ui-lite

称为史上最轻便好用的kafka ui界面客户端工具,可以在生产消息、消费消息、管理topic、管理group;可以支持管理多个kafka集群
部署简便,可以一键启动,不需要配置数据库、不需要搭建web容器
支持zookeeper ui界面化操作;支持多环境管理
支持redis ui界面化操作;支持多环境管理
支持权限控制,可以自定义不同环境的新增、修改、删除权限;默认分配只读权限,避免用户的误操作

kafka ui

https://github.com/provectus/kafka-ui/releases
是github上的高星开源工具,使用jar打包,可应用在docker环境和非docker环境。
安装kafka-ui ,需要以下依赖

 

java 17是必备项目
将kafka-ui部署在非kafka集群节点
without docker环境下安装演示

安装JDK17

 

解压

 

替换到当前jdk8文件

 

安装kafka-ui

 

创建启动配置文件

 

根据个人情况,修改相应的节点信息

 

配置ip映射

 

启动kafka-ui

 
 

出现以上页面说明kafka-ui启动成功

使用配置文件中的name/password 进行登录


 

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
相关最新动态
推荐最新动态
点击排行
{
网站首页  |  关于我们  |  联系方式  |  使用协议  |  隐私政策  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号