Dinky 0.7.3 版本的安装与简单使用

   日期:2024-12-26    作者:32pyp 移动:http://mip.riyuangf.com/mobile/quote/54774.html

Dinky 是一个开源的流式计算平台,基于 Apache Flink 构建,致力于提供流处理作业的开发、调试、发布、运维一站式服务。它支持 SQL 语法,方便数据开发人员快速上手。

在本文中,我们将详细介绍 Dinky 0.7.3 版本的安装步骤和简单使用。


1. 安装前准备

在安装 Dinky 之前,需确保以下环境已经配置好

1. JDK 1.8 及以上版本
2. Apache Flink(建议使用 1.13.x 以上版本
3. MySQL 数据库
4. Maven 3.6.0+(用于构建

确保环境变量配置正确

 

2. 下载 Dinky 0.7.3

前往 [Dinky 官方 GitHub 仓库](https://github.com/DataLinkDC/dinky) 下载 0.7.3 版本的安装包。

 

3. 解压安装包

 

4. 配置 MySQL 数据库

Dinky 需要 MySQL 作为元数据存储。请在 MySQL 中创建一个数据库

 

登录创建好的dinky用户,执行初始化sql文件

 

修改 `conf/application.yml` 文件中的数据库连接配置

 

4. 加载依赖

加载Flink依赖

 

加载Hadoop依赖

Dinky 当前版本的 yarn 的 perjob 与 application 执行模式依赖 flink-shade-hadoop ,需要额外添加 flink-shade-hadoop-uber-3 包。将flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar上传到/opt/module/dinky/plugins目录下。

5.上传jar包

使用 Application 模式时,需要将flink和dinky相关的包上传到HDFS。

 

6. 启动 Dinky

执行以下命令启动 Dinky

 

启动成功后,访问 [http://bigdata01:8888] 即可进入 Dinky 管理界面。


1. 登录 Dinky 控制台

默认登录用户名和密码

- 用户名:admin
- 密码:admin

2. 配置 Flink 集群

进入 Flink 管理 ➞ 集群配置 页面,点击 新增集群,配置如下

- 集群名称:flink-1.13
- 集群地址:http://bigdata01:8081
- Flink 版本:1.13

3. 创建 SQL 作业

作业开发 ➞ 新增作业 中,创建一个简单的 SQL 作业,如下
 

 

4. 提交作业

点击 保存 并 提交 作业,Dinky 将自动将 SQL 转换为 Flink 作业并在集群上运行。


1. 启动失败,提示端口占用

   检查 `8888` 端口是否被占用,可以修改 `application.yml` 中的 `server.port` 来更换端口。

2. 无法连接 Flink 集群

   确保 Flink 集群的 JobManager 正常运行并且地址配置正确。



特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
相关最新动态
推荐最新动态
点击排行
{
网站首页  |  关于我们  |  联系方式  |  使用协议  |  隐私政策  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号