zhp8341/flink-streaming-platform-web
Fork: 669 Star: 1701 (更新于 1970-01-01 00:00:00)
license: MIT
Language: Java .
基于flink的实时流计算web平台
最后发布版本: tagV20230610(flink1.16.2) ( 2023-06-10 10:45:01)
国内文章备用地址(因为github上面 图片效果可能看不到,原因你懂的 哈哈)
https://xie.infoq.cn/article/1af0cb75be056fea788e6c86b
github地址 https://github.com/zhp8341/flink-streaming-platform-web
国内gitee 地址 https://gitee.com/zhuhuipei/flink-streaming-platform-web
如需技术付费服务点击查看
一、简介
flink-streaming-platform-web系统是基于Apache Flink 封装的一个可视化的、轻量级的flink web客户端系统,用户只需在web 界面进行sql配置就能完成流计算任务。
主要功能:包含任务配置、启/停任务、告警、日志等功能,支持sql语法提示,格式化、sql语句校验。
目的:减少开发、降低成本 完全实现sql化 流计算任务。 😂
该项目获得 Flink Forward Asia Hackathon (2021) 季军
如需技术支持详见
1、主要功能
- [1] 任务支持单流 、双流、 单流与维表等。
- [2] 支持本地模式、yarn-per模式、STANDALONE模式 Application模式
- [3] 支持catalog、hive。
- [4] 支持自定义udf、连接器等,完全兼容官方连接器。
- [5] 支持sql的在线开发,语法提示,格式化。
- [6] 支持钉钉告警、自定义回调告警、自动拉起任务。
- [7] 支持自定义Jar提交任务。
- [8] 支持多版本flink版本(需要用户编译对应flink版本)。
- [9] 支持自动、手动savepoint备份,并且从savepoint恢复任务。
- [10] 支持批任务如:hive。
- [11] 连接器、udf等三jar管理
目前flink版本已经升级到1.14.3
如果您觉得还不错请在右上角点一下star 谢谢 🙏 大家的支持是开源最大动力
2、效果及源码文档
2、 源码讲解文档
如需技术支持详见
二、环境搭建及安装
1、 Flink 和 flink-streaming-platform-web 安装部署
2、 在IDEA中执行运行调试
4、flink-streaming-platform-web 体验(基于docker)适合体验者
5、关于k8s理论上是可行的,需要结合flink版本(或者hadoop版本)定制镜像
如需技术支持详见
三、功能介绍
3.1 配置操作
3.2 sql配置demo
3、demo3 kafka和mysql维表实时关联写入mysql 参考
3.2 hello-word demo
请使用下面的sql进行环境测试 用于新用户跑一个hello word 对平台有个感知的认识
CREATE TABLE source_table (
f0 INT,
f1 INT,
f2 STRING
) WITH (
'connector' = 'datagen',
'rows-per-second'='5'
);
CREATE TABLE print_table (
f0 INT,
f1 INT,
f2 STRING
) WITH (
'connector' = 'print'
);
insert into print_table select f0,f1,f2 from source_table;
官方相关连接器下载
请移步 https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/connectors/table/overview/
四、支持flink sql官方语法
支持的sql语法 |
---|
INSERT INTO |
INSERT OVERWRITE |
CREATE TABLE |
CREATE FUNCTION |
CREATE VIEW |
USE CATALOG |
DROP |
ALTER |
SHOW CATALOGS |
SHOW DATABASES |
SHOW TABLES |
SHOW FUNCTIONS |
CREATE CATALOG |
SET |
SELECT (不支持) |
五、其他
1、由于hadoop集群环境不一样可能导致部署出现困难,整个搭建比较耗时.
2、由于es 、hbase等版本不一样可能需要下载源码重新选择对应版本 源码地址 https://github.com/zhp8341/flink-streaming-platform-web
交流和解答
钉钉 http://img.ccblog.cn/flink/dd2.png
微信二维码 http://img.ccblog.cn/flink/wx2.png
完全按照1.14.3的连接器相关的配置详见
https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/connectors/table/kafka/
如果需要使用到连接器请去官方下载 如:kafka 连接器 https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/connectors/table/kafka/
第一种下载连接器后直接放到 flink/lib/目录下就可以使用了
1、该方案存在jar冲突可能,特别是连接器多了以后
2、在非yarn模式下每次新增jar需要重启flink集群服务器
第二种放到http的服务下填写到三方地址
公司内部建议放到内网的某个http服务
http://ccblog.cn/jars/flink-connector-jdbc_2.11-1.12.0.jar
http://ccblog.cn/jars/flink-sql-connector-kafka_2.11-1.12.0.jar
http://ccblog.cn/jars/flink-streaming-udf.jar
http://ccblog.cn/jars/mysql-connector-java-5.1.25.jar
如果使用jar管理功能 可直接填写jar包名字
flink-connector-jdbc_2.11-1.12.0.jar
flink-streaming-udf.jar
mysql-connector-java-5.1.25.jar
多个url使用换行
自定义连接器打包的时候需要打成shade 并且解决jar的冲突
个人建议使用第二种方式,每个任务之间jar独立,如果把所有连接器放到lib 可能会和其他任务的jar冲突 公用的可以放到flink/lib目录里面 如:mysql驱动 kafka连接器等
六、问题
1、 可能遇到的问题和解决方案
七、RoadMap
1、批量任务将加入调度系统
八、源码编译
九、联系方式
请加钉钉群: 34315096
钉钉 钉钉二维码
http://img.ccblog.cn/flink/dd2.png
十、使用情况
2021-03-18 和 2021-03-19 两天 做的调研
十一、 鸣谢
感谢文香炯(湖南草花互动科技股份公司)贡献前端代码 :https://gitee.com/wenxiangjiong/flink-streaming-platform-web.git
十二、 技术支持
如需技术付费服务点击查看
十三、 捐赠
最近版本更新:(数据更新于 1970-01-01 00:00:00)
2023-06-10 10:45:01 tagV20230610(flink1.16.2)
2022-11-13 12:21:06 tagV20221113(flink1.14.3)
2022-10-16 19:06:11 tagV20221016(flink1.14.3)
2022-06-25 12:29:28 tagV20220625(flink1.14.3)
2022-01-20 20:06:54 tagV20220120
2021-12-11 13:30:14 tagV20211211(flink1.13.2)
2021-10-28 20:02:12 tagV20211028(flink1.13.2)
2021-07-31 21:14:46 tagV20210731(flink1.12)
2021-05-07 19:34:27 tagV20210507(flink1.12))
2021-03-28 16:44:12 tagV20210328(flink1.12)
主题(topics):
flink, flink-sql, sql, streaming
zhp8341/flink-streaming-platform-web同语言 Java最近更新仓库
2024-11-21 20:32:01 spring-projects/spring-boot
2024-11-21 09:44:43 Card-Forge/forge
2024-11-19 23:42:52 spring-projects/spring-authorization-server
2024-11-18 21:40:12 4379711/lol-helper
2024-11-16 22:50:41 xuxueli/xxl-job
2024-11-16 19:06:35 Stirling-Tools/Stirling-PDF