Make Flink|Spark easier!!!
各位关注和使用 StreamX 的小伙伴们:
好消息!经过贡献者们的不懈努力,现在我们终于可以很高兴地宣布: StreamX 1.2.0 正式发布,欢迎大家下载使用。
StreamX 是Flink & Spark极速开发脚手架,流批一体一站式大数据平台。 自2021年3月开源以来,贡献者已累计发展到10多位。距离上次发布版本已过去4个多月, 在这4个多月的时间里,贡献者们付出了艰辛的努力,在这个版本中进行了多项关键更新和优化,实现了与 Hadoop 解耦,带来了用户呼声很高的 Flink on Kubernetes, 使得 Flink 可以更加自由的选择部署模式。
目前,StreamX 完整的支持了 on YARN 和 on Kubernetes,对Flink多版本也做了很好的支持,这标志着项目中核心的基础建设工作已经完成。
StreamX 在产品呈现上始终坚持简单易用,给用户一个极致的使用体验。在功能实现上,开发者们不惧踩坑,不惧艰难,突破层层难关。再漫长的黑夜也会有迎来朝阳的那一刻,太阳照常升起。
新功能
-
与 Hadoop 解耦, 平台在启动时不在强制依赖 Hadoop 环境
-
较完整的支持了 Kubernetes 部署模式(Native Application/Native Session)
-
Kubernetes 部署模式下, 任务的状态追踪监控
-
支持自动 build/push 镜像
-
Flink 最新1.14.0 支持, 目前已经支持 Flink 1.12.x / 1.13.x / 1.14.0
-
新增打包机模块,任务打包 fat-jar 更方便
优化改进
-
改进 on YARN 部署模式下 Kerberos 认证续期 (#223)
-
修复相关构建时实时日志不显示的 bug (#342)
-
Flink 多版本支持优化,支持在任务里指定 Flink 的版本 (#349)
-
FlinkSql 方言设置相关bug修复 (#365)
-
改进项目编译时的状态显示 (#376)
-
重构启动脚本,新增 restart/status 等操作 (#380)
-
优化 FlinkSql 校验,修复语法解析相关 bug (#400)
-
on YARN 模式下可配置指定hadoop user name (#427)
....
致谢名单
感谢所有参与 StreamX 1.2.0 版本设计、开发、测试、讨论的社区贡献者们(GitHub ID):
wolfboys
Al-assad
Zclhlmgqzc
xiejiajun
WilsonWangCS
SoberChina
1353297670
glacierck
Hermesfuxi
yiwei00000
caoenergy
CecilHarvey
zhangjun0x01
加入我们
StreamX 遵循 Apache-2.0 开源协议,将会是个长期更新的活跃项目,自开源以来就受到很多同行的关注和认可,其中不乏业内大佬。目前在没有任何形式推广的情况下,靠口碑在短短半年时间内已经累计 500+ star,已陆续有来自金融,数据分析,车联网,智能广告,地产等公司的朋友在使用或二开,也不乏来自一线大厂的朋友在研究使用。流批一体,湖仓一体,数据湖是大数据领域的趋势,StreamX 虽离这个目标还有一段距离,但我们始终坚信: 道阻且长,行则将至,行而不辍,未来可期。我们将坚持开放协作,持续更新,同时努力构建社区。为了更好更快的发展,真诚欢迎热爱开源的伙伴加入到贡献中来,为中国开源崛起献上一份自己的力量。
附:
Streamx 官网: http://streamxhub.com
Streamx Gitee: https://gitee.com/streamxhub/streamx
Streamx Github: https://github.com/streamxhub/streamx
on K8s 部署: http://www.streamxhub.com/zh/doc/flink-k8s/1-deployment
(责任编辑:IT) |