当前位置: > Linux新闻 >

StreamX v1.2.0 发布,Flink 开发脚手架、流批一体平台

时间:2021-11-18 13:50来源:linux.it.net.cn 作者:IT

Make Flink|Spark easier!!!

   

 

各位关注和使用 StreamX 的小伙伴们:


好消息!经过贡献者们的不懈努力,现在我们终于可以很高兴地宣布:  StreamX 1.2.0 正式发布,欢迎大家下载使用。


StreamX 是Flink & Spark极速开发脚手架,流批一体一站式大数据平台。 自2021年3月开源以来,贡献者已累计发展到10多位。距离上次发布版本已过去4个多月, 在这4个多月的时间里,贡献者们付出了艰辛的努力,在这个版本中进行了多项关键更新和优化,实现了与 Hadoop 解耦,带来了用户呼声很高的 Flink on Kubernetes, 使得 Flink 可以更加自由的选择部署模式。


目前,StreamX 完整的支持了 on YARN 和 on Kubernetes,对Flink多版本也做了很好的支持,这标志着项目中核心的基础建设工作已经完成。

StreamX 在产品呈现上始终坚持简单易用,给用户一个极致的使用体验。在功能实现上,开发者们不惧踩坑,不惧艰难,突破层层难关。再漫长的黑夜也会有迎来朝阳的那一刻,太阳照常升起。

新功能

  1. 与 Hadoop 解耦, 平台在启动时不在强制依赖 Hadoop 环境
  2. 较完整的支持了 Kubernetes 部署模式(Native Application/Native Session)

  3. Kubernetes 部署模式下, 任务的状态追踪监控

  4. 支持自动 build/push 镜像

  5. Flink 最新1.14.0 支持, 目前已经支持 Flink 1.12.x / 1.13.x / 1.14.0
  6. 新增打包机模块,任务打包 fat-jar 更方便

优化改进

  1. 改进 on YARN 部署模式下 Kerberos 认证续期 (#223)
  2. 修复相关构建时实时日志不显示的 bug (#342)
  3. Flink 多版本支持优化,支持在任务里指定 Flink 的版本 (#349)
  4. FlinkSql 方言设置相关bug修复 (#365)
  5. 改进项目编译时的状态显示 (#376)
  6. 重构启动脚本,新增 restart/status 等操作 (#380)
  7. 优化 FlinkSql 校验,修复语法解析相关 bug (#400)
  8. on YARN 模式下可配置指定hadoop user name (#427)

....

致谢名单
 

感谢所有参与 StreamX 1.2.0 版本设计、开发、测试、讨论的社区贡献者们(GitHub ID):

wolfboys

Al-assad

Zclhlmgqzc

xiejiajun

WilsonWangCS

SoberChina

1353297670

glacierck

Hermesfuxi

yiwei00000

caoenergy

CecilHarvey

zhangjun0x01

加入我们

StreamX 遵循 Apache-2.0 开源协议,将会是个长期更新的活跃项目,自开源以来就受到很多同行的关注和认可,其中不乏业内大佬。目前在没有任何形式推广的情况下,靠口碑在短短半年时间内已经累计 500+ star,已陆续有来自金融,数据分析,车联网,智能广告,地产等公司的朋友在使用或二开,也不乏来自一线大厂的朋友在研究使用。流批一体,湖仓一体,数据湖是大数据领域的趋势,StreamX 虽离这个目标还有一段距离,但我们始终坚信: 道阻且长,行则将至,行而不辍,未来可期。我们将坚持开放协作,持续更新,同时努力构建社区。为了更好更快的发展,真诚欢迎热爱开源的伙伴加入到贡献中来,为中国开源崛起献上一份自己的力量。

附:

Streamx 官网:  http://streamxhub.com

Streamx Gitee:  https://gitee.com/streamxhub/streamx

Streamx Github:  https://github.com/streamxhub/streamx

on K8s 部署: http://www.streamxhub.com/zh/doc/flink-k8s/1-deployment



(责任编辑:IT)
------分隔线----------------------------
栏目列表
推荐内容