腾讯高性能分布式机器学习平台 Angel 2.0.2 发布
时间:2019-02-02 12:54 来源:未知 作者:IT
Angel 2.0.2 版本已发布。该版本对 Spark On Angel FTRL 算法做了进一步的优化,添加了对 float 模型格式的支持,同时优化了模型划分分区数设置,一个合理的模型分区数对提升计算性能是非常有益的;在系统层,添加了 PR RPC 最大重试次数限制, 避免任务在某些不可恢复异常下一直卡住。这个版本也加入了一些数学库的优化。
-
[ISSUE-655] 优化 Spark On Angel FTRL 模型分区数配置,避免在高维度模型场景下模型分区数太多导致的 pull/push 性能低下的问题
-
[ISSUE-656] 在 Spark On Angel FTRL 中添加 float 模型数据格式
-
[ISSUE-658] 优化数学库:当用户配置了 sparse vector 的最大元素个数时,关闭掉预 rehash
-
[ISSUE-632] 给 PS RPC 添加最大重试次数限制
Angel 是一个基于参数服务器(Parameter Server)理念开发的高性能分布式机器学习平台,它基于腾讯内部的海量数据进行了反复的调优,并具有广泛的适用性和稳定性,模型维度越高,优势越明显。 Angel 由腾讯和北京大学联合开发,兼顾了工业界的高可用性和学术界的创新性。
下载地址:
(责任编辑:IT)
Angel 2.0.2 版本已发布。该版本对 Spark On Angel FTRL 算法做了进一步的优化,添加了对 float 模型格式的支持,同时优化了模型划分分区数设置,一个合理的模型分区数对提升计算性能是非常有益的;在系统层,添加了 PR RPC 最大重试次数限制, 避免任务在某些不可恢复异常下一直卡住。这个版本也加入了一些数学库的优化。
Angel 是一个基于参数服务器(Parameter Server)理念开发的高性能分布式机器学习平台,它基于腾讯内部的海量数据进行了反复的调优,并具有广泛的适用性和稳定性,模型维度越高,优势越明显。 Angel 由腾讯和北京大学联合开发,兼顾了工业界的高可用性和学术界的创新性。 下载地址: (责任编辑:IT) |