5月20日,由深度学习技术及应用国家工程实验室与百度联合主办的WAVE SUMMIT 2021深度学习开发者峰会在北京召开。本届峰会上,百度首次揭晓人工智能融合创新趋势下的AI工业大生产实现路径,飞桨带来九大全新发布和全平台升级。投入15亿资金、聚焦生态发展的飞桨“大航海”计划全面开启。

峰会上,百度AI产品研发部总监忻舟介绍了飞桨企业版“一核两翼”AI开发双平台的全新升级,并宣布正式开放飞桨企业版的“核”——PaddleFlow,一个专为AI平台开发者打造的易被集成的云原生机器学习核心系统。

百度AI产品研发部总监忻舟介绍飞桨企业版

“两翼”升级,飞桨企业版极致提升AI开发效率

2020年底,飞桨企业版首次提出了AI开发“双平台”模式。所谓“双平台”实际上由三个核心部分组成:左翼是为AI应用开发者的EasyDL零门槛AI开发平台;右翼是为AI算法开发者的BML全功能AI开发平台;中间的核心是全新发布的为AI平台开发者提供基础设施的PaddleFlow。本次峰会上,飞桨企业版的“两翼”迎来了全新的升级。

飞桨企业版AI双平台模式

“两翼”中的EasyDL零门槛AI开发平台面向AI应用开发者,预置17种任务场景,通过端到端全流程的自动化建模与优化机制,极致提升AI应用开发效率。EasyDL还带来了自动场景适配优化、模型自动化评估与辅助诊断两项新特性,不断提升细分场景的模型效果和模型优化迭代效率。

“两翼”中的BML全功能AI开发平台面向AI算法开发者,提供灵活全面的建模方式。预置模型开发是BML最具特色的功能之一,它是一种基于预训练的低代码建模方式,集成了飞桨优秀的开发套件和工具组件,结合产业最佳实践,优选出67套预置场景形成模型生产线,可节约80%左右的开发时间。本次预置模型开发新增支持了机器学习任务,并进一步丰富了工具组件,以满足更广泛的AI开发场景需求。

PaddleFlow发布,首个专为AI平台开发者打造的易被集成的云原生机器学习核心系统

随着人工智能技术在产业应用的深入,产生了广泛的AI开发场景,并对平台提出了更加多样化的需求,需要深入场景和行业结合的垂直行业应用AI平台;需要与业务紧密结合、自主可控的AI开发平台;对大量应用容器的开发者,则希望容器具备AI能力,能够训练和部署AI模型。

基于此,飞桨企业版中的核心——PaddleFlow全新开放。PaddleFlow是首个专为AI平台开发者打造的易被集成的云原生机器学习核心系统,具备云原生、高性能、轻量易用的产业特色,为AI平台开发者提供资源管理调度等核心能力,赋能更多细分场景和深度定制的AI平台。

全新开放云原生机器学习核心PaddleFlow

PaddleFlow架构主要包括三层,为开发者提供了资源调度、作业执行与服务部署等AI开发平台核心能力,以及友好的开发接口。在资源调度层,PaddleFlow提供了AI平台运行所需的存储和计算资源的统一接入和调度,支持高性能的AI异构计算资源管理,并提供灵活丰富的资源调度策略,包括拓扑感知、超发抢占、GPU虚拟化等;支持常见的各种存储系统的统一对接,还提供了高性能存储中间件来加速AI计算时数据访问的效率。在作业执行和服务部署层,提供了AI平台核心关键能力,从作业调度、工作流调度,到模型的管理以及预测服务的管理,并支持包括飞桨在内的深度学习框架以及算法库,以及常见的Spark、MPI等计算类型和主流的机器学习和深度学习框架。在用户接入层,提供了易被集成的REST API、命令行客户端等多种形式,还提供了多租户和基本的认证授权机制,另外对平台管理员支持简单的管理操作,包括任务查看、资源管控等。

PaddleFlow架构

PaddleFlow源自于产业实践,具备非常鲜明的产业特色。PaddleFlow性能优异,支持数万算力卡调度、数千并发作业数的大规模并行训练。同时,PaddleFlow也非常轻量和易于应用,可以实现一键部署安装。针对市场上大多数实际应用条件是单机的情况,PaddleFlow还对单机部署做了特别多的优化。

PaddleFlow已在众多场景成功应用,在遥感领域,中科北纬基于云原生集群和PaddleFlow方案,构建了紧密结合业务场景的遥感智能视觉平台,使得业务模型具备可重训能力,满足环境监测、农业监测、资源普查等需求,有效辅助客户做出决策。同时,深度应用AI技术的企业也可以在PaddleFlow基础上,定制开发自有的深度学习平台。PaddleFlow也将与百度智能云容器服务结合,为开发者提供AI原生的容器服务。

目前,PaddleFlow已经开放合作,邀请广大开发者和合作伙伴试用,并将逐步推进开放和开源,赋能更多AI平台开发者。

自飞桨企业版发布以来,已有越来越多的开发者和行业企业用户将其作为他们实现业务创新和智能化升级的首选AI开发平台。随着双平台的不断升级,以及PaddleFlow的发布,未来飞桨企业版将不断升级平台功能与服务质量,创新AI开发产品体验,不断降低技术应用门槛,加速AI大生产,推动产业智能化进程。