CVPR作为计算机视觉和模式识别领域的世界级学术顶会,不仅是业界展示领先科技成果的平台,也是探索学术前沿的平台。AutoDL作为近年来AI领域最热门的方向之一,被认为是下一代人工智能技术,在工业界和学术界都引起了广泛关注,而神经网络结构搜索技术(Neural Architecture Search,NAS)又是该领域最核心的方向。作为工业界在此领域的先行者,百度今年联合悉尼科技大学和美国北卡罗来大学举办了CVPR 2021 NAS workshop,并在CVPR 2021举办了首届NAS国际竞赛,探讨轻量化NAS的现状和未来。

基于飞桨,百度将模型小型化和NAS等众多创新功能集成在PaddleSlim这一开源模型压缩工具库中。PaddleSlim除了支持传统的网络剪枝、参数量化和知识蒸馏等方法外,还可以通过NAS+蒸馏+量化一站式模型压缩产出业界领先的小模型。这些创新方法囊括了很多百度自研的NAS算法,如发表在CVPR2020的GP-NAS以及IJCV期刊上的SA-NAS。借助这些方法,百度视觉团队近两年先后七次在CVPR与ECCV等国际比赛中夺得世界冠军,并全线应用在各条业务上。

三赛道并行,探索NAS技术革新之道

在NAS技术发展上,早期的神经网络结构搜索技术采用基于强化学习的方法,需要将每个子神经网络在训练数据上训练至收敛状态,然后评估其效果。该方案效果虽超过人工设计的结果,但需要依赖大量的计算资源,很难普及应用。近年,新的趋势通过基于可微分框架和超网络的轻量级搜索大幅降低了对计算资源的依赖,同时也在在灵活性和搜索效果上展现了较大的改善空间。基于这些判断,从实际研究的关键问题出发,本次大赛设置了三个赛道:

赛道一:超网络一致性

由于算法的高效性,OneshotNAS逐渐成为研究热点。通过参数共享的方式,不再需要独立训练并评估每个子网络的性能,只需训练一个大的超网络,然后通过继承超网络参数的方式就可快速评估每个子网络的性能,从而高效地进行模型结构自动搜索。然而,独立训练子网络的性能及性能排序与子网络继承超网络参数的性能及性能排序之间仍有很大偏差,从而导致搜索得到的结构性能差,本赛道旨在解决超网络一致性问题。

赛道二:模型性能预测

在不训练的前提下,准确预测任意模型的结构性能非常重要,不仅有助于分析模型结构的性能优劣,而且能够预测出满足任意硬件延时约束的最优模型结构。本赛道提供了部分(小样本)模型结构与模型精度之间对应关系的基准测试集,参赛选手既可以通过黑盒的方式直接训练,也可以使用白盒的方式进行参数估计,最终使得预测泛化性能达到最优。

赛道三:未知数据

NAS可以在CIFAR-10和ImageNet等数据集上搜索到优秀的模型结构,然而很少有人关注其在“真实场景”中的应用情况。为考察NAS算法在几乎没有时间进行超参调优情况下“开箱即用”的效果,本赛道旨在评估NAS算法在未知任务和数据集上的效果。

虽然是第一届NAS比赛,本次比赛因其前沿性和实用性吸引了全球59个国家和地区、超过600支队伍在AI Studio上参赛。参赛队伍包括了清华、北大、中科院、上海交大、华中科大、剑桥、牛津、加州大学伯克利分校等国内外知名高校,也包括了三星、快手和海康等知名企业。比赛征集到众多优质的NAS解决方案,其中赛道一冠军方案是海康研究院提出的采样增强和渐进式学习方案,赛道二的冠军方案是由华中科大与上海交大联合提出的基于半监督学习的模型精度预测器(SemiLGB)方案。值得一提的是清华大学基于飞桨的NAS技术方案已在AI Studio和GitHub平台开源。

本次研讨会将于北京时间6月25日22点线上举行。不仅有获胜队伍宣讲技术方案,还有幸邀请到马毅、纪荣嵘、黄高、徐畅、Alan Yullie和Sara Sabour等国内外著名学者进行演讲,分享神经网络结构搜索技术(NAS)领域的最新进展和未来动向,详细日程和参与方式请访问研讨会官网。欢迎大家的持续关注。