分布外泛化（OOD）问题在实际中无处不在，现有AI方法OOD能力欠缺是阻碍其大规模应用的一大瓶颈。当前，可以公开获取的预训练模型能力强，数量大，种类多，为解决OOD问题提供了新的可能性。华为诺亚方舟实验室AI基础理论团队近期提出了一种利用模型库技术（Model Zoo）解决OOD问题的框架ZooD，主要分为模型挑选和模型融合两个模块（如图1所示）。
图1 ZooD框架总览
ZooD突破传统单模型算法设计，基于汇集大量预训练模型的模型库，提出模型自动查搜、快速评估、融合复用指标，相比Finetune评估效率显著提升，同时性能优越，在OOD Benchmarks上取得SOTA表现。相关工作已被NeurIPS 2022接收，论文标题是: ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization。
论文链接：https://arxiv.org/abs/2210.09236
实际测试样本的分布与模型训练样本的分布存在差异的现象在实际应用场景中广泛存在。诺亚AI基础理论团队关于刻画数据分布外迁移的工作OOD-Bench【1】指出，OOD特征迁移主要可以分为多样性迁移（diversity shift）和相关性迁移（correlation shift）。传统机器学习算法基于同分布假设，因此模型在OOD数据上的性能通常不理想。此外，在现实应用中，目标域往往是不可知的。而在训练的过程中我们无法获得目标域的任何信息就代表着训练出的模型很难在目标域取得良好的表现，这限制了很多现有机器学习算法在实际场景中的大规模应用。
另一方面，随着深度学习近几年飞速地发展，业界、学术界在各种任务上训练了大量的深度学习模型。并且，我们可以很容易地下载到各种各样的预训练模型，每个模型都是使用了大量的数据和算力训练出来的，具备各种各样的功能。图2展示了华为云平台上提供的各类预训练模型。这些基于大量预训练数据上训练的模型，在迁移到一个下游任务上时具有很强的分布外泛化能力。因此，基于现有预训练模型库，构建高效模型自动查搜和模型融合复用功能，充分发挥这些预训练模型的能力具有很高的应用价值。
图2 华为云平台上提供的各类预训练模型
通过模型库解决OOD泛化问题是一个很有潜力的方向。我们提出一种针对下游任务的预训练模型库高效挑选和融合框架ZooD，可以在大量预训练模型构成的模型库中，快速找到适用于当前任务的模型，并能融合多个最优模型的能力共同解决当前任务，有效提升效率与泛化性。
我们提出ZooD，一种针对分布外泛化任务的预训练模型库模型高效挑选和融合方法。该方法主要包括模型快速评估模块和模型特征筛选及融合模块。
1、模型快速评估模块
可快速评估模型库中不同预训练模型对于目标OOD任务的适用性并给出排序。诺亚AI基础理论团队关于什么是可学习的OOD问题的理论研究【2】指出，一个好的特征应该既有信息量（能跨域对label进行预测），又稳定（跨域不变）。基于此，我们的评估指标主要有两部分构成：（D）leave-one-domain-out (LODO) cross validation的预测准确率；（S）域之间特征的稳定性。
我们根据数据域标签（domain label）以LODO的方式将训练数据切分为训练集和验证集。在待评估的预训练模型提取的训练集特征上，通过最大化贝叶斯模型证据得到预测模型，以该模型在验证集上的预测表现作为预训练模型有效性的评价（D）。同时，在待评估的预训练模型提取的训练集特征上估计特征分布，根据该分布计算预训练模型提取的验证集特征的似然函数值作为预训练模型稳定性的评价（S），即评价预训练模型对于不同分布下同一标签的数据提取的特征是否具有稳定性。最后，结合有效性和稳定性给出综合评价并排序。整个计算过程只涉及feature，不涉及backbone，所以非常轻便。
图3 模型快速评估模块示意图
2、模型特征筛选及融合模块
可对每个模型挑选出最合适目标任务的特征，并对适用性高的多个模型进行融合，以实现超越单模型的泛化性能。具体来说，给预训练模型输出特征层的每一个特征引入一个0-1指示变量，该变量决定了对应特征是不是应该被保留。在线性模型的框架下构建层级贝叶斯模型，利用基于变分推断的EM算法估计指示变量的分布，从而选出最有信息量的特征进行激活，去除模型特征中的噪声变量。最后，将多个经过特征筛选的预训练模型的特征拼接并在合并后的特征向量上搭建一个新的预测器。
图4模型特征筛选及融合模块示意图
1、模型库构建与下游任务选择
为了验证我们方法的效果，我们使用35个预训练模型构成的模型库，模型之间的区别主要来自于训练数据、训练方法和网络架构，详见表1。
表1 由35个使用不同模型架构、数据集和算法预训练的模型构成的模型库。
对于下游OOD任务，我们选择在七个学界常用的图片分类数据集上进行实验。每个数据集的数据均存在多个分布，目标是在多个分布的训练数据上训练的模型能够泛化到与训练数据分布不同的测试数据上。本文代码实现都基于华为MindSpore平台，代码将会开源在 https://gitee.com/mindspore/models/tree/master/research/cv/zood
2、模型挑选实验结果
我们首先验证模型快速评估模块的效果。我们把不同预训练模型在下游任务全参数微调下的表现排序作为真实排序，与ZooD轻量级计算给出的排序比较并计算匹配程度（Kendall’s tau ）。从表2的结果可以看出，相比其他方法，ZooD对于不同类型的训练数据都取得了很好的效果。通过在多个分布的训练数据上评估预训练模型提取特征的有效性和稳定性，我们的方法能更准确的评估预训练模型在目标任务上的分布外泛化能力，并且在不同类型和具有不同程度分布差异的数据集上表现得更稳定。
表2 在七个数据集上比较ZooD和（a）基于特征的、（b）基于分类器的模型评估方法，数值为Kendall's tau，越接近1表示与全参数微调的排序越匹配。ZooD相比其他方法更准确、更稳定。
从表3的结果可以看出，相比于之前在目标任务上微调每个预训练模型的方法，我们的方法评估预训练模型所需的时间大大缩短，这使得我们可以进一步扩大预训练模型库的规模，充分发挥模型库的优势。
表3 使用ZooD评估35个模型与使用微调的方式评估35个模型所需时间的比较。
3、模型融合实验结果
从图5的结果可以看出，对于预训练模型评估模块选出的模型进行特征筛选，在不同预训练模型个数的情况下，经过特征筛选之后训练得到的模型在分类准确率上稳定优于没有经过特征筛选训练得到的模型。我们的方法可以有效挑选出对于分类任务来说最有信息量的特征，筛去那些对于分类任务来说会起到负面作用的特征，从而提升分类准确率。从表4的结果可以看出，在经过模型挑选和特征筛选与融合之后，基于目标任务训练数据训练得到的模型相比之前使用特殊方法训练得到的单模型在分类准确率上有显著提升，展现了在模型库设定下我们方法的有效性。
图5 使用不同数量预训练模型做特征筛选与融合，相比不做特征筛选分类准确率均有提升。
表4 使用ZooD做模型挑选、特征筛选和融合后的分类效果与其它提升模型泛化效果方法的比较。
基于我们分布外泛化理论工作【2】的基础上，提出了一种针对分布外泛化任务的预训练模型库模型高效挑选和融合方法：通过贝叶斯框架，评估每一个预训练模型对于不同标签的数据提取的特征是否具有区分度，以及对于不同分布下同一标签的数据提取的特征是否具有稳定性，以此给出对预训练模型在目标任务上泛化能力的排序；通过构建层级贝叶斯模型，估计特征指示变量的后验分布，从而选出最有信息量的特征进行激活，去除预训练模型特征中的噪声变量。
在人工智能蓬勃发展的今天，开源社区上有着大量的具有不同功能的预训练模型，华为云平台上也整理了大量预训练模型，每个模型都是使用了大量的数据和算力训练出来的，具备各种各样不同的功能，并且功能强大。本文的部分研究成果已集成在华为云模型库，充分利用这些已有的模型来学习新任务，建立多个预训练模型的联合使用框架，实现能耗高效、数据高效、可复用多任务以及鲁棒泛化具有很高的商业价值。
[1] Ye, Nanyang, et al. "OoD-Bench: Quantifying and Understanding Two Dimensions of Out-of-Distribution Generalization." CVPR 2022 Oral.
[2] Ye, Haotian, et al. "Towards A Theoretical Framework of Out-Of-Distribution Generalization."NeurIPS 2021.
作者：诺亚方舟实验室
文章来源： 诺亚实验室
推荐阅读
诺亚自动驾驶研究团队CVPR2022论文分享
ECCV 2022 Oral | 华为诺亚提出单目视觉动作捕捉算法CLIFF，降低动捕误差40%以上
FreeTransfer-X：零标注成本？巧用大模型无缝迁移AI应用至各种语言
更多嵌入式AI相关技术干货请关注 深度学习压缩模型论文专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
玻璃钢生产厂家深圳周年庆典商场美陈价钱黔东南商场美陈道具北京玻璃钢雕塑工厂卡通蟹老板玻璃钢雕塑厂家蚌埠商场开业美陈平凉城市玻璃钢雕塑多少钱玻璃钢造型雕塑服务公司山西景区玻璃钢雕塑价位深圳中庭商场美陈销售厂家山西玻璃钢抽象景观雕塑耐高温玻璃钢雕塑摆件批发玻璃钢蚂蚁雕塑价位玻璃钢动物雕塑批发宁夏玻璃钢雕塑生产厂家青海商场美陈许昌学校玻璃钢仿铜雕塑玻璃钢民族卡通形象雕塑玻璃钢仿真动物雕塑品牌鸡西玻璃钢韦陀雕塑玻璃钢卡通雕塑平台浦东新区玻璃钢雕塑便宜鹤壁专业不锈钢玻璃钢卡通雕塑昭通市玻璃钢雕塑价格辽宁商场主题创意商业美陈风格龙岗平湖商场美陈装饰玻璃钢花盆的知名品牌黑河玻璃钢卡通雕塑山西仿铜玻璃钢雕塑公司海南商城艺术玻璃钢雕塑价格昆明市玻璃钢雕塑批发厂家香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人？张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身！外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫：哈马斯三号人物被杀测试车高速逃费 小米：已补缴老人退休金被冒领16年 金额超20万
