题目:绿色AI:基于兼容表征学习的高效模型升级
主讲人:袁春 教授,清华大学
主持人:陈小军 副教授
时间:2023年6月1日 8:30-10:00
地址:致腾楼938会议室
报告人简介:
随着AIGC时代的到来,大模型更新训练正耗费极高的运行成本。大模型的传统模型升级面临三大挑战,一是更新底库中数以亿级的超大规模特征将耗费大量的计算资源以及时间成本,严重影响系统迭代速度;二是多元化场景带来的复杂性挑战,不同业务场景下搭建的模型结构各不相同,同时又会存在数据集之间的域差异,如何构建一种简洁统一的升级范式是一项很有挑战的工作;三是模型升级效率与性能增益之间的权衡,通过设计合理的升级框架,确保模型升级在提升系统性能的同时降低对新模型最优性能的损失也具有很大挑战性。本研究针对兼容表征学习技术,为高效模型升级提供了强有力的商用级解决方案。通过引入不同模型之间的兼容约束,以极低的计算成本实现检索系统的无缝模型升级。
报告摘要:
袁春,清华大学深圳国际研究生院教授、博士生导师、CCF 杰出会员、IEEE高级会员。研究方向为机器学习,计算机视觉,强化学习等。2000年和2003年在清华大学计算机系分别获得硕士和博士学位,2003年至2004年在法国国家信息和自动化研究所(INRIA) 任博士后研究员。在计算机顶级期刊和会议发表CCF A或清华A文章60多篇,曾担任NeurIPS/ICCV/CVPR/AAAI/ACM MM等会议程序委员或领域主席,谷歌h-Index26。讲授的“大数据机器学习”课程,2020年被评为教育部“国家级一流本科课程”。