报告题目：资源高效的深度学习之规模化人工智能的民主化

报告人：胥栋宽 北卡州立大学 (North Carolina State University) 工学院计算机系 助理教授

报告时间：2022/05/27 10:30-11:30 (GMT+08:00)  腾讯会议：380-284-907

报告地点：腾讯会议：380-284-907

报告摘要：

在过去的十年中，深度学习的惊人成功主要是由越来越大的深度神经网络模型的构建推动的。这些模型通常强加一个理想的假设，即有足够的资源，包括大规模的参数、足够的数据和大规模的计算，用于优化。然而，这个假设在现实世界的场景中通常会失败。例如，计算机内存可能是有限的，如在边缘设备中，大规模的数据由于昂贵的成本和隐私限制而难以获得，计算能力受到限制，如在大多数大学实验室。因此，这些资源差异问题阻碍了深度学习技术在许多人工智能应用中的民主化，开发能够适应不同资源约束的高效深度学习方法具有重要意义。

这次演讲中，我将介绍我最近的研究贡献，这些贡献围绕着资源高效的深度学习，将人工智能从“参数-数据-计算”的饥饿野兽中解放出来。首先，我将介绍我在pretrain-then-finetune范式下对神经网络修剪的贡献，它提高了大规模语言模型在推理阶段的参数效率，使修剪后的模型比原始模型的参数少一个数量级，同时达到相同或更好的预测精度。然后，我将谈论我的任务不可知的神经网络结构搜索框架，以减少训练阶段寻找最佳修剪模型的计算成本，这对提高推理阶段的参数效率是一种补充。最后，我将在演讲的最后简要介绍我正在进行的和未来的工作，作为未来几年新的和相关的问题和潜在合作的更广泛的研究议程的一部分。

报告人简介:

Dongkuan (DK) Xu (胥栋宽)，将于2022年秋季加入北卡州立大学 (North Carolina State University) 工学院计算机系，担任助理教授。DK于2014年本科毕业于中国人民大学，2017年硕士毕业于中国科学院 (获中科院院长奖学金，国家奖学金), 2022年将博士毕业于美国宾州州立大学(Penn State University, PSU)。

DK致力于高效深度学习，主要探究如何提升深度神经网络模型的参数、数据、算力的效率，开发低功耗的算法-硬件协同设计解决方案。DK的论文多次发表在机器学习、自然语言处理、数据挖掘的顶级会议和期刊 (NeurIPS, AAAI, ACL, NAACL, IJCAI等)，并拥有和提交8项美国专利/申请。DK在PSU担任过9门课程的客座讲师或助教 (获PSU杰出教学支持奖)，在会议/大学/公司做过多次讲座和报告，指导过6名学生的研究工作，担任了超过28个顶级会议和14个研究领域期刊的 (高级) PC委员或常规期刊评审员，多次获得 IST学术旅行奖及各种学术会议的奖学金。

此外，作为创始学术委员会成员，DK还发起了国内外知名的MLNLP (机器学习算法与自然语言处理) 社区。DK与业界公司和高校有着丰富的合作经验，曾在Microsoft Research (Redmond)、AI芯片创业公司Moffett AI、和NEC美国实验室实习，并与Princeton University、UT Austin、Northeastern University、University of Connecticut、Texas A&M University等高校有紧密的合作。DK的长期研究目标是使人工智能民主化，以服务更广泛的人群和领域。

更多信息请参考主页: http://www.personal.psu.edu/dux19/