报告人: 尤洋，新加坡国立大学, 校长青年教授 (Presidential Young Professor)

报告题目：大模型训练的关键技术

报告时间：2023年11月9号（周四） 下午4:00 – 6:00

报告地点： 信电楼539报告厅

主办单位：信电学院

主持人：孙瑞志

报告人简介：

尤洋,新加坡国立大学计算机系的校长青年教授 (Presidential Young Professor)。加州大学伯克利分校计算机系获得博士学位。研究兴趣包括高性能计算，并行算法，以及机器学习。当前的研究重点是大规模深度学习训练算法的分布式优化。曾创造ImageNet以及BERT训练速度的世界纪录。设计的算法被广泛应用于谷歌，微软，英特尔，英伟达等科技巨头。近三年以第一作者身份在NIPS，ICLR，CVPR, ICML, Supercomputing，IPDPS等国际重要会议或期刊上发表论文五十余篇。曾以第一作者身份获得了国际并行与分布式处理大会(IPDPS)的最佳论文(0.8%获奖率)和国际并行处理大会(ICPP)的最佳论文(0.3%获奖率)，曾以通讯作者身份获得了国际人工智能大会 (AAAI)的杰出论文奖(0.14%获奖率)和国际计算语言学大会 (ACL)的杰出论文奖 (0.86%获奖率)。

报告内容：

AI模型参数量增速远超硬件能力提升，如何高效实现AI大模型应用成为行业痛点。Colossal-AI，一个面向大模型时代的通用深度学习系统，通过高效多维并行、异构内存管理、自适应任务调度等技术，高效快速部署AI大模型训练和推理，显著降低大模型应用成本。例如，ChatGPT和LLaMA2训练可实现2-10倍增速，预训练GPT-3等超大模型则可节省上千万元费用，在单服务器上也能提升模型参数容量超百倍，易用性极佳，仅需几行代码即可部署大模型分布式训练和推理，全面促进AI大模型普及化。