浪潮AI服务器在最新MLPerf v2.1推理基准测试中取得破纪录的成绩

Admin 591 2022-11-23 19:48

领先的数据中心、云计算和人工智能解决方案提供商浪潮系统宣布,浪潮人工智能服务器在新发布的 MLPerf 推理中取得了创纪录的成绩,性能大幅提升v2.1 AI 基准测试结果。浪潮AI服务器在Closed赛区一半以上的任务中领先,多个任务的性能较之前成绩提升超过100%。

浪潮 AI 服务器在封闭组的 30 项任务中有 19 项排名第一,该组提供提交者之间的同类性能比较。其中,浪潮AI服务器在数据中心类16个任务中获得12个冠军,在边缘类14个任务中获得7个冠军。浪潮成功卫冕11项性能记录,在BERT(自然语言处理)、3D U-Net(医学图像分割)等多项任务上性能提升近100%。

BERT强势领先,大幅提升Transformer性能

21 家全球公司和研究机构为 Inference v2.1 基准提交了 10,000 多个性能结果。浪潮NF5468M6J AI服务器开创性设计,单机24颗GPU。浪潮提升BERT推理性能,基于Transformer架构,深度优化GPU Round Robin Scheduling等策略,充分利用每块GPU的性能,实现每秒完成75000个问答任务。与 v2.0 结果中之前的最佳性能相比,这是一个巨大的 93.81% 的跳跃。这也标志着浪潮AI服务器 第四次成为MLPerf推理BERT任务的基准测试领导者。

浪潮NF5468M6J AI服务器在BERT任务中取得了比亚军高出20%的性能记录。NF5468M6J的成功得益于其出色的系统设计。它支持多达24个A100 GPU,具有分层和可扩展的计算架构,并以出色的性能获得8项冠军。在参赛的8颗GPU搭载NVLink技术的高端主流机型中,浪潮AI服务器在数据中心类的16个任务中有7个成绩名列前茅,在高端机型中表现领先。其中,浪潮旗舰级高性能AI服务器NF5488A5在4U空间内支持8颗第三代NVlink互联A100 GPU和2颗AMD Milan CPU及8颗GPU。NF5688M6是一款针对大规模数据中心优化的具有极致可扩展性的AI服务器。

优化算法和架构,进一步提升性能

浪潮率先在MLPerf训练中应用了超参数优化方案,极大地提升了性能。浪潮首创ResNet收敛优化方案。在 ImageNet 数据集中,只有 85% 的原始迭代步骤被用来达到目标精度。这种优化方案将训练性能提高了 15%。浪潮在MLPerf Inference benchmarks中也率先使用了自主研发的卷积合并算法插件算子方案。该算法将性能从 123TOPS 提高到 141TOPS,性能提升 14.6%。

在架构优化方面,浪潮率先采用JBOG方案,大幅提升浪潮AI服务器单节点采用大量GPU的能力。此外,对高负载多GPU协同任务调度、NUMA节点与GPU之间的数据传输性能进行了深度优化。这使得 CPU 和 GPU 利用率的线性扩展以及多个并发任务的同时运行,极大地提高了性能。

浪潮致力于AI计算平台、资源平台和算法平台的全栈创新,通过MetaBrain生态合作伙伴共同加速AI产业化和各行业智能化发展进程。

作为MLCommons的一员,浪潮积极推动MLPerf基准套件的开发与创新,10次参与基准测试,获得多个性能称号。浪潮在系统整体优化、软硬件协同优化、能耗比降低等方面持续创新,不断打破MLPerf性能记录,并与MLCommons社区共享技术,已被大量参与方使用制造商,并广泛用于后续的 MLPerf 基准测试。 


【公司名称】四川旭辉星创科技有限公司

【代理级别】成都浪潮Inspur服务器总代理

【销售经理】李经理

【联系方式】座机:028-85596747    手机:13540160369

【公司地址】成都市人民南路4段 桐梓林 商鼎国际2号楼1单元1913

联系我们
您好,咨询客服了解更多促销产品
售前优惠在线咨询
QQ咨询
微信咨询
售前优惠电话咨询专线:
13438344046
售后电话咨询专线:
028-85596747

请用微信扫描二维码

1.972825s