浪潮在 MLPerf Inference V1.1 中凭借卓越的 AI 性能脱颖而出

Admin 783 2021-11-15 13:50

加利福尼亚州圣何塞--(美国商业资讯)--知名开放工程联盟 MLCommons 近日发布了领先的 AI 基准测试套件 MLPerf Inference V1.1 的结果。在竞争非常激烈的封闭赛区,浪潮在30项任务中有15项排名第一,成为本届赛事最成功的供应商。

MLPerf TM Inference V1.1 中的浪潮结果

小贩

分配

系统

模型

准确性

分数

单位

浪潮

数据中心
关闭

NF5688M6

3D-UNet

离线,99%

498.03

样品/秒

NF5688M6

3D-UNet

离线,99.9%

498.03

样品/秒

NF5488A5

DLRM

离线,99%

2607910

样品/秒

NF5688M6

DLRM

服务器,99%

2608410

查询/秒

NF5488A5

DLRM

离线,99.9%

2607910

样品/秒

NF5688M6

DLRM

服务器,99.9%

2608410

查询/秒

边缘
闭合

NE5260M5

3D-UNet

离线,99%

93.49

样品/秒

NE5260M5

3D-UNet

离线,99.9%

93.49

样品/秒

NE5260M5

伯特

离线,99%

5914.13

样品/秒

NF5688M6

伯特

单流,99%

1.54

延迟(毫秒)

NF5688M6

ResNet50

单流,99%

0.43

延迟(毫秒)

NE5260M5

神经网络

离线,99%

24446.9

样品/秒

NF5688M6

神经网络

单流,99%

18.5

延迟(毫秒)

NF5688M6

SSD-ResNet34

单流,99%

1.67

延迟(毫秒)

NF5488A5

SSD-MobileNet

单流,99%

0.25

延迟(毫秒)

 MLPerf 由图灵奖获得者 David Patterson 和领先的学术机构开发,是 AI 性能的领先行业基准。MLCommons 成立于 2020 年,基于 MLPerf 基准测试,是一个开放的非营利性工程联盟,致力于推进机器学习和人工智能性能的标准和指标。浪潮是 MLCommons 的创始成员,以及来自人工智能领域的 50 多个其他领先组织和公司。

在 MLPerf Inference V1.1 基准测试中,封闭部门包括两个类别——数据中心(16 个任务)和边缘(14 个任务)。在数据中心类别下,涵盖了六个模型,包括图像分类(ResNet50)、医学图像分割(3D-UNet)、对象检测(SSD-ResNet34)、语音识别(RNN-T)、自然语言处理(BERT)、和建议 (DLRM)。为 BERT、DLRM 和 3D-UNET 设置了高精度模式 (99.9%)。每个模型任务都会在服务器和离线场景中评估性能,但 3D-UNET 除外,它仅在离线场景中进行评估。对于边缘类别,删除了推荐 (DLRM) 模型并添加了对象检测 (SSD-MobileNet) 模型。为 3D-UNET 设置了高精度模式 (99.9%)。

在竞争激烈的封闭赛区,主流厂商都在竞争,所有参与者都需要使用相同的模型和优化器。这样做提供了在不同供应商之间轻松评估和比较 AI 计算系统性能的能力。英伟达、英特尔、浪潮、高通、阿里巴巴、戴尔、HPE等19家厂商参加了封闭分部。总共提交了 1,130 个结果,其中数据中心类别有 710 个,边缘类别有 420 个。 


全栈 AI 能力提升性能


浪潮凭借其三款AI服务器NF5488A5、NF5688M6NE5260M5在本次MLPerf竞赛中取得优异成绩。


NF5488A5 是市场上首批配备 NVIDIA A100 GPU 的服务器之一。在 4U 空间内,它可容纳 8 个通过第三代 NVLink 互连的 NVIDIA A100 GPU 和 2 个 AMD Milan CPU,并通过独特的液体和空气冷却技术融合来实现这一点。

NF5688M6 是一款专为大型数据中心设计的 AI 服务器,具有非凡的可扩展性。它支持 8 个 NVIDIA A100 GPU、2 个 Intel Icelake CPU 和多达 13 个 PCIe 4.0 附加卡。

NE5260M5 具有优化的信号和电源系统,并提供与高性能 CPU 和各种 AI 加速卡的广泛兼容性。它采用减震降噪设计,并经过严格的可靠性测试。机箱深度为 430 毫米,接近传统服务器深度的一半,即使在空间受限的边缘计算场景中也可以部署。

浪潮在涵盖所有 AI 模型的 15 个任务中排名第一,包括医学图像识别、自然语言处理、图像分类、语音识别、推荐以及对象检测(SSD-ResNet34 和 SSD-MobileNet)。结果表明,从云到边缘,浪潮几乎在所有方面都领先于行业。与之前的 MLPerf 事件相比,尽管浪潮的服务器配置没有变化,但它在数据中心类别下的各种任务的性能方面取得了巨大进步。与六个月前的 V1.0 竞赛相比,其在图像分类 (ResNet50) 和语音识别 (RNN-T) 中的模型性能结果分别提高了 4.75% 和 3.83%。


浪潮AI服务器在MLPerf Benchmark Test中的出色表现,可以归功于浪潮在AI计算系统中出色的系统设计和全栈优化。通过精确的校准和优化,CPU和GPU的性能以及CPU和GPU之间的数据通信都能够达到AI推理的最高水平。此外,通过增强基于 GPU 拓扑的多个 GPU 的循环调度,可以几乎线性地提高单个 GPU 或多个 GPU 的性能。


浪潮NF5488A5是本次MLPerf竞赛中唯一支持8颗500W A100 GPU的AI服务器,采用液冷技术,显着提升了AI计算性能。在搭载8颗NVIDIA A100 SXM4 GPU的主流高端AI服务器中,浪潮服务器在数据中心类别的封闭部门的所有16项任务中均名列前茅。


作为领先的人工智能计算公司,浪潮致力于人工智能计算的研发和创新,包括资源化平台和算法平台。它还与其他领先的人工智能企业合作,通过其“元大脑”技术生态系统推动人工智能产业化和人工智能驱动产业的发展。

【公司名称】四川旭辉星创科技有限公司

【代理级别】成都浪潮Inspur服务器总代理

【销售经理】李经理

【联系方式】座机:028-85596747    手机:13540160369

【公司地址】成都市人民南路4段 桐梓林 商鼎国际2号楼1单元1913

联系我们
您好,咨询客服了解更多促销产品
售前优惠在线咨询
QQ咨询
微信咨询
售前优惠电话咨询专线:
13438344046
售后电话咨询专线:
028-85596747

请用微信扫描二维码

0.798572s