加利福尼亚州圣何塞--(美国商业资讯)--知名开放工程联盟 MLCommons 近日发布了领先的 AI 基准测试套件 MLPerf Inference V1.1 的结果。在竞争非常激烈的封闭赛区,浪潮在30项任务中有15项排名第一,成为本届赛事最成功的供应商。
MLPerf TM Inference V1.1 中的浪潮结果 | ||||||
小贩 |
分配 |
系统 |
模型 |
准确性 |
分数 |
单位 |
浪潮 |
数据中心 |
NF5688M6 |
3D-UNet |
离线,99% |
498.03 |
样品/秒 |
NF5688M6 |
3D-UNet |
离线,99.9% |
498.03 |
样品/秒 |
||
NF5488A5 |
DLRM |
离线,99% |
2607910 |
样品/秒 |
||
NF5688M6 |
DLRM |
服务器,99% |
2608410 |
查询/秒 |
||
NF5488A5 |
DLRM |
离线,99.9% |
2607910 |
样品/秒 |
||
NF5688M6 |
DLRM |
服务器,99.9% |
2608410 |
查询/秒 |
||
边缘 |
NE5260M5 |
3D-UNet |
离线,99% |
93.49 |
样品/秒 |
|
NE5260M5 |
3D-UNet |
离线,99.9% |
93.49 |
样品/秒 |
||
NE5260M5 |
伯特 |
离线,99% |
5914.13 |
样品/秒 |
||
NF5688M6 |
伯特 |
单流,99% |
1.54 |
延迟(毫秒) |
||
NF5688M6 |
ResNet50 |
单流,99% |
0.43 |
延迟(毫秒) |
||
NE5260M5 |
神经网络 |
离线,99% |
24446.9 |
样品/秒 |
||
NF5688M6 |
神经网络 |
单流,99% |
18.5 |
延迟(毫秒) |
||
NF5688M6 |
SSD-ResNet34 |
单流,99% |
1.67 |
延迟(毫秒) |
||
NF5488A5 |
SSD-MobileNet |
单流,99% |
0.25 |
延迟(毫秒) |
MLPerf 由图灵奖获得者 David Patterson 和领先的学术机构开发,是 AI 性能的领先行业基准。MLCommons 成立于 2020 年,基于 MLPerf 基准测试,是一个开放的非营利性工程联盟,致力于推进机器学习和人工智能性能的标准和指标。浪潮是 MLCommons 的创始成员,以及来自人工智能领域的 50 多个其他领先组织和公司。
在 MLPerf Inference V1.1 基准测试中,封闭部门包括两个类别——数据中心(16 个任务)和边缘(14 个任务)。在数据中心类别下,涵盖了六个模型,包括图像分类(ResNet50)、医学图像分割(3D-UNet)、对象检测(SSD-ResNet34)、语音识别(RNN-T)、自然语言处理(BERT)、和建议 (DLRM)。为 BERT、DLRM 和 3D-UNET 设置了高精度模式 (99.9%)。每个模型任务都会在服务器和离线场景中评估性能,但 3D-UNET 除外,它仅在离线场景中进行评估。对于边缘类别,删除了推荐 (DLRM) 模型并添加了对象检测 (SSD-MobileNet) 模型。为 3D-UNET 设置了高精度模式 (99.9%)。
在竞争激烈的封闭赛区,主流厂商都在竞争,所有参与者都需要使用相同的模型和优化器。这样做提供了在不同供应商之间轻松评估和比较 AI 计算系统性能的能力。英伟达、英特尔、浪潮、高通、阿里巴巴、戴尔、HPE等19家厂商参加了封闭分部。总共提交了 1,130 个结果,其中数据中心类别有 710 个,边缘类别有 420 个。
全栈 AI 能力提升性能
浪潮凭借其三款AI服务器NF5488A5、NF5688M6和NE5260M5在本次MLPerf竞赛中取得优异成绩。
NF5488A5 是市场上首批配备 NVIDIA A100 GPU 的服务器之一。在 4U 空间内,它可容纳 8 个通过第三代 NVLink 互连的 NVIDIA A100 GPU 和 2 个 AMD Milan CPU,并通过独特的液体和空气冷却技术融合来实现这一点。
NF5688M6 是一款专为大型数据中心设计的 AI 服务器,具有非凡的可扩展性。它支持 8 个 NVIDIA A100 GPU、2 个 Intel Icelake CPU 和多达 13 个 PCIe 4.0 附加卡。
NE5260M5 具有优化的信号和电源系统,并提供与高性能 CPU 和各种 AI 加速卡的广泛兼容性。它采用减震降噪设计,并经过严格的可靠性测试。机箱深度为 430 毫米,接近传统服务器深度的一半,即使在空间受限的边缘计算场景中也可以部署。
浪潮在涵盖所有 AI 模型的 15 个任务中排名第一,包括医学图像识别、自然语言处理、图像分类、语音识别、推荐以及对象检测(SSD-ResNet34 和 SSD-MobileNet)。结果表明,从云到边缘,浪潮几乎在所有方面都领先于行业。与之前的 MLPerf 事件相比,尽管浪潮的服务器配置没有变化,但它在数据中心类别下的各种任务的性能方面取得了巨大进步。与六个月前的 V1.0 竞赛相比,其在图像分类 (ResNet50) 和语音识别 (RNN-T) 中的模型性能结果分别提高了 4.75% 和 3.83%。
浪潮AI服务器在MLPerf Benchmark Test中的出色表现,可以归功于浪潮在AI计算系统中出色的系统设计和全栈优化。通过精确的校准和优化,CPU和GPU的性能以及CPU和GPU之间的数据通信都能够达到AI推理的最高水平。此外,通过增强基于 GPU 拓扑的多个 GPU 的循环调度,可以几乎线性地提高单个 GPU 或多个 GPU 的性能。
浪潮NF5488A5是本次MLPerf竞赛中唯一支持8颗500W A100 GPU的AI服务器,采用液冷技术,显着提升了AI计算性能。在搭载8颗NVIDIA A100 SXM4 GPU的主流高端AI服务器中,浪潮服务器在数据中心类别的封闭部门的所有16项任务中均名列前茅。
作为领先的人工智能计算公司,浪潮致力于人工智能计算的研发和创新,包括资源化平台和算法平台。它还与其他领先的人工智能企业合作,通过其“元大脑”技术生态系统推动人工智能产业化和人工智能驱动产业的发展。
【公司名称】四川旭辉星创科技有限公司
【代理级别】成都浪潮Inspur服务器总代理
【销售经理】李经理
【联系方式】座机:028-85596747 手机:13540160369
【公司地址】成都市人民南路4段 桐梓林 商鼎国际2号楼1单元1913
请用微信扫描二维码