ZAO 2022年中关村在线年度观察推选领先解决方案Leading Solutions 30（以下简称LS30)为行业用户提供更好的选择，帮助行业提供高质量的解决方案和技术解决方案。

中关村在线认为，英特尔将于2022年推出Habana Gaudi 2处理器可以参与本次终极评选。Habana Gaudi 2处理器采用7纳米工艺，基于Habana的高能效架构，面向数据中心的计算机视觉和自然语言应用，旨在为客户的模型培训和推理提供更高的性能。

●对数据中心的意义：帮助实现高效的人工智能培训

如今，人工智能正从技术概念走向数千个行业，实现多场景的实际实施。可以看出，人工智能的繁荣正在推动人工智能芯片市场的不断更新。据Allied Market Research到2025年，全球机器学习芯片市场将达到约378亿美元。这不仅推动了传统芯片公司战略和技术的转型，也推动了大量新玩家进入游戏，在连续性或颠覆性创新方面也频频出奇。

用于高性能深度学习AI训练的Gaudi处理器今年在英特尔推出，可以让客户以更低的成本进行更多的训练。最新发布的Habana Gaudi2是基于Synapse AI通过支持多样化的架构，终端用户可以充分利用处理器的高性能和高能效。

对于数据中心来说，由于数据集和人工智能业务规模和复杂性的不断增加，培训深度学习模型所需的时间和成本越来越高。根据IDC数据，74%的机器学习从业者在2020年接受调查，对其模型进行了5-10次迭代培训，50%以上需要每周或更频繁地重建模型，26%的人每天甚至每小时重建模型。56%的受访者认为，培训成本是阻碍其组织利用人工智能解决问题、创新和增强终端客户体验的首要因素。由英特尔推出Habana Gaudi 2处理器采用7纳米工艺，基于Habana的高能效架构，面向数据中心的计算机视觉和自然语言应用，旨在为客户的模型培训和推理提供更高的性能。

●技术分析：全面升级，有效提高训练性能

基于与第一代Gaudi相同的系统架构，Habana Gaudi 处理器大大提高了训练性能。客户在云中运行Amazon EC2 DL1例及本地运行Supermicro Gaudi现有GPU解决方案在训练服务器时，性价比提高了40%，所有这些都来自Gaudi2.结构进步：包括从16纳米到7纳米的工艺过程；矩阵乘法（MME）在Tensor处理器的核心计算引擎中引入FP新数据类型，包括8；Tensor处理器的核心数量从8个增加到24个；芯片集成多媒体处理引擎，从主机子系统卸载；芯片包装的内存容量增加了3倍，从32GB提升到带宽2.45TB/秒的96GB HBM2E；两倍48MB基于板载SRAM存储器和RDMA (RoCE2) 集成以太网从10个增加到24个，在标准网络上实现高效的纵向和横向扩展。

从MLPerf行业测试的表现也可以看出，Habana Gaudi 2处理器在视觉上（ResNet-50）和语言（BERT）模型上相比NVIDIA A100训练时间有很大优势。

与第一代Gaudi处理器相比，Habana Gaudi 2处理器在ResNet-训练吞吐量增加了50模型的3倍，BERT训练模型的吞吐量增加了4.7倍。这是因为工艺工艺从16纳米提高到7纳米，Tensor处理器内核数量增加三倍，GEMM发动机计算能力增加三倍，包装高带宽存储容量增加三倍，SRAM带宽增加，容量增加一倍。这是因为工艺工艺从16纳米提高到7纳米，Tensor处理器内核数量增加三倍，GEMM发动机计算能力增加三倍，包装高带宽存储容量增加三倍，SRAM带宽增加，容量增加一倍。视觉处理模型的训练，Gaudi2集成媒体处理引擎的处理器可以独立完成预处理，包括人工智能训练所需的数据增强和压缩图像。

在没有特殊软件操作的情况下，通过Habana客户开箱即用的商业软件栈实现了两代Gaudi处理器的性能。

在商用软件提供的开箱即用性能中Habana 8个GPU服务器和HLS-Gaudi2.在参考服务器上进行测试比较。其中，训练吞吐量来自NGC和Habana公共库的TensorFlow docker，在混合精度训练模式下，测量双方推荐的最佳性能参数。值得注意的是，吞吐量是影响最终训练时间收敛的关键因素。

●行业影响力和用户需求：数据中心按需加速，使深度学习更加“快”

通过将Habana Gaudi 2部署到数据中心，可以为计算机视觉和自然语言处理的模型培训和推理提供更高的效率，解决客户最关心的两个问题：降低服务器处理成本和培训模型所需的时间。Habana Gaudi2和Greco AI加速器是基于的Synapse AI通过支持多样化的架构，终端用户可以充分利用处理器的高性能和高能效。

同时，借助Habana Labs在Gaudi平台上，数据中心团队可以专注于深度学习处理器技术，使数据科学家和机器学习工程师能够有效地进行模型培训，通过简单的代码实现新模型构建或现有模型迁移，提高工作效率，降低运营成本。

●结语

英特尔发布的第二代Gaudi处理器，针对主要为云计算和边缘计算提供计算能力的“基本计算能力”领域Habana Gaudi2.实现了深度学习的关键飞跃，用户可以充分利用处理器的高性能和高能效，通过支持多样化的架构，以更高的性价比培训数据中心负载。毫无疑问，在服务器或服务器集群主要用于深度学习训练和推理计算的场景中，Habana Gaudi对于这些特殊场景，理想的加速器可以提供优异的深度学习性能，降低整体拥有成本。

(8086572)