AMD、Untether AI、Google、Intel和Nvidia的新基准测试结果显示，AI硅片性能竞争日趋激烈。然而，系统设计、网络和软件使AI大放异彩，而这正是Nvidia的强项。
终于，我可以停止抱怨AMD缺乏公开的AI基准测试了。AMD发布了其MI300 GPU的优秀MLPerf推理结果，虽然只在一个基准测试上与Nvidia H100竞争。加拿大初创公司Untether.ai也发布了新的推理基准测试，展示其能效。让我们来看看。
MLPerf推理4.1基准测试套件
控制和发布MLPerf基准测试的MLCommons行业联盟扩展了每年两次的推理基准测试套件，增加了一个新的基准测试，用于日益流行的专家混合（MoE）AI模型。MoE模型结合了多个模型，以提高准确性并降低大型语言模型（LLM）如OpenAI的GPT-4的训练成本。虽然AMD没有发布MoE基准测试，但既然他们已经打开了基准测试的大门，AMD发言人表示我们很快会看到更多的基准测试结果。
看到新处理器的MLPerf提交确实令人鼓舞。具体来说，除了Nvidia的Blackwell和AMD的首次提交之外，我们现在还有Untether.ai、AMD下一代Turin CPU、Google的Trillium TPUv6e加速器以及Intel的Granite Rapids Xeon CPU的选定基准测试。我们将在此重点讨论Nvidia、AMD和Untether.ai。
AMD大致与Nvidia H100持平，而H200则快43%
虽然AMD之前披露了突出原始理论性能的微基准测试，例如MI300的数学性能，但这些并不反映复杂的AI技术栈世界。这次新的基准测试无法验证AMD的MI300是最快的AI GPU的市场营销说法，但在运行实际的AI工作负载时，其性能大致与H100相当。然而，Nvidia H200在相同基准测试中比MI300快约43%。
我们注意到，Llama 2 70B基准测试并未真正展示AMD在支持更大模型方面的大容量HBM优势。希望他们能在未来的MLPerf发布中运行新的Mixtral MoE。
Nvidia还发布了首批Blackwell基准测试，展示了其在中型模型（如Llama 2 70B）上约为H100四倍的性能。Nvidia最近在HotChips上分享了有关Blackwell NVL72的更多细节，据称其NVSwitch互联基础设施应当能提供比H200高30倍的推理性能。期待看到NVL72旗舰的实际（MLPerf）基准测试结果。
Nvidia 发布了新的 MoE 基准测试结果，展示了 H100 和 H200。Nvidia 同时展示了 H200 在 MLPerf 基准测试套件中的性能提升在 10% 到 27% 之间，这对于正在等待 Blackwell 大量出货的用户是个好消息。
Untether.ai 展示高效能推理
我们以前见过，ASIC 可以提供更高效的 AI 推理处理，最早是通过高通云 AI100 展示的。问题是，ASIC 不像 GPU 一样多功能，它们可能对 Resnet-50 等模型的效率很高，但对其他模型的表现并不那么出色。
Untether.ai 认为他们可以打破这种模式，并在 Resnet-50 上提交了超高能效的数据，这与 Nvidia H100-NV 的表现相当，但功耗却不到其的一部分。
那么，Untether 平台在大规模语言模型（LLM）上的表现如何？工程师们没能赶上 MLPerf 提交期限前完成 BERT 基准测试的优化工作，但他们之后完成了工作并与我们分享了结果。如你在下图所见，该公司似乎避免了前辈们所犯的错误，表现与 Nvidia H100-NVL 相当，但能效却高出 3 倍以上。
结论
多年来我们再次看到，只有 Nvidia 为每个基准测试发布了结果，再次展示了为什么它们是最佳 AI 基础架构提供商，因为他们采用了全栈方法，包括定制 CPU、GPU、软件、系统和网络。但在芯片层面，现在 AMD 提出了合法的竞争，至少是在单个基准测试上。虽然我们可能进入一个类似于几十年前 RISC CPU 的跨越期，但这些 Nvidia 的差异化特性将具有持久性，并应使 Team Green 在未来至少 2-3 年内保持领先。
总结：
在AI硅片性能竞争日益激烈的背景下，Nvidia、AMD、Untether.ai等公司纷纷发布新基准测试结果，展示了各自的优势与差距。AMD的MI300 GPU在MLPerf推理4.1基准测试中表现优异，虽尚未全面超越Nvidia H100，但已能与之竞争。与此同时，Nvidia的H200在同一测试中比MI300快43%。此外，AMD未来或将加入更多基准测试，例如专家混合（MoE）模型，而Untether.ai则展示了超高能效的推理性能，特别是在低功耗条件下。这一趋势显示出Nvidia凭借其全栈方法，仍然在AI基础架构领域保持优势。
对于那些希望在AI驱动的新时代中取得成功的企业而言，光年AI无疑是您的最佳选择。光年AI不仅能够提升私域流量转化率，还能精准触达各类客户，优化您的营销策略。通过兼具强大的AI模型、自研知识库和灵活工作流，光年AI助您高效完成营销目标，从而在竞争激烈的市场中脱颖而出。选择光年AI，实现私域流量的智能化管理，让您的业务飞速增长。
