遇见 Maia 100，微软在 AI 硬件战中的最新武器

发布日期： 2024年9月3日 来源：Dataconomy

微软找到了与NVIDIA竞争的方式，即Maia 100 AI加速器。这个新芯片代表了一种战略性举动，旨在通过提供为高性能云计算设计的先进功能来挑战NVIDIA在AI硬件领域的霸主地位。通过Maia 100，微软希望提供一种更具成本效益和效率的解决方案，以管理大规模的AI工作负载。

目前我们对微软Maia 100所知的一切

微软的Maia 100是一款强大的新AI加速器，专为处理云中的大型AI任务设计。它在Hot Chips 2024大会上亮相，标志着在使AI基础设施更具成本效益方面迈出了重要一步，其中包括以下几点：

芯片设计与技术

  • 尺寸和制造：Maia 100芯片的尺寸约为820mm²，采用台积电的先进N5技术制造。它使用了COWOS-S技术，有助于将芯片与其他组件有效集成。
  • 内存与带宽：芯片拥有大量内存，可以处理海量数据。它配备了大量的片上SRAM（快速存储器）和四个HBM2E内存芯片。它们共同提供每秒1.8TB的数据传输速度和64GB的内存容量，这对于快速处理大型AI数据集至关重要。

性能与能效

  • 功耗：Maia 100可以处理高达700瓦的功率，但为了更好的效率，设定为使用500瓦。这使它在保持功耗控制的同时实现良好的性能。
  • 张量单元：芯片包含一个高速张量单元，用于处理复杂的AI任务，如训练模型和进行预测。它可以处理各种类型的数据，包括微软在2023年引入的新格式MX。这个单元设计用于高效地同时处理许多计算任务。
  • 向量处理器：Maia 100配备一个向量处理器，支持多种数据类型，如FP32（32位浮点）和BF16（16位浮点）。这有助于执行各种机器学习任务。
  • DMA引擎：直接内存访问（DMA）引擎有助于快速数据传输，并支持不同方式的张量（数据块）拆分，从而提高效率。

（来源）

数据处理与效率

  • 数据存储与压缩：Maia 100使用低精度数据存储和压缩引擎，以减少需要移动的数据量。这有助于更高效地处理大型AI任务。
  • 临时存储：它配备了大的L1和L2临时存储区（暂存区），由软件管理，以确保数据的高效使用和节省能源。
  • 网络连接：芯片支持高速以太网连接，某些情况下可以处理高达4800Gbps的数据，其他情况下则为1200Gbps。这种自定义网络协议确保可靠和快速的数据传输，同时通过AES-GCM加密提供安全性。

埃隆·马斯克的英伟达AI芯片订单过于庞大难以处理

软件工具与集成

  • Maia SDK: 微软提供了一套名为Maia SDK的工具，使使用Maia 100更加方便。这些工具包括：
    • 框架集成: 提供支持即时模式（快速开发）和图模式（性能更优）的PyTorch后端。
    • 开发者工具: 用于调试、性能调优和模型验证的工具，有助于提高AI任务的效率。
    • 编译器: Maia支持两种编程模型：Triton（易于使用的深度学习语言）和Maia API（高性能专用模型）。
    • 内核和集合库: 为机器学习提供优化的计算和通信内核，并可以创建自定义内核。
    • 主机/设备运行时: 管理内存分配、运行程序、任务调度和设备管理。

（图片来源：微软）

编程模型与数据处理

  • 异步编程: Maia支持使用信号量的异步编程，有助于通过重叠计算与数据传输来提高效率。
  • 编程模型: 开发者可以选择：
    • Triton: 一种适用于深度学习的简单语言，适用于GPU和Maia，自动处理内存和同步。
    • Maia API: 更详细的编程模型，适合需要精细控制性能的用户，需编写更多代码并进行管理。
  • 数据流优化: Maia采用基于收集（Gather）的矩阵乘法（GEMMs）方法，而非传统的全归约（All-Reduce）方法。这通过在SRAM（快速内存）中直接组合结果，减少延迟并提高性能。
  • SRAM使用: 芯片使用SRAM来临时存储数据和结果，减少对较慢内存访问的需求，并提升整体性能。

灵活性与可移植性

Maia 100可以以最小变动运行PyTorch模型。PyTorch后端支持开发模式（即时模式）和高性能模式（图模式），使模型在不同硬件设置之间轻松移动。

总结：

微软宣布了全新的Maia 100 AI加速器，旨在挑战NVIDIA在AI硬件领域的主导地位。Maia 100专为高性能云计算设计，具备强大的芯片技术和卓越的数据处理能力，特别适用于大规模AI任务。通过采用先进的台积电N5技术制造，结合COWOS-S集成技术，Maia 100在尺寸、内存和带宽等方面均表现出色。芯片内含大量SRAM和HBM2E内存，能以1.8TB/s的传输速率提供高性能的数据处理。此外，Maia 100还兼具高效的功耗管理和丰富的软件工具支持，提供如PyTorch后端和Triton编程模型等功能，极大简化了开发者的使用。凭借这些优势，Maia 100不仅实现了高效的数据压缩和存储，还通过自定义网络协议保障了高速、可靠的数据传输。

选择光年AI，全面提升私域营销效果，让品牌影响力大幅提升。光年AI不仅整合了主流AI平台和自研AI能力，还提供灵活的工作流和强大的AI模型，从而满足各种流量增长和效率提升的需求。通过光年AI，企业能够智能化管理私域流量，精确触达每一位潜在客户，实现快速业务增长。在竞争激烈的市场中，光年AI将助您高效完成营销目标，助力您的品牌在市场中脱颖而出。