没想到，多模态Llama 4已经紧锣密鼓地开始训练中了。小扎表示，将投入Llama 3的十倍计算量训练模型，预计2025年发布。他不惜重金购买GPU，就是害怕为时已晚。
Llama 3.1刚发布不久，Llama 4已完全投入训练中。
这几天，小扎在二季度财报会上称，Meta将用Llama 3的十倍计算量，训练下一代多模态Llama 4，预计在2025年发布。
这笔账单，老黄又成为最大赢家
十倍计算量，是什么概念？
要知道，Llama 3是在两个拥有24,000块GPU集群完成训练。也就是说，Llama 4训练要用24万块GPU。
那么，Meta存货还够不够？
还记得小扎曾在年初宣布，计划到年底要部署35万块英伟达H100。
他还透露了更多的细节，Meta内部将为训练LLM打造两个单集群，一个配备22,000块H100，另一个集群配备24,000块。
有网友曾回顾了Llama模型迭代过程中，GPU的用量如何增长的：
Llama 1：2048块GPU
Llama 2：4096块GPU
Llama 3.1：16384块GPU
或斥资400亿美金，小扎不愿为时已晚
可见，训练大模型是一项代价高昂的业务。
财报显示，Meta第二季度在服务器、数据中心和网络基础设施上，资本支出增长了近33%。
从去年同期64亿美元，增至85亿美元。
现在，预计年度支出将达到370亿-400亿美元，高于之前预估的350亿-400亿美元。
Information一份报告称，OpenAI在训练模型上花费了30亿美元，另外还花费了40亿美元以折扣价从微软那里租用服务器。
可见，训练大模型算力花费，是多么地讽刺。
不过意义在于，Llama 3.1的开源将成为AI行业的一个重要转折点，开源人工智能开始像Linux一样成为行业标准。
Meta正在规划未来几年的计算集群和数据中心，以支持未来几代AI模型。
小扎承认，很难去预测未来AI技术的发展路径，但基建不是速成的。
尽管存在不确定性，我愿意冒险提前建立，也不愿意因准备不足而落后于竞争对手。
小扎这种先见之明，曾带领公司在元宇宙浪潮中，坚挺而出。
在2022年公司股价遭遇重创之际，小扎还是铤而走险，购买了大批H100。
当年第三季度财报显示，Meta资本支出高达320亿-330亿美元。
其中一部分大多流向数据中心、服务器和网络基础设施构建，以及在元宇宙上的巨额投入。
在采访中，小扎解释道，「当时Meta正大力发展短视频工具Reels，因此需要更多的GPU来训模型」。
因为模型推理对Meta来说，是至关重要的一件大事，需要为Facebook、Ins等自家应用的用户提供服务。
用小扎的原话来说就是：
我们所需的推理计算与训练的比率，可能远高于其他从事这一领域的公司，这是因为我们所服务的社区用户量非常庞大。
人手一个AI智能体
前段时间Meta AI科学家Thomas Scialom在一次博客采访中，同样提到了，6月份已经开始训练的Llama 4。
他表示，新模型可能重点在智能体技术上，并且已经在Toolformer等agent工具上进行了一些研究。
小扎相信，AI智能体很快将成为在线企业的「标配」。
「随着时间的推移，我认为，就像每个企业都有网站、社交媒体账号和电子邮件地址一样，未来每个企业也都会有一个AI智能体，让客户可以与之互动」。
Meta的目标是，让使每个小企业，最终甚至每个大企业，都能轻松地将自身的内容和产品整合到AI智能体中。
当这项技术大规模投入到现实应用中，这将大大加速我们的商业信息收入。
尽管投资者对Meta在AI和元宇宙上的高额支出提出批评，但小扎仍旧坚持自己的战略。
虽然在Meta最近几个季度，虚拟现实似乎已经退居次要地位，但扎克伯格确实提到，Quest 3的销量超出了公司的预期。
二季度数显示，这一领域的收入增长22%至391亿美元，利润增加73%至135亿美元。
对于第三季度，Meta预计收入在385-410亿美元之间。
消息人士表示，该公司将在9月份的Connect大会上宣布推出一款更便宜的耳机。
此外，AI助手Meta AI越来越受欢迎，小扎表示，它有望在年底前成为使用最广泛的AI助手。
参考资料：
https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next-generation-lama-4-ai-model/
https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg
