Skip to content
没想到，多模态Llama 4已经紧锣密鼓地开始训练中了。小扎表示，将投入Llama 3的十倍计算量训练模型，预计2025年发布。他不惜重金购买GPU，就是害怕为时已晚。
Llama 3.1刚发布不久，Llama 4已完全投入训练中。
这几天，小扎在二季度财报会上称，Meta将用Llama 3的十倍计算量，训练下一代多模态Llama 4，预计在2025年发布。
这笔账单，老黄又成为最大赢家
十倍计算量，是什么概念？
要知道，Llama 3是在两个拥有24,000块GPU集群完成训练。也就是说，Llama 4训练要用24万块GPU。
那么，Meta存货还够不够？
还记得小扎曾在年初宣布，计划到年底要部署35万块英伟达H100。
他还透露了更多的细节，Meta内部将为训练LLM打造两个单集群，一个配备22,000块H100，另一个集群配备24,000块。
有网友曾回顾了Llama模型迭代过程中，GPU的用量如何增长的：
Llama 1：2048块GPU
Llama 2：4096块GPU
Llama 3.1：16384块GPU
或斥资400亿美金，小扎不愿为时已晚
可见，训练大模型是一项代价高昂的业务。
财报显示，Meta第二季度在服务器、数据中心和网络基础设施上，资本支出增长了近33%。
从去年同期64亿美元，增至85亿美元。
现在，预计年度支出将达到370亿-400亿美元，高于之前预估的350亿-400亿美元。
Information一份报告称，OpenAI在训练模型上花费了30亿美元，另外还花费了40亿美元以折扣价从微软那里租用服务器。
可见，训练大模型算力花费，是多么地讽刺。
不过意义在于，Llama 3.1的开源将成为AI行业的一个重要转折点，开源人工智能开始像Linux一样成为行业标准。
Meta正在规划未来几年的计算集群和数据中心，以支持未来几代AI模型。
小扎承认，很难去预测未来AI技术的发展路径，但基建不是速成的。
尽管存在不确定性，我愿意冒险提前建立，也不愿意因准备不足而落后于竞争对手。
小扎这种先见之明，曾带领公司在元宇宙浪潮中，坚挺而出。
在2022年公司股价遭遇重创之际，小扎还是铤而走险，购买了大批H100。
当年第三季度财报显示，Meta资本支出高达320亿-330亿美元。
其中一部分大多流向数据中心、服务器和网络基础设施构建，以及在元宇宙上的巨额投入。
在采访中，小扎解释道，「当时Meta正大力发展短视频工具Reels，因此需要更多的GPU来训模型」。
因为模型推理对Meta来说，是至关重要的一件大事，需要为Facebook、Ins等自家应用的用户提供服务。
用小扎的原话来说就是：
我们所需的推理计算与训练的比率，可能远高于其他从事这一领域的公司，这是因为我们所服务的社区用户量非常庞大。
人手一个AI智能体
前段时间Meta AI科学家Thomas Scialom在一次博客采访中，同样提到了，6月份已经开始训练的Llama 4。
他表示，新模型可能重点在智能体技术上，并且已经在Toolformer等agent工具上进行了一些研究。
小扎相信，AI智能体很快将成为在线企业的「标配」。
「随着时间的推移，我认为，就像每个企业都有网站、社交媒体账号和电子邮件地址一样，未来每个企业也都会有一个AI智能体，让客户可以与之互动」。
Meta的目标是，让使每个小企业，最终甚至每个大企业，都能轻松地将自身的内容和产品整合到AI智能体中。
当这项技术大规模投入到现实应用中，这将大大加速我们的商业信息收入。
尽管投资者对Meta在AI和元宇宙上的高额支出提出批评，但小扎仍旧坚持自己的战略。
虽然在Meta最近几个季度，虚拟现实似乎已经退居次要地位，但扎克伯格确实提到，Quest 3的销量超出了公司的预期。
二季度数显示，这一领域的收入增长22%至391亿美元，利润增加73%至135亿美元。
对于第三季度，Meta预计收入在385-410亿美元之间。
消息人士表示，该公司将在9月份的Connect大会上宣布推出一款更便宜的耳机。
此外，AI助手Meta AI越来越受欢迎，小扎表示，它有望在年底前成为使用最广泛的AI助手。
参考资料：
https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next-generation-lama-4-ai-model/
https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg
一分钟速览新闻点！
Gemma 2-2B 开源端侧模型正式发布
马斯克 xAI 欲收购角色扮演聊天机器人开发商 Character.AI
上海人工智能实验室开源 AI 搜索框架 MindSearch
Salesforce AI 开源大型多模态交织数据集 MINT-1T
苹果发布 Apple Intelligence 开发者预览版
Meta AI 推出视频/图像分割模型 Segment Anything Model (SAM) 2
Meta AI 推出个性化 Agent 平台 AI Studio
扎克伯格：训练 Llama 4 所需算力几乎是 Llama 3.1 的 10 倍
Meta 因未经用户许可使用面部识别技术向德州支付 14 亿美元
每月花费近 2000 万美元，消息称 TikTok 成为微软 AI 服务最大客户之一
Reddit CEO：微软等公司必须付费才能抓取数据，“封锁这些公司真是一件痛苦的事情”
国内外 AI 要闻
Gemma 2-2B 开源端侧模型正式发布
近日，Google DeepMind 正式发布 Gemma 2-2B 模型并开源。该模型具有更小、更安全的特点，性能出色，能与规模大 10 倍的模型相匹敌，超越了 GPT-3.5-Turbo 和 Mistral-8x7b。它基于 NVIDIA TensorRT-LLM 库优化，在 lmsys 榜单中获得第 47 名，超过了 GPT-3.5-Turbo 的第 51 名和 Mistral-8x7b 的第 56 名。
项目链接：https://huggingface.co/collections/google/gemma-2-2b-release-66a20f3796a2ff2a7c76f98f
马斯克 xAI 欲收购角色扮演聊天机器人开发商 Character.AI
据悉，埃隆·马斯克的 xAI 已与人工智能初创公司 Character.AI 就收购展开讨论。Character.AI 去年曾进行估值超 50 亿美元的融资谈判，马斯克为 xAI 筹集约 60 亿美元，其估值达 240 亿美元。Character.AI 由谷歌校友创立于 2021 年，服务特色是允许用户创建定制聊天机器人。目前双方谈判进展不明。
上海人工智能实验室开源 AI 搜索框架 MindSearch
近日，上海人工智能实验室开源了性能匹敌 Perplexity Pro 付费级别的 AI 搜索框架 MindSearch，并提供了 Demo 和代码。MindSearch 能够浏览数百个网页来深入理解和回答问题，动态构建思考图谱，还会将用户查询分解为原子子问题并逐步扩展图。它支持解决生活中的各类问题，在深度、广度、真实性上超越 ChatGPT-Web 和 Perplexity.ai （Pro）。MindSearch 拥有优化的 UI 体验，提供多种接口，能基于多代理反思机制提高可信度和可用性。
代码链接：https://github.com/InternLM/MindSearch
论文链接：https://arxiv.org/abs/2407.20183
Salesforce AI 开源大型多模态交织数据集 MINT-1T
Salesforce AI 开源了名为 MINT-1T 的多模态交织数据集。它规模庞大，包含一万亿个文本标记和 34 亿张图像，比现有开源数据集大 10 倍。其数据来源广泛，涵盖多种文档。在构建中遵循规模和多样性原则，收集处理精细，过滤全面。使用该数据集预训练的模型在评估中表现出色，对其的深入分析也显示出显著优势，有望为相关研究和应用带来重要价值。
代码链接：https://huggingface.co/collections/mlfoundations/mint-1t-6690216ca4d0df7e518dde1c
论文链接：https://arxiv.org/abs/2406.11271
苹果发布 Apple Intelligence 开发者预览版
近日，苹果发布了 Apple Intelligence 的开发者预览版，iPhone 15 Pro、iPhone 15 Pro Max 及部分 Mac 和 iPad 设备可使用，但部分功能暂不可用，欧洲和中国用户设备暂不支持。苹果发布技术报告，称基础模型在 Google 定制 Tensor 处理单元预训练，租用云服务提供商服务器计算。该系统在全球开发者大会发布，深度集成多种系统，有多任务处理等特性，核心模型包括两种主要类型。
Meta AI 推出视频/图像分割模型 Segment Anything Model (SAM) 2
Meta AI 推出新一代的 Segment Anything Model (SAM) 2，在视频和图像对象分割上功能强大。它能实时精确分割，在多个领域有广泛应用，性能卓越，在多数据集上优于以往。其架构先进，引入内存机制保持分割的一致性和准确性。开源代码和权重，提供丰富数据集。在公平性和人机交互效率方面表现出色，大幅减少视频分割的交互时间。
模型下载：https://github.com/facebookresearch/segment-anything-2
论文链接：https://ai.meta.com/research/publications/sam-2-segment-anything-in-images-and-videos/
Meta AI 推出个性化 Agent 平台 AI Studio
近日，Meta AI 推出了基于 Llama 3.1 的 AI Studio 平台。该平台让任何人无需技术技能就能轻松创建定制的 AI 角色，包括创作者 AI 和基于兴趣的角色。用户可创建、自定义，从模板开始或从零设计，设置名字、性格等，还能选择训练内容。创建的角色能分享，也能发现他人的角色并互动。此平台可用于教学、社交管理等领域，有自动回复和个性化互动功能，帮助创作者扩大影响力，相关链接也已给出。
扎克伯格：训练 Llama 4 所需算力几乎是 Llama 3.1 的 10 倍
Meta 第二季度盈利延续良好态势，上季度营收超 390 亿美元，利润约 135 亿美元，用户使用活跃。CFO 表示 AI 投资回报需长期等待，扎克伯格愿提前投资基础设施。Meta AI 助手有望年底成为全球使用最多的助手，未来真正收入将来自商业应用。
值得关注的是，Meta AI 近期已在准备训练 Llama 4，扎克伯格希望其明年推出时成为业内“最先进”模型，但他同时表示，训练 Llama 4 所需计算量几乎是 Llama 3.1 的 10 倍。此外，Quest 3 销售超预期，Threads 即将拥有 2 亿月活用户，Facebook 在年轻人群体中重新增长。
Meta 因未经用户许可使用面部识别技术向德州支付 14 亿美元
Meta（前 Facebook）同意支付 14 亿美元与德克萨斯州和解，此为该州与单一公司达成的最大和解协议，用以解决未授权使用用户生物特征数据的隐私诉讼。此前，该公司已根据类似指控在伊利诺伊州达成 6.5 亿美元和解。德克萨斯州共和党总检察长肯・帕克斯顿表示，这一和解体现了对科技公司违法行为的严肃处理。Meta 表示问题已得到解决，并希望在未来加深在德克萨斯州的投资，包括开发数据中心。诉讼指控 Meta 违反了禁止未经同意获取或出售生物特征信息的州法律。此外，Meta 在 2021 年关闭了人脸识别系统并删除了超过 10 亿人的脸部指纹数据，当时有超过三分之一的使用者选择了面部识别功能。
每月花费近 2000 万美元，消息称 TikTok 成为微软 AI 服务最大客户之一
有消息称，截至今年 3 月份，TikTok 每月向微软支付近 2000 万美元，以通过微软购买 OpenAI 的模型。这笔金额几乎占据了微软 AI 收入的四分之一，也使 TikTok 成为微软 AI 服务的最大客户之一。在全球云计算市场的竞争中，微软通过整合 OpenAI 的人工智能技术，成功地将其云服务转化为一项利润丰厚的业务。微软的云 AI 业务有望实现年收入 10 亿美元（当前约 72.48 亿元人民币），但该报道指出，如果 TikTok 开发出自己的大型语言模型，它可能不再需要如此大量地依赖这些（来自微软的）能力。（The Information）
Reddit CEO：微软等公司必须付费才能抓取数据，“封锁这些公司真是一件痛苦的事情”
Reddit CEO 史蒂夫・霍夫曼近日表示，如果微软等公司希望继续抓取该网站的数据，就必须付费。此前，Reddit 已经与谷歌和 OpenAI 达成协议。霍夫曼指出，如果没有这些协议，Reddit 无法控制或了解其数据的使用方式，这迫使他们不得不屏蔽那些不愿意接受数据使用条件的公司。他特别点名了微软、Anthropic 和 Perplexity 三家公司，称他们拒绝谈判，并称封锁这些公司“非常麻烦”。