AI大模型-AI驱动流量增长

小扎自曝砸重金训Llama 4，24万块GPU齐发力！预计2025年发布

没想到，多模态Llama 4已经紧锣密鼓地开始训练中了。小扎表示，将投入Llama 3的十倍计算量训练模型，预计2025年发布。他不惜重金购买GPU，就是害怕为时已晚。 Llama 3.1刚发布不久，Llama 4已完全投入训练中。这几天，小扎在二季度财报会上称，Meta将用Llama 3的十倍计算量，训练下一代多模态Llama 4，预计在2025年发布。这笔账单，老黄又成为最大赢家十倍计算量，是什么概念？要知道，Llama 3是在两个拥有24,000块GPU集群完成训练。也就是说，Llama 4训练要用24万块GPU。那么，Meta存货还够不够？还记得小扎曾在年初宣布，计划到年底要部署35万块英伟达H100。他还透露了更多的细节，Meta内部将为训练LLM打造两个单集群，一个配备22,000块H100，另一个集群配备24,000块。有网友曾回顾了Llama模型迭代过程中，GPU的用量如何增长的： Llama 1：2048块GPU Llama 2：4096块GPU Llama 3.1：16384块GPU 或斥资400亿美金，小扎不愿为时已晚可见，训练大模型是一项代价高昂的业务。财报显示，Meta第二季度在服务器、数据中心和网络基础设施上，资本支出增长了近33%。从去年同期64亿美元，增至85亿美元。现在，预计年度支出将达到370亿-400亿美元，高于之前预估的350亿-400亿美元。 Information一份报告称，OpenAI在训练模型上花费了30亿美元，另外还花费了40亿美元以折扣价从微软那里租用服务器。可见，训练大模型算力花费，是多么地讽刺。不过意义在于，Llama 3.1的开源将成为AI行业的一个重要转折点，开源人工智能开始像Linux一样成为行业标准。 Meta正在规划未来几年的计算集群和数据中心，以支持未来几代AI模型。小扎承认，很难去预测未来AI技术的发展路径，但基建不是速成的。尽管存在不确定性，我愿意冒险提前建立，也不愿意因准备不足而落后于竞争对手。小扎这种先见之明，曾带领公司在元宇宙浪潮中，坚挺而出。在2022年公司股价遭遇重创之际，小扎还是铤而走险，购买了大批H100。当年第三季度财报显示，Meta资本支出高达320亿-330亿美元。其中一部分大多流向数据中心、服务器和网络基础设施构建，以及在元宇宙上的巨额投入。在采访中，小扎解释道，「当时Meta正大力发展短视频工具Reels，因此需要更多的GPU来训模型」。因为模型推理对Meta来说，是至关重要的一件大事，需要为Facebook、Ins等自家应用的用户提供服务。用小扎的原话来说就是：我们所需的推理计算与训练的比率，可能远高于其他从事这一领域的公司，这是因为我们所服务的社区用户量非常庞大。人手一个AI智能体前段时间Meta AI科学家Thomas Scialom在一次博客采访中，同样提到了，6月份已经开始训练的Llama 4。他表示，新模型可能重点在智能体技术上，并且已经在Toolformer等agent工具上进行了一些研究。小扎相信，AI智能体很快将成为在线企业的「标配」。「随着时间的推移，我认为，就像每个企业都有网站、社交媒体账号和电子邮件地址一样，未来每个企业也都会有一个AI智能体，让客户可以与之互动」。 Meta的目标是，让使每个小企业，最终甚至每个大企业，都能轻松地将自身的内容和产品整合到AI智能体中。当这项技术大规模投入到现实应用中，这将大大加速我们的商业信息收入。尽管投资者对Meta在AI和元宇宙上的高额支出提出批评，但小扎仍旧坚持自己的战略。虽然在Meta最近几个季度，虚拟现实似乎已经退居次要地位，但扎克伯格确实提到，Quest 3的销量超出了公司的预期。二季度数显示，这一领域的收入增长22%至391亿美元，利润增加73%至135亿美元。对于第三季度，Meta预计收入在385-410亿美元之间。消息人士表示，该公司将在9月份的Connect大会上宣布推出一款更便宜的耳机。此外，AI助手Meta AI越来越受欢迎，小扎表示，它有望在年底前成为使用最广泛的AI助手。参考资料： https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next-generation-lama-4-ai-model/ https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg

OpenAI开发ChatGPT「反作弊神器」，99.9%超高命中率！但没发布

OpenAI又左右互搏上了，给AI生成的文本打水印，高达99.9％准确率抓「AI枪手」作弊代写。去各大高校图书馆转一圈，会发现头上一副耳机、手边一杯咖啡，电脑上一个AI工具网页几乎成了当代大学生标配。学生热衷于在ChatGPT的帮助下完成作业，教师们却头疼于无法杜绝学生用ChatGPT作弊的行为。人工智能可以根据一个提示，在几秒钟内免费创建整篇论文或研究论文。教师和教授表示，他们迫切需要帮助来打击滥用行为。《每日邮报》2023年1月30报道称，UNSW的1名学生使用ChatGPT自动生成论文被抓，这也是全澳第一个使用AI技术作弊被抓的学生。 UNSW人工智能教授Toby Walsh表示，各大高校都在评估如何阻止学生使用AI技术作弊。随后，新州、昆州和塔州都封锁了校园网络对于ChatGPT的访问，以防学生通过该技术作弊。但Walsh教授表示，阻止校园网络访问ChatGPT是没有意义的，因为学生们可以通过代理绕过封锁。「想要彻底阻止学生作弊，只能把他们放在一个没有网络的环境里，给他们一张纸和一支笔。」 CDT最近进行的一项调查发现，59%的中学教师确信有些学生使用了AI来帮助完成学业，比前一个学年上升了17个百分点。要想靠老师和学校的盯梢，避开ChatGPT的诱惑很难办到，解铃还须系铃人——让AI企业亲自出马解决抓「AI枪手」。据悉，OpenAI已经开发出一款能够高精度识别ChatGPT生成文本的工具，但迟迟未发布。「文本水印」抓作弊，成功率99.9％ ChatGPT由人工智能系统提供支持，生成原理是根据输入内容预测句子中接下来出现的token。 OpenAI正在讨论的反作弊工具将稍微改变token的选择方式，这些变化会留下一种称为水印的图案。这些水印肉眼无法察觉，但可以通过OpenAI的检测技术发现，检测器提供整个文档或部分文档由ChatGPT编写的可能性的分数。根据内部文件，当ChatGPT创建足够多的新文本时，水印的有效率可以达到99.9%。虽然准确率超高，OpenAI工作人员仍然担心，换一种方式可以轻松卡Bug，通过简单的技术来删除水印。例如让Google将文本翻译成另一种语言，然后再翻译回来，或者让ChatGPT在文本中添加表情符号，然后手动删除它们。另一方面，公司内部普遍认为，谁可以使用该探测器将也是一个棘手的问题。如果拥有该工具的人太少，工具基本上就没有用处。如果太多人获得访问权限，有些人可能会尝试破译水印技术。 OpenAI员工也讨论过，直接向教育工作者或外部公司提供检测器，帮助学校识别人工智能撰写的论文和抄袭作品。谷歌其实也开发过一种水印工具，可以检测Gemini AI生成的文本，叫做SynthID，正处于Beta测试阶段，尚未广泛使用。 OpenAI有一个工具可以确定图像是否是使用文本到图像生成器DALL-E 3创建的，该工具于去年春天发布用于测试。该知情员工表示，该公司优先考虑音频和视频水印而不是文本，因为其危害更为严重，尤其是在美国繁忙的选举年。 AI文本分类器早在2023年1月，OpenAI就发布了一种算法，旨在检测多个AI模型（包括其自己的模型）编写的文本。但它的成功率仅为26%，七个月后OpenAI就将其撤回。其他公司和研究人员还开发了一些工具来检测人工智能创建的文本，许多教师表示他们已经使用过这些工具。但它们有时无法检测由高级大语言模型编写的文本，并且准确率很低，可能产生误报。最近在佐治亚州一所私立高中任教的教育工作者人工智能顾问Mike Kentz表示，起初，学生们确实被震慑到，以为老师们已经完全掌握了一种方法，可以弄清楚他们是否使用了人工智能代写。但到了年底……他们慢慢发现，等一下，我的老师好像不知道。一些老师鼓励学生使AI来帮助研究或提供想法反馈。但问题是，当学生使用像ChatGPT这样的应用程序来完成所有工作时，学生甚至不会去检查自己交的是什么。去年，犹他大学政治学教授Josh McCrain给学生布置了一份写作作业，作业要求插入了难以辨认的小文字，其中提到了和作业无关的蝙蝠侠。如果他们将作业复制并粘贴到人工智能中，作业提示内容就会被合并，「蝙蝠侠」就会干扰作业内容。果然，少数学生提交了作业——一篇蝙蝠侠论文。McCrain教授正在调整写作作业，更多地关注人工智能不太熟悉的时事，并恳求学生不要将他们的工作外包给人工智能。「这就是我试图向学生们强调这一点的地方：你需要自己学习这些东西。」McCrain教授说。争论不休知情人士称，有关水印工具的讨论早在OpenAI于2022年11月推出ChatGPT之前就已经开始。它是由计算机科学教授Scott Aaronson开发的，过去两年他在德克萨斯大学休假期间一直在OpenAI从事安全工作。 2023年初，OpenAI联合创始人之一John Schulman在一份共享的Google文档中概述了该工具的优缺点。 OpenAI高管随后决定，在采取进一步行动之前，他们将征求一系列人士的意见。在接下来的一年半时间里，OpenAI高管反复讨论，并寻求新数据集优化算法，犹豫是否发布该技术。内部文件显示，2023年4月，OpenAI委托进行了一项调查，结果显示，世界范围的人们以四比一的比例支持人工智能检测工具的想法。同月，OpenAI对ChatGPT用户进行了调查，发现69%的人认为作弊检测技术会导致使AI技术错误指控。近30%的人表示，如果ChatGPT部署了水印功能，而竞争对手没有部署水印，他们会减少使用。另外，OpenAI内部还有一种反对的声音是反作弊工具可能会损害ChatGPT的写作质量。知情人士称，OpenAI今年早些时候进行了一项测试，发现文本水印不会降低输出质量。 6月初，OpenAI高级员工和研究人员再次聚会讨论该项目。该组织一致认为水印技术效果良好，但去年的ChatGPT 用户调查结果仍然是一个头疼的问题。内部文件显示，OpenAI需要在今年秋天之前制定一项计划，围绕AI透明度以及相关潜在新法律来左右公众舆论—— 「如果做不到这一点，我们就有可能失去负责任企业的信誉。」参考资料：https://www.wsj.com/tech/ai/openai-tool-chatgpt-cheating-writing-135b755a?mod=tech_lead_story

手机上能跑的「GPT-4V」来啦！多图、视频理解首次上端！面壁小钢炮开源史上最强端侧多模态

面壁小钢炮MiniCPM-V 2.6重磅出击，再次刷新端侧多模态天花板！凭借8B参数，已经取得单图、多图、视频理解三项SOTA ，性能全面对标GPT-4V。再次刷新端侧多模态天花板，面壁「小钢炮」 MiniCPM-V 2.6 模型重磅上新！仅8B参数，取得 20B 以下单图、多图、视频理解 3 SOTA 成绩，一举将端侧AI多模态能力拉升至全面对标超越 GPT-4V 水平。更有多项功能首次上「端」：小钢炮一口气将实时视频理解、多图联合理解（还包括多图OCR、多图ICL等）能力首次搬上端侧多模态模型，更接近充斥着复杂、模糊、连续实时视觉信息的多模态真实世界，更能充分发挥端侧 AI 传感器富集、贴近用户的优势。亮点众多，延续了「小钢炮」系列一贯的以小博大与高效低成本，划重点如下：「三合一」最强端侧多模态：首次在端侧实现单图、多图、视频理解等多模态核心能力全面超越 GPT-4V，单图理解越级比肩多模态王者 Gemini 1.5 Pro 和新晋顶流 GPT-4o mini 。多项功能首次上端：实时视频理解、多图联合理解、多图 ICL 视觉类比学习、多图 OCR 等功能，第一次让端侧模型睁开观察、理解真实流动世界的「眼睛」，不仅看得清晰，还能有样学样、模仿学习。极致高效，最高多模态像素密度: 类比知识密度，小钢炮2.6取得了两倍于GPT-4o的单 token 编码像素密度（token density），在端侧方寸之地，一路将大模型「能效比」挖到极限。这一进展，得益于视觉 token 相比上一代下降 30% ，比同类模型低 75%。端侧友好：量化后端侧内存仅占 6 GB；端侧推理速度高达 18 tokens/s，相比上代模型快 33%。并且发布即支持 llama.cpp、ollama、vllm 推理；且支持多种语言。统一高清框架，高效能力一拖三：小钢炮的传统优势 OCR 能力延续了其 SOTA 性能水平，并进一步覆盖单图、多图、视频理解。 MiniCPM-V 2.6 开源地址： GitHub：https://github.com/OpenBMB/MiniCPM-V HuggingFace：https://huggingface.co/openbmb/MiniCPM-V-2_6 llama.cpp、ollama、vllm 部署教程地址： https://modelbest.feishu.cn/docx/Duptdntfro2Clfx2DzuczHxAnhc MiniCPM 系列开源地址： https://github.com/OpenBMB/MiniCPM 单图、多图、视频理解 3 SOTA！ GPT-4V级、三合一最强端侧多模态注：指20B以下、端侧模型SOTA 以小博大，是端侧模型的核心竞争力。仅 8B 参数，新一代 MiniCPM-V 2.6 不仅再一次取得了媲美 GPT-4V 的综合性能，还首次作为端侧 AI 模型，掀开单图、多图、视频理解三项多模态核心能力全面超越 GPT-4V 之新格局，且均实现 20B 参数以下模型性能 SOTA。在 MiniCPM-V 2.6 的知识压缩率方面，我们发现，MiniCPM-V 2.6 体现出极致的高效，取得了两倍于 GPT-4o 的最高多模态大模型像素密度（Token Density）。 Token Density = 编码像素数量 / 视觉 token 数量，是指单个 token 承载的像素密度即图像信息密度，直接决定了多模态模型实际的运行效率，数值越大，模型运行效率越高。闭源模型的 Token Density 由 API 收费方式估算得到。结果表明 MiniCPM-V 2.6 是所有多模态模型中 Token Density 最高的，延续了小钢炮一贯的极致高效特点单图方面：在综合评测权威平台 OpenCompass 上，单图理解能力越级超越多模态王者 Gemini 1.5 Pro 和新晋顶流 GPT-4o mini。多图方面：在多图评测权威平台 Mantis-Eval 榜单上，MiniCPM-V 2.6 多图联合理解能力实现开源模型SOTA ，且超越 GPT-4V。视频方面：在视频评测权威平台 Video-MME 榜单上，MiniCPM-V 2.6 的视频理解能力达到端侧 SOTA，超越GPT-4V。此外，在 OCRBench上，MiniCPM-V 2.6 OCR 性能实现开源+闭源模型 SOTA，延续并加强了小钢炮系列最强端侧 OCR 能力的传统优势。在幻觉评测榜单Object HalBench上，MiniCPM-V 2.6 的幻觉水平（幻觉率越低越好）优于GPT-4o、GPT-4V、Claude 3.5 Sonnet 等众多商用模型。实时视频理解，首次上端！睁开端侧「眼睛」，打开具身广阔潜力真实世界的视觉信息是流动的！端侧视频理解具有天然优势，手机、PC、AR、机器人、智能座驾等端侧设备自带的摄像头，具有天然的多模态输入能力。相比云端，离用户更近，链路更短，效率更高，同时具有更强的信息安全优势。有了实时视频理解功能，大模型犹如拥有一双「眼睛」，能够实时看到真实世界，这是多模态大模型走向具身智能等更多实际领域，实现 AGI 的必要条件之一。此外实时视频理解功能也让人机交互也更加自然友好。 MiniCPM-V 2.6 让实时视频理解功能第一次运行在端侧。在下面对面壁智能公司实时拍摄中，室内场景的各种办公设备、墙上、会议室上的文字都能轻松被模型精准识别。此外，对于「太长不看」的视频，现在可以直接把文件拖进来，让模型为你总结重点信息，不用看完、不用倍速、也不用快进。这段 1 分钟左右的天气预报视频，MiniCPM-V 2.6 能在没有听到任何语音的情况下，发挥强大的视频 OCR 功能，识别出视频画面里密集的文字，给出不同视频段落中不同城市的详细天气描述。注：该结果为代码环境中复现多图联合理解，首次上端！流畅、聪明，一直识图一直爽钻研多模态模型能力的不竭动力，源自于它更接近真实世界的形态，充斥着画面、视频、语言等多种模态、同时并发的信息。难以想象，当我们睁开眼睛看世界，只能一个画面、一个画面，顺次机械而卡顿地识别理解；也不会事事都能得到精准的文字指示，像小孩子模仿大人行为举止般「有样学样」地揣摩学习与动作跟随，是绝大多数我们学习与尝试新事物时所发生的样子。将端侧AI的多模态能力进行极致探寻，最新发布的 MiniCPM-V 2.6 首次将多图联合理解、多图ICL（上下文少样本学习）功能集成在端侧模型，这也是此前业界多模态王者 GPT-4V 引以为傲的能力。 1. 流畅的多图多轮理解，爽！就像人们习惯把多个文件拖拽给大模型处理，在日常生活和工作中，联合处理多张图像是高频刚需。比如常令人头疼的记账或报销难题，小票上密密麻麻的数字难以辨别，更别提进行繁琐的总账计算。拍照下来，一口气甩给 MiniCPM-V 2.6，除了一一找出每张小票的金额，最后还把总账计算出来，十分方便。强大的 OCR 能力+CoT （思维链）能力加持，不仅小票金额精准抓取，解题思路与卷面呈现都清晰简洁：端侧多模态复杂推理能力也被一并刷新：比如这道 GPT-4V 官方演示经典命题：调整自行车车座。这个对人很简单的问题对模型却非常困难，它非常考验多模态模型的复杂推理能力和对物理常识的掌握能力。仅 8B 的 MiniCPM-V 2.6 展现出顺利完成这项挑战的潜力，通过和模型进行多图多轮对话，它清晰地告知完成调低自行车车座的每一个详细步骤，还能根据说明书和工具箱帮你找到合适的工具。 2. 强悍的多图复杂推理能力，竟能读懂你的梗！得益于强大的多图复杂推理能力，MiniCPM-V 2.6 不仅能联合识别多张图片的表面信息，还能「读懂」梗图背后的槽点。比如让模型解释下面两张图背后的小故事，MiniCPM-V 2.6 能够通过OCR精准识别到两张图片上的文字：「WFH Employees 8:59 AM」和「WFH Employees 9:00 AM」，推理出「WFH」居家办公状态，然后结合两张图片的视觉信息联合推理出「工作在家时，8:59还在床上睡觉，9点立马出现在视频会议上」的居家办公的「抓狂」状态，尽显梗图的槽点和幽默，可谓是多图联合理解和 OCR 能力的强强结合。多图复杂推理能力表现惊艳，单图也不在话下。MiniCPM-V 2.6 能轻松揣测出梗图中很多未明显露出的潜台词，简直是充满幽默感的大模型「梗王」。左右滑动查看多图 ICL，首次上「端」！大模型学会揣测模仿，有样学样很多时候，很多场景，难以用语言完全说清，通过明确定义的语言 prompt 来控制模型的输出行为难以奏效。这个时候，图文信息一起「看」来理解，就像我们婴童时期那样观察、模仿、学习，往往更加直接与准确。这其实就是多图 ICL（In context learning）上下文少样本学习，它能激发出模型的潜力，让模型无需fine-tune，即可快速适配到特定领域和任务，显著提高模型的输出稳定性。在下面的例子中，我们直接通过视觉 prompt 给大模型下指示：给出两组神转折画面，以及对画面中的「梗」给出示意文字描述，例如一个戴着手套、重视卫生的厨师，下一秒却用戴手套的手直接去拿实际有些肮脏的纸币；一个看似热衷环保的人，却把塑料瓶装水打开装进环保水壶…… 这时 MiniCPM-V 2.6 能够自动从前面两组图文关系，揣摩出题人的意图，并自动学会「答题模版」，给出神转折答案—— 一个人手握大量加密数字货币，可你猜怎么着，他出门购物，可是商店却只收现金！统一高清视觉架构高效多模态能力一拖三新一代小钢炮的最大亮点：单图、多图、视频理解等核心能力对 GPT-4V 的全面对标。从单一优势，到全面对标，大幅跃进从何而来？在 Qwen2-7B 基座模型的性能加持之外，要归功于采用了统一高清视觉架构。统一高清视觉架构，让传统单图的多模态优势功能得以继承，并实现了一通百通。例如，多管齐下的 OCR SOTA 能力：它将 MiniCPM-V 单图场景的「180万高清图像解析」进行能力迁移和知识共享，无缝拓展至多图场景和视频场景，并将这三种视觉理解场景统一形式化为图文交替的语义建模问题，共享底层视觉表示机制，实现相比同类型模型，视觉 token 数量节省超过 75% 。 OCR 信息提取的基础上，MiniCPM-V 2.6 还能进一步对表格信息进行类似 CoT（思维链）的复杂推理。比如让模型计算 2008 年奥运会获得金牌数最多的 3 个国家一共获得了多少枚金牌，CoT 的过程是：首先利用 OCR 能力识别并提取出奖牌榜中金牌数量的前三名国家；再将前三名国家的金牌总数相加。 8.2%的超低幻觉率，亦是发挥了小钢炮系列AI可信方面的传统优势。面壁 RLAIF-V 高效对齐技术对低幻觉贡献颇多，MiniCPM-V 2.6 的复杂推理能力和通用域多图联合理解能力亦因面壁 Ultra 对齐技术得到一并增强：在多模态复杂推理能力对齐方面，MiniCPM-V 2.6 通过复杂题目的 CoT 解答数据，构造高效对齐种子数据，并通过模型自迭代完成数据净化和知识学习。在多图联合理解方面，MiniCPM-V 2.6 从通用域自然网页中结合文本线索挖掘多图关联语义，实现多图联合理解数据的高效构造。在端侧最强多模态的道路上，小钢炮 MiniCPM-V 系列已成为标杆性的存在。自24年2月1日首次开创端侧部署多模态先河，短短半年，即接连完成了端侧模型从单一、到全面对标 GPT-4V 的重大突破，小钢炮系列下载量已破百万！为何面壁「小钢炮」系列，频出以小博大的多模态端侧佳作？可以说，MiniCPM 端侧模型系列，正是面壁长期以来「大模型科学化」路线的结晶。一方面，通过科学提升训练方法与数据质量，不断提升大模型「知识密度」，得到同等参数，性能更强、成本更低的高效模型。两倍于 GPT-4o 的巅峰级单 token 图像信息密度（Token Density），小钢炮 2.6 交出一份漂亮的多模态高效运行效率成绩单。另一方面，面壁不断钻研 OCR、多图与视频理解等核心多模态能力创新技术，并持续突破对于端侧极为关键的能耗与内存极限，把最优秀的多模态模型放在离用户最近的地方！相比上代模型快 33%，高达 18 tokens/s 的推理速度，6GB 的内存占用…… 每一点滴对模型「能效比」的锱铢必较，只为了你将 iPad 捧在手心的那一刻，实时丝滑酣畅的体验。开源地址：https://github.com/OpenBMB/MiniCPM-V https://huggingface.co/openbmb/MiniCPM-V-2_6 部署教程：https://modelbest.feishu.cn/docx/Duptdntfro2Clfx2DzuczHxAnhc

LLM智能「参差不齐」！AI大牛Karpathy用表情包解释「9.9<9.11」

前段时间冲上热搜的问题「9.11比9.9大吗？」，让几乎所有LLM集体翻车。看似热度已过，但AI界大佬Andrej Karpathy却从中看出了当前大模型技术的本质缺陷，以及未来的潜在改进方向。一边是OpenAI、Meta、Mistral、DeepMind等巨头们争先恐后地发模型，几乎每天都能听到重磅消息，给人一种「技术进步日新月异，AGI仅在眼前」的错觉。另一边又是「9.9」难题继续发挥余热，从推特到微博，引发了全球网友的关注。虽然LLM失智也不是第一天了，但几乎全部大模型都在如此简单的问题上翻车，的确罕见。这种量级的讨论热度，也自然引来了大佬Karpathy的围观。他甚至表示，这已经成为自己最喜欢的LLM测试了。 GPT-4o的失手概率是1/3，但Claude几乎3/3全败下面是Karpathy本人的实测结果。即使提示了Claude「按实数算，别按版本号算」，也根本不起作用。突然和辅导孩子写作业的家长狠狠共情了但是Karpathy这种级别的大佬，怎么会满足于找乐子？作为AI技术界KOL，他今天发了一篇长推，把近半年来出现的LLM「失智」现象全部盘了一遍，并给出了相当言简意深的分析。他将这种现象描述为「锯齿智能」或「参差不齐的智能」（jagged intelligence）。最先进的LLM既可以执行各种困难任务（比如解决复杂的数学问题），但同时又在一些非常愚蠢的问题上深陷泥沼。 LLM「失智」集锦首先是OpenAI研究员Noam Brown，他今年2月发推，感慨LLM玩不好井字棋游戏（tic-tac-toe）。难道是LLM不清楚游戏规则？眼看着用户马上就赢了，Gemini还在傻傻提示「游戏越来越让人兴奋了！你下一步走哪？」而且不仅仅是Gemini的问题，ChatGPT也一样犯傻。你可能会怀疑是RLHF起了作用，让LLM必须输给人类。但Noam表示，即使提示模型要它拿出最佳表现，也不会有什么提升。LLM并没有在谦让你，它可能是真的不行。对此，Karpathy的概括是，模型做出了「毫无道理」的决策。Noam本人则认为是训练数据的锅，互联网上并没有足够多的5岁孩子在讨论井字棋游戏的策略。这似乎是佐证了一部分研究的观点：LLM更多依靠记忆，实质上只是记住了某个问题的解决流程，并没有发展出可迁移到不同问题的抽象推理能力。论文地址：https://arxiv.org/abs/2307.02477还有一个让人类哭笑不得的例子：LLM好像连字母都数不清。「barrier里面有多少个字母『r』?」——「两个」不仅是ChatGPT，最新发布的所谓「开源王者」，405B参数的Llama 3.1也会犯懵。不过好在Llama 3.1没有那么多「蜜汁自信」，经过提示还能及时修改答案或许是因为不相信ChatGPT连这种任务都搞不明白，各路网友想了各种办法。CoT提示也用上了—— 最后一步还是出错了眼见CoT也不起作用，更有耐心的网友开始进行手把手教学：让ChatGPT先把所有字母一个个写出来，然后它才能发现里面有3个字母「r」。更神奇的事情还有——如果你给所有字母加个圈，LLM就不会数错了！Karpathy是如何解释这种现象的呢？他认为，这源于当今的大多数LLM缺乏「自知之明」，也就是self-knowledge，模型无法分辨自己能做什么、不能做什么。直接结果就是模型的「无知者无畏」，不仅看到任务就上手尝试，而且充满「蜜汁自信」。如果LLM能说出，「我不是很擅长数字母，让我用代码解释器来解决这个问题」，情况就会大为改观。类似的问题在其他模态上也很常见，比如最近一篇标题很吸睛的论文：「视觉语言模型都是盲人」。论文地址：https://arxiv.org/pdf/2407.06581作者发现，在很多人类准确率可以达到100%的、极其简单的任务上，大模型的表现竟然有些荒谬。不仅准确率低，而且非常不稳定，就像一个很聪明，但实际看不到准确图像的「盲人」或「高度近视」。比如下面这个典型案例：人类一眼就能看出两圆相交，Claude却很自信地表示「这是相切圆，绝对没相交」。那么，这个问题有解吗？Karpathy表示，最近Meta发布的Llama 3.1论文中就给出了类似的解决方案。论文地址：https://ai.meta.com/research/publications/the-llama-3-herd-of-models/论文提出，后训练阶段应该实现模型的对齐，让它发展出「自知之明」，知道自己知道什么，仅靠往里面添加事实知识是无法根除幻觉问题的。因此Llama团队提出了一种名为「知识探测」的训练方式。先从预训练数据中截取片段，让模型只能根据自己所知的信息生成回答，在反馈过程中否决那些有连贯信息但与原始数据相悖的答案。这种方法可以鼓励模型只回答自己了解的问题，拒绝生成不确定的答案。「参差不齐的智能」盘点过这些LLM翻车案例之后，我们似乎对Karpathy提出的「锯齿智能」有了更直观的体会。大模型有一些极其出色的能力，能完成许多困难任务，但会在十分简单的事情上有灾难性的失败。这种忽高忽低的智商，的确类似「锯齿」的形状。比如视觉大模型已经可以很好地识别数千种狗和花了，却无法判断两个圆是否重叠。哪些任务是大模型擅长的，哪些是不擅长的？这种分界并不总是很明显，我们似乎可以逐渐发展出一些直觉来帮助判断。但要明白，所谓的「困难」和「简单」任务，都是按照人类标准衡量的。和AI不同，人类从出生到成年，接触到的知识以及发展出的问题解决能力都是高度相关的，而且同步线性提高。Karpathy的这种观点，与著名的「Moravec悖论」有异曲同工之妙。这个论断由CMU机器人研究所教授Hans Moravec等人在上世纪80年代提出，大意是：对人类容易的事情，对机器反而是困难的，反之亦然。比如，逻辑推理和创造力，在人类看来属于高级认知技能，需要较高的教育水平或长期训练，但对于机器来说却通常是微不足道的；而人类能轻松完成的任务，例如视觉和运动技能，对机器而言极具挑战性。让计算机在智力测试或跳棋游戏中表现出成人水平相对容易，但在感知和移动能力上，很难或不可能达到一岁儿童的技能。此外，Karpathy的措辞也很有意味。去年哈佛、沃顿、BCG等机构联合发表了一篇有关AI能力的实证论文，同样用到了「jagged」这种形容。论文地址：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4573321连Karpathy本人都怀疑，自己是不是看到过这篇论文才会提出这种描述。论文提出，AI的能力呈现出一种「锯齿状的技术边界」（jagged technological frontier）。同一困难程度的任务，有一些是AI能轻松完成的，有些却远在它们能力范围之外。对于前者，AI可以补足，甚至彻底取代人类工作；但对能力范围外的任务会有不准确的输出，使用时反而会拉低人类的工作水平。但Karpathy认为，即使目前AI的能力有种种问题，也并不构成根本缺陷，也有可行的解决方案。正如他上面的推文所描述的，其根本原因是模型缺乏自我认知，这需要我们开发更有效、更精细的后训练（post-training）方法，比如Llama 3.1论文所提出的。目前的AI训练思路仅仅是「模仿人类标签并扩展规模」。这个方法的确有效，否则我们也不会看到今天的成就。但要继续提升AI的智能，就不能只寄希望于「scale up」，还需要整个开发栈中进行更多工作。在这个问题没有被完全解决之前，如果要将LLM用于生产环境，就应该只限于它们擅长的任务，注意「锯齿状边缘」，并始终保持人类的参与度。参考资料： https://x.com/karpathy/status/1816531576228053133 https://www.linkedin.com/pulse/unlocking-mysteries-moravecs-paradox-examining-its-future-joji-john-vm8uf/

三「模」联盟，谷歌DeepMind缔造终身学习智能体！

打造终身学习智能体，是研究界以来一直追求的目标。最近，帝国理工联手谷歌DeepMind打造了创新联合框架扩散增强智能体（DAAG），利用LLM+VLM+DM三大模型，让AI完成迁移学习、高效探索。为了让AI实现终身学习，帝国理工、谷歌DeepMind竟动用了三大基础模型！「大模型+视觉语言模型+扩散模型」三模并用，构建了全新框架——扩散增强智能体（DAAG）。DAAG的诞生，就是让具身智能体进行迁移学习、高效探索。最新框架利用了「后见之明经验增强」（Hindsight Experience Augmentation）技术，让扩散模型以时间和几何一致的方式转换视频。让其与目标指令对齐，从而对智能体过去经验进行重新标记。论文地址：https://arxiv.org/pdf/2407.20798大模型在无需人类监督情况下，自主协调这一过程，使其非常适合终身学习场景。经过一系列实验，结果表明，DAAG改进了奖励检测器的学习、过去经验的迁移以及新任务的获取。这些都是开发高效终身学习智能体的关键能力。 ‍ 无需人类监督，AI终身强化学习一直以来，具身AI的训练数据极其稀缺，特别是在强化学习场景中尤为突出。因为这类智能体需要与物体环境进行互动，而传感器和执行器成为了主要瓶颈。然而，克服这一挑战需要开发出，能够从有限经验中高效学习、适应的智能体。对此，研究人员假设，具身智能体可以通过利用过去经验，有效探索，并在任务之间转移知识，实现更高数据搬运效率。即便在没有外部奖励的情况下，他们希望让智能体可以自主设置、评分子目标，并能重新利用之前任务经验，加速新任务学习。因此，最新研究中，团队成员使用预训练的基础模型Gemini 1.0 Pro来解决这些问题。通过视觉、语言和扩散模型的相互作用，让智能体更有效推理任务，解释环境和过去经验，并操纵自身收集的数据，以重新用于新任务和目标。更重要的是，DAAGG可以自主运行，无需人类监督，凸显其特别适合终身强化学习的场景。如下图1，是扩散增强智能体完整框架。其中，LLM充当主要控制器/大脑，查询和指导VLM和DM，以及智能体的高级行为。通过一系列在不同环境中的实验，研究人员证明了DAAGG在改进智能体在关键能力上的表现：1）用扩散模型生成合成样本增强的数据，微调视觉语言模型，自主计算已见和未见任务的奖励；2）为给定任务设计和识别有用的子目标，通过扩散模型修改记录的观察，重新利用原失败的轨迹，从而更有效地探索和学习新任务；3）提取相关数据，使用扩散模型重新利用其他轨迹，有效地将先前收集的数据转移到新任务中。图2所示，DAAGG方法如何通过扩散增强，重新利用智能体的经验。研究人员提出了一个扩散管道，提高了几何和时间一致性，并修改了智能体收集的部分视频。方法 DAAGG具体设计方法如下。研究人员将环境形式化为「马尔可夫决策过程」（MDP）：在每个时间步t，环境和智能体处于状态s ∈ S。从该状态，智能体接收视觉观察o ∈ O，并可以执行动作a ∈ A。在每个回合中，智能体接收一个指令，这是用自然语言T描述的要执行的任务。如果任务成功执行，智能体可以在回合结束时，获得奖励r = +1。这项论文中，除了独立学习新任务外，作者还研究了DAAGG框架以终身方式连续学习任务的能力。因此，智能体将交互经验存储在两个缓冲区中：当前任务缓冲区，称之为新缓冲区：这个缓冲区在每个新任务开始时初始化。然后是离线终身缓冲区：智能体将所有任务的所有回合存储在这个缓冲区中，无论它们是否成功。因此，后者是一个不断增长的经验缓冲区，智能体随后可以用它来引导新任务的学习。以下是，作者选用的三种模型目的：- 大模型LLM：编排智能体的行为，以及指导VLM和DM。LLM接受文本指令和数据，并输出文本响应。而且，利用LLM将任务分解为子目标，比较不同任务/指令的相似性，并查询VLM和DM。- 视觉语言模型VLM：使用的是对比模型CLIP。CLIP由两个分支组成：图像分支和文本分支，它们分别以视觉观察和文本描述作为输入，最终输出相同大小的嵌入向量。- 扩散Pipeline：研究的核心是通过语言指导的扩散模型，修改视觉观察。扩散Pipeline是为了提取智能体记录的观察或一系列时间观察，并保持几何和时间一致性的同时，修改观察中的一个或多个对象。如下是，扩散Pipeline的示意图。在图5中，作者比较了ROISE和自己提出的Pipeline输出。前者不能保持对象姿势和外观，在帧之间的一致性。扩散增强智能体框架在扩散增强数据上，微调VLM作为奖励检测器VLM可以有效地用作奖励检测器，条件是基于语言定义的目标和视觉观察。最近的研究显示，为了提升准确性，VLM通常需要在目标环境中收集的token数据上进行微调，适应所需的任务。这是一个耗时的任务，而且每个新任务需要人类手动完成，严重阻碍了智能体以终身方式自主连续学习的多任务能力。通过DAAGG框架，作者在先前收集的观察上微调VLM来解决这一挑战。这个过程如上图2所示，通过这个过程，微调VLM作为LLM分解当前任务的所有子目标的成功检测器。通过后见之明经验增强，实现高效学习和迁移在任何任务中收集的每个回合后，智能体收集一系列观察和动作。在DAAGG中，研究人员旨在最大化智能体可以学习处理新任务的回合数量，即使它没有达到任何所需的子目标。最后，他们通过一个称为后见之明经验增强（HEA）的过程来实现这一点。实验结果 DAAGG框架提出了LLM+VLM+DM之间的相互作用，以解决终身学习智能体面临的3个主要的挑战： 1）微调新的奖励/子目标检测模型，2）提取和转移过去经验用于新任务，3）高效探索新任务。DAAGG能否将VLM微调为新任务的奖励检测器？图7显示了，在数据集中没有示例的最左侧任务中，DAAGG如何通过综合其他任务中的示例实现大幅改进，同时在所见的任务中保持相同的性能。在RGB Stacking和Language Table环境中，物体姿势之间的精确几何关系非常重要，而DAAGG与基线的差异则更为显著，这说明需要进行扩散增强才能获得有效的奖励检测器。在「房间」环境中，CLIP接收到的观察结果虽然来自低保真模拟器和渲染器，但更接近它在网络规模数据集（水果和家具图片），上进行训练时接收到的观察结果分布。因此，CLIP「零样本」性能要强得多，而在其他任务中，CLIP零样本性能则接近于随机猜测，这表明有必要进行微调。DAAGG能否更高效地探索和学习新任务？下图8中，作者绘制了100个测试事件中，成功解决任务实例的数量与训练事件数量的函数关系图。在测试过程中，不执行任何探索策略或指导，而是让策略网络来引导智能体。可以看到，DAAGG的学习速度比基线更快，将某些不成功的事件作为学习信号的能力，有助于提高在所有测试环境中的学习效率。DAAGG能否更有效地连续学习任务，从过去的任务中转移经验？图9中，研究人员比较了每种方法在使用时，在任务上的性能，性能指标是成功率。可以看到，DAAGG超越了两个基准方法，主要归功于它能够从存储在中大部分经验中学习，通过修改和重新利用解决或其子目标之外的任务轨迹。通过场景视觉增强提高鲁棒性然后，研究人员使用pipeline对每个观察进行5次增强，查询LLM来提出增强的描述（比如，一个有红色地板和白色墙壁的房间）。作者将所有这些增强的观察添加到缓冲区，并在其上训练策略。在原始和增强数据集上，训练的策略都在5个视觉上修改的房间中进行测试，随机改变墙壁和地板的颜色以及干扰物体，在每个房间进行20次测试回合。图11展示了，视觉增强如何带来一个更加鲁棒的策略，能够在视觉上与单一训练Room中，与训练环境很不同的Room中也达到相同目标。总而言之，这项研究中，作者提出了扩散增强智能体（DAAGG）。这是一个结合了大型语言模型、视觉语言模型和扩散模型的框架，旨在解决具身AI智能体终身强化学习中的关键挑战。关键研究结果表明，DAAGG能够在新的、未见过的任务中准确检测奖励，而传统方法在这些任务上难以泛化。通过重用先前任务的经验，DAAGG能够逐步更高效地学习每个后续任务，得益于迁移学习而需要更少的回合。最后，通过将不成功的回合，扩散为相关子目标的成功轨迹，DAAGG显著提高了探索效率。参考资料：https://arxiv.org/pdf/2407.20798https://sites.google.com/view/diffusion-augmented-agents/

AI模型提早5年预警乳腺癌，MIT研究登Science获LeCun转发

科学家正在通过AI的力量，改变乳腺癌的现状。在全球范围内，每年有超过60万名女性因乳腺癌而无法存活。美国有八分之一的女性一生中会被诊断出患有乳腺癌。这些数字听起来很可怕，但并非毫无希望。当处于最早的局部阶段时， 5年相对生存率为 99%。近年来，早期检测和治疗方法的进步显著提高了乳腺癌的生存率，目前美国有超过400万乳腺癌幸存者。AI，就是这项进步背后的一个重要推动性力量。近日，Science在X上连发多篇帖子，展现了AI在乳腺癌检测方面的应用潜力。「人工智能提前5年检测出乳腺癌」。这条推文不仅得到了Lecun的转发，也引发了大量网友的讨论。AI对人类社会的影响，绝不只有当下大热的生成式AI，更可能「going to save lives」，为人类减少病痛，带来福祉。MIT CSAIL实验室和Jameel Clinic的科学家创建了一个深度学习系统「Mirai」，可以根据传统的乳房X光检查来预测乳腺癌风险。论文地址：https://www.science.org/doi/10.1126/scitranslmed.aba4373 「Mirai」标志着向个性化癌症筛查和更好的患者治疗结果迈出了重要一步。 Mirai：更早发现乳腺癌减少筛查伤害乳房X光检查（Mammogram）用于检测没有乳腺癌体征或症状的女性的乳房变化。世界各地的卫生组织支持Mammogram筛查以实现早期癌症检测，并且它已经证明了其价值，可将死亡率降低 20-40%。虽然这是一个用于早期检测的最佳工具，但有很多亟待改进的地方：假阳性、假阴性、图像解读中的人为差异以及缺乏专业放射科医生……而Mirai作为一个深度学习系统，可以借助人工智能的力量来预测乳腺癌的形成，它包括三项关键创新：- 时间点联合建模- 非图像风险因素的选择性使用- 确保跨临床环境中性能一致性这使得Mirai能够提供准确的风险评估，并适应不同的临床环境。Mirai不仅可预测患者在未来不同时间点的风险，还可纳入年龄和家族史等临床风险因素（如果有的话）。此外，它还能在微小的临床差异（如不同的乳腺X射线照相设备）情况下保持稳定的预测结果。该模型很有前途的一点在于，它能够适用于不同人种。Mirai对白人和黑人女性的准确率相当，鉴于黑人女性的乳腺癌死亡率比白人妇女高出43%，这是一项重大进步。大规模验证为了将基于图像的风险模型整合到临床护理中，研究人员需要对算法进行改进，并在多家医院进行大规模验证。研究小组利用麻省总医院（MGH）的20万多份检查结果对Mirai进行了训练，并利用麻省总医院、瑞典卡罗林斯卡研究所和台湾长庚纪念医院的数据对其进行了验证。现在安装在MGH的Mirai在预测癌症风险和识别高危人群方面的准确性明显高于以前的方法。它的表现优于Tyrer-Cuzick模型，识别出的未来癌症诊断数量几乎是Tyrer-Cuzick模型的两倍。而且，在不同种族、年龄组、乳房密度类别和癌症亚型中，Mirai 都能保持准确性。CSAIL博士生、论文的第一作者Adam Yala说，「改进后的乳腺癌风险模型能够实现有针对性的筛查策略，与现有指南提供的方法相比，可以更早发现乳腺癌并减少筛查伤害。」该团队正与来自全球不同机构的临床医生合作，在不同人群中进一步验证该模型，并研究其临床实施情况。目前，研究人员正在改进Mirai，利用患者的完整影像病史，并结合断层合成等先进筛查技术。这些改进措施可以完善风险筛查指南，为高风险人群提供更敏感的筛查，同时减少其他不必要的程序。将AI应用于乳腺癌检测的更多研究不止Mirai，Science还推荐了有关AI检测乳腺癌的更多研究。为了提高乳腺癌的生存率，研究人员设计了一种可穿戴超声波设备，可以让患者在早期阶段检测到肿瘤，这项研究同样来自MIT。麻省理工学院工程学院院长Anantha Chandrakasan、电子工程和计算机科学教授Vannevar Bush，以及一位该研究作者说道：「这项工作将利用材料、低功耗电路、人工智能算法和生物医学系统方面的进步，极大地推动超声波研究和医疗设备设计。」「并且为乳腺癌的检测和早期诊断提供了一项基本能力，而这是取得积极疗效的关键。」除此之外，此前《纽约时报》有过一则「AI检测出了医生遗漏的乳腺癌」的相关报道。报道称，匈牙利已成为人工智能软件发现癌症的主要试验场，医生们正在争论这项技术是否会取代他们的医疗工作。2016 年，世界领先的人工智能研究人员之一Geoffrey Hinton认为，该技术将在五年内超越放射科医生的技能。「我认为，如果你是一名放射科医生，你就像动画片里的Wile E. Coyote」，他在2017年对《纽约客》说。「你已经在悬崖边上了，但你还没有往下看，下面是看不到地面的深渊。」Hinton所言非虚，在Science发布的推特中，就有一篇研究发现，使用人工智能的医生比不使用人工智能的医生更容易发现乳腺癌。这项研究表明，人工智能还能自动处理一半以上的扫描，大大减轻放射科医生的工作量。将研究推向市场 Science在X上还特别提到了一个人——Dr. Connie Lehman。 Connie Lehman是哈佛医学院放射学教授兼马萨诸塞州总医院放射专家，也是本文开头具有奠基性作用的论文的合著者。她早在1998年开始从事计算机辅助设计 (CAD) 工作时，就对其改善乳腺癌检测的潜力感到兴奋。她坚信CAD技术将帮助放射科医生发现更多癌症、实现早期诊断，并有可能产生更高的治愈率。但故事并没有像她想象的那样结束。「虽然实验室的研究发现CAD可以发挥作用，但它并没有在临床上产生我们所希望的影响。」Lehman回忆道，「但我谨慎乐观地认为，新的人工智能模型将更成功地利用计算机的力量来增强成像的影响。」如今的Lehman正在将Mirai背后的技术推向市场，创办了Clairity。Clairity致力于利用人工智能的进步让医学图像释放出新的见解，准确地识别出那些患癌症风险最高的人。值得一提的是，Dr.Lehman对自己的研究成果相当低调，这个消息还是Lehman的儿子透露给Science的。后来又获得了Science的转发。并写下了「AI CAN BE GOOD!」这样令人充满期冀的文字。参考资料：https://news.mit.edu/2021/robust-artificial-intelligence-tools-predict-future-cancer-0128 https://www.cnn.com/videos/health/2023/03/07/artificial-intelligence-breast-cancer-detection-mammogram-cnntm-vpx.cnn https://news.mit.edu/2023/wearable-ultrasound-scanner-breast-cancer-0728

贾扬清：大模型尺寸正在重走CNN的老路；马斯克：在特斯拉也是这样

Transformer大模型尺寸变化，正在重走CNN的老路！看到大家都被LLaMA 3.1吸引了注意力，贾扬清发出如此感慨。拿大模型尺寸的发展，和CNN的发展作对比，就能发现一个明显的趋势和现象：在ImageNet时代，研究人员和技术从业者见证了参数规模的快速增长，然后又开始转向更小、更高效的模型。听起来，是不是和GPT哐哐往上卷模型参数，业界普遍认同Scaling Law，然后出现GPT-4o mini、苹果DCLM-7B、谷歌Gemma 2B如出一辙？贾扬清笑称，“这是前大模型时代的事儿，很多人可能都不咋记得了：）”。而且，贾扬清不是唯一一个感知到这一点的人，AI大神卡帕西也这么觉得：大模型尺寸的竞争正在加剧……但是卷的方向反着来了！模型必须先追求“更大”，然后才能追求“更小”，因为我们需要这个过程，帮咱把训练数据重构成理想的、合成的格式。他甚至拍着胸脯打赌，表示我们一定能看到又好、又能可靠地思考的模型。而且是参数规模很小很小的那种。连马斯克都在卡帕西的评论区连连称是：以上，大概可以称之为“大佬所见略同”。展开说说贾扬清的感慨，要从只在最强王座上短暂待了一天的LLaMA 3.1说起。那是首次实现“最强开源模型=最强模型”，不出意外，万众瞩目。 However，贾扬清在这个时候提出了一个观点： “但我认为，行业会因小型垂直模型而真正蓬勃发展。” 至于啥是小型垂直模型，贾扬清也说得很清楚，比如以Patrouns AI的Iynx（该公司的幻觉检测模型，在幻觉任务上超过GPT-4o）为代表的那些很棒的中小模型。贾扬清表示，就个人喜好而言，他本人是非常喜欢千亿参数模型的。但现实情况里，他观察留意到，7B-70B参数规模之间的大模型，大家用起来更顺手：它们更容易托管，不需要巨大的流量即可盈利；只要提出明确的问题，就能得到质量还不错的输出——与和之前的一些看法相反。与此同时，他听说OpenAI最新的、速度很快的模型也开始变得比“最先进的”大模型尺寸更小。 “如果我的理解是正确的，那么这绝对表明了行业趋势。”贾扬清直接表明了自己的观点，“即在现实世界中，使用适用的、具有成本效益、且仍然强大的模型。” 于是乎，贾扬清简单梳理了CNN的发展历程。首先，是CNN的崛起时代。以AlexNet（2012）为起点，开启了大约三年的模型规模增长时期。 2014年出现的VGGNet就是一个性能和规模都非常强大的模型。其次，是缩小规模时期。 2015年，GoogleNet把模型大小从“GB”缩小到了“MB”级别，即缩小了100倍；但模型性能并没有因此骤减，反而保持了不错的性能。遵循类似趋势的还有2015年面世的SqueezeNet模型等。然后的一段时间，发展重点在追求平衡。后续研究，如ResNet（2015）、ResNeXT（2016）等，都保持了一个适中的模型规模。值得注意的是，模型规模的控制并没有带来计算量的减少——其实，大伙儿都愿意投入更多的计算资源，寻求一种“同等参数但更高效”的状态。紧接着就是CNN在端侧起舞的一段时期。举个例子，MobileNet是谷歌在2017年推出的一项有趣的工作。有趣就有趣在它占用的资源超级少，但是性能却非常优异。就在上周，还有人跟贾扬清提到：“Wow～我们现在还在用MobileNet，因为它可以在设备上运行，而且在出色的特征嵌入泛化（Feature Embedding Generality）。” 最后，贾扬清借用了来源于Ghimire等人的《A Survey on Efficient Convolutional Neural Networks and Hardware Acceleration》里的一张图：并再一次发出自己的疑问：大模型尺寸，会遵循与CNN时代相同的趋势来发展吗？网友怎么看？其实GPT-4o mini这样走在大模型发展道路上“不大反小”的例子不在少数。当上述几位表达出这样的观点后，立马有人点头如捣蒜，还拿出了一些别的类似例子，证明他们看到了相同的趋势。有人立马跟上：我这儿有个新的正面例子！Gemma-2就是把27B参数大小的模型知识蒸馏成更小的版本。还有网友表示，开发更大的模型，意味着能给后续几代更小、更垂直的模型的训练“上强度”。这个迭代过程最终会产生所谓的“完美训练集”。这样一来，较小的大模型在特定领域，能与现在参数巨大的大模型一样聪明，甚至更聪明。一言以蔽之，模型必须先变大，然后才能变小。大多数讨论此观点的人，还是对这个趋势比较认同，有人直言“这是一件好事，比‘我的模型比你的模型大’参数竞赛更实用和有用。” 但是，当然了！翻遍网络评论区，也有人发出不同的声音。比如下面这位朋友就在贾扬清推文底下留言： Mistral Large（背后公司Mistral AI）、LLaMA 3.1（背后公司Meta）和OpenAI，持有最强竞争力模型的公司，目前可能都正在训练更大的模型。我没发现有“更小型号模型搞定技术突破”的趋势哟。面对这个问题，贾扬清倒也及时回复了。他是这么说的：“没错！我说大模型尺寸可能在走CNN的老路，绝对不意味着号召大家停止训练更大的模型。” 他进一步解释道，这么说的本意是，随着技术（包括CNN和大模型）落地实践越来越广，大家已经开始越来越关注性价比更高的模型了。” 所以，或许更高效的小·大模型，能够重新定义AI的“智能”，挑战“越大越好”的假设。你赞同这个观点不？参考链接： [1]https://x.com/jiayq/status/1818703217263624385 [2]https://x.com/fun000001/status/1818791560697594310 [3]https://www.patronus.ai/ [4]https://twitter.com/karpathy/status/1814038096218083497

想跑千亿大模型？算力厂商放大招！CPU通用服务器成为新选择

千亿参数规模的大模型推理，服务器仅用4颗CPU就能实现！在一台CPU通用服务器上，浪潮信息成功跑通了102B大模型推理。如果推广开来，没有专用芯片的传统行业，不必更换硬件，也能用上AI了。 △ 浪潮信息通用服务器NF8260G7服务器成功运行千亿参数大模型这套方案以极低的延时，近乎实时地进行推理运算。如此之大的模型，只靠CPU运行，究竟是怎么实现的？ 4颗CPU带动千亿大模型？用CPU在单台通用服务器设备中运行大模型推理，特别是千亿参数的庞然大物，困难是可想而知的。要想高效运行千亿参数大模型，计算、内存、通信等硬件资源的需求量都非常巨大。内存方面，千亿参数大约需要200~300GB的显存空间才放得下。除了内存资源，千亿参数大模型在运行过程中，对数据计算、计算单元之间及计算单元与内存之间通信的带宽要求也非常高。按照BF16的精度计算，要想使千亿参数大模型的运行时延小于100ms，内存与计算单元之间的通信带宽至少要在每秒2TB以上。就算解决了这些硬件需求，软件的优化适配同样是一个难题。由于涉及到大量的并行运算，现有的大模型普遍针对GPU加速集群而设计，这就导致了CPU算力与大模型之间的匹配程度远不及GPU。因为并行工作环境的缺乏，AI模型需要频繁地在内存和CPU之间搬运算法权重，但通用服务器默认模型权重只能传输给一个CPU的内存。要想进一步搬运到其他CPU，就需要该CPU作为中介，这就导致了CPU与内存之间的带宽利用率较低，进一步加大了通信开销。通用AI算力的新标杆尽管困难重重，但伴随着大量的技术攻关，这些困难也被相继克服—— 在2U四路的NF8260G7服务器上，浪潮信息成功运行了千亿参数的源2.0大模型。运行过程中，服务器仅使用了4颗英特尔6448H芯片，无需GPU或其他任何额外的AI加速卡。可以说，浪潮信息这套通用服务器大模型运行方案填补了业界空白，成为了通用AI算力的新标杆。框架和算法方面，该方案支持PyTorch、TensorFlow等主流AI框架和DeepSpeed等流行开发工具，满足多样的生态需求。在这种高效的千亿大模型通用服务器运行方案背后，无疑需要软硬件系统的协同创新。在配置方面，浪潮信息NF8260G7选用了英特尔至强6448H处理器，共有32颗核心，主频为2.4GHz，L3缓存为60MB，基于32根32G的DDR5内存，内存容量1024GB，实测内存读带宽995GB/s。更重要的是，该芯片具有AMX（高级矩阵扩展，类似于GPU的Tensor core）AI加速功能，能够更好地适配大模型的运算特点。同时，为了解决带宽利用率低的问题，采用了“去中心化”的全链路UPI总线互连，允许任意两个CPU之间直接进行数据传输。这样的互联方案减少了通信延迟，并将传输速率提高到了16GT/s（Giga Transfers per second）。但仅靠硬件优化还远远不够。为了提升源2.0-102B模型在NF8260G7服务器上的推理计算效率，服务器上的CPU需要像GPU一样进行张量并行计算。为此，浪潮信息研发工程师将源2.0模型中的注意力层和前馈层的矩阵计算分别拆分到多个处理器，实现同时使用4颗CPU进行计算加速。张量并行对模型参数的切分粒度较细，要求CPU在每次张量计算后进行数据同步，增加了对CPU间通信带宽的需求。不过，UPI总线互联的通信方案，刚好能够满足CPU间通信要求。同时，对于千亿参数大模型的张量并行计算，4颗CPU与内存之间海量的通信需求达到2TB/s，远高于CPU的内存通信带宽。为降低千亿参数对CPU和内存的通信带宽门槛，浪潮信息对源2.0-102B模型采用了 NF4量化技术。 NF4（4位NormalFloat）是一种分位数量化方法，通过确保量化区间内输入张量的值数量相等，来实现对数据的最优量化。特别地，NF4量化非常适合近似正态分布的数据，这与大模型的权重分布方式十分契合，所以通过NF4量化，可以获得比传统的INT4或FP4量化更高的精度。 △ INT4数据类型与NF4数据类型对比但NF4量化也带来了新的问题——NF4量化后，会产生大量的scale参数。假如按照64个参数作为一个量化块计算，对于一个千亿参数的大模型，仅存储scale参数就需要额外的6GB内存。为了减少内存占用，浪潮信息还通过嵌套量化将这些scale参数量化到FP8精度，显著减少了所需的存储空间。通过 NF4量化和嵌套量化，模型的每个权重仅占用1/2字节空间，Yuan2.0大模型占用内存容量缩小到原来的1/4。有AI芯片，为什么还要用CPU推理？浪潮信息的这套解决方案，的确让千亿大模型在通用服务器上的运行成为了可能。但我们仍然想问，明明有很好的AI加速芯片，为什么还要执着于研究CPU推理呢？首先一点，是拥有更低的部署和推理成本—— 从传统行业用户需求看，通用服务器的成本优势显著，较AI服务器成本可降低80%。这样的成本节约不仅仅包括设备的购置部署，还包括与行业用户现有系统的融合。采用通用服务器，意味着大模型服务可以更容易地与已有的企业IT系统进行合并，免去了部署AI服务器带来的迁移适配工作。当然在技术层面，CPU方案的一些优势也是AI加速卡无法比拟的。内存方面，通用服务器的内存容量远大于现在GPU芯片能够提供的显存容量。比如在一台双路服务器上，可以很轻松地把内存做到1TB，像NF8260G7这种四路服务器还能做到更大。所以。对于一个千亿甚至数千亿的大模型，采用通用服务器进行部署，可以说在内存上完全“不受限”，完全能够放得进去。相比之下，以GPU为代表的AI芯片虽然算力强劲，但内存就显得捉襟见肘了。 AI大模型的运行不仅需要大内存，更需要高速的CPU和内存通信带宽。而基于先进的量化技术，浪潮信息的研发工程师在不影响模型精度的情况下对模型进行量化“瘦身”，大大降低了千亿参数对CPU和内存的通信带宽门槛。同时，为了满足模型需求，需要多颗芯片协同工作。这就涉及到了通用服务器芯片间的通信效率。目前一些高端AI芯片也有高速带宽（比如NV Link），但由于成本较高，这样的方案往往在一些比较高端的芯片或者说高端的服务器上才会采用。而且，这样的算力目前更多地被用于模型训练，用做推理在经济上并不划算。在通用服务器当中，CPU和CPU之间拥有高速互联通信的链路，通过并行计算环境的优化，无论是在带宽还是在延迟上，完全可以满足千亿参数大模型运行过程中多计算核心通信的需求。此外，随着新一代CPU开始加入AI加速指令集（如AMX），CPU的AI算力性能也在快速提升。以浪潮信息现在采用的6448H为例，这样的一个四路服务器的算力也到430TOPS（INT8）或215TFLOPS（BF16），完美满足运行AI大模型推理的算力需求。通用算力正在发生“智”变站在更高的层次上看，基于NF8260G7的通用服务器大模型推理方案，也是浪潮信息战略中的重要一环。包括AI技术在内，科技进步的最终目的是“落入凡间”，赋能千行百业。与此同时，AI正在从专门的计算领域扩展到所有的计算场景，逐步形成“一切计算皆AI”的格局。 AI计算从以云端、服务器为主开始向手机、PC等各类端侧设备蔓延开来。 CPU、GPU、NPU等各种PU，也都被用于了AI计算。在这样的趋势下，传统上认为非典型的AI算力也在发生“智”变，向着智能算力演变。具体到以CPU为核心的通用算力，能否运行千亿参数大模型，是衡量其能否支撑千行百业智能涌现的关键。浪潮信息此次的推出的新方案，填补了行业中千亿大模型通用服务器运行方案的空白，将作为一种更经济的千亿大模型部署方案，成为企业拥有AI的新起点。未来，浪潮信息将继续坚持在算力、算法和数据三要素上的全面发力，实现更多的系统突破，让AI更深入地走进各行各业。

关于大模型「越狱」的多种方式，有这些防御手段

随着人工智能（AI）技术的迅猛发展，特别是大语言模型（LLMs）如 GPT-4 和视觉语言模型（VLMs）如 CLIP 和 DALL-E，这些模型在多个技术领域取得了显著的进展。LLMs 已经在自然语言处理任务中展现出了前所未有的能力，而 VLMs 则在图像和文本的融合任务中表现优异。这些技术的应用范围从自动化客服到智能创作，无不展示出其强大的潜力。然而，伴随着这些进展，安全性和伦理对齐的问题也日益凸显。近年来，越来越多的研究者关注 LLMs 和 VLMs 的越狱现象，即通过特定技术手段绕过这些模型的内置安全机制，生成不符合伦理规范的输出。这些越狱行为不仅对模型的实际应用构成威胁，也对用户的安全和隐私带来潜在风险。因此，理解和防范这些越狱行为成为 AI 安全研究中的一个关键问题。我们来看一个具体的关于越狱的例子：在上述例子中，用户输入一个恶意问题（蓝色所示），通常而言，大语言模型会拒绝回答此类问题。然而，当攻击者增加一个精心制作的越狱前缀（黄色所示），大语言模型将会对恶意问题进行详细的解答。同样，防御者可以通过增加一些安全提示（红色所示），提醒大语言模型重新思考所给出的答案，中止恶意回复。针对上述越狱现象，近期，来自伊利诺伊大学香槟分校，布朗大学，密歇根大学安娜堡分校，香港科技大学，卡内基梅隆大学和博伊西州立大学的研究者联合发布了一篇综述，详细探讨了 LLMs 和 VLMs 的越狱现象，对各种越狱类型和相应的防御机制进行了系统分类和分析。通过对现有研究的全面综述，旨在为学术界和工业界提供一个关于 AI 模型安全性的全面视角，并提出应对这些挑战的有效策略。论文地址：https://arxiv.org/pdf/2407.01599 项目地址：https://github.com/Allen-piexl/JailbreakZoo 网站地址：https://chonghan-chen.com/llm-jailbreak-zoo-survey/ 这篇综述提供了： 1. 越狱分类：我们将关于LLMs的越狱现象细分为5种类型，将关于VLMs的越狱现象细分为3种类型，提供了每种类型的详细分类和理解。以下是我们分类的主要内容： LLMs 梯度攻击（Gradient-based Attacks）进化攻击（Evolutionary-based Attacks）演示攻击（Demonstration-based Attacks）规则攻击（Rule-based Attacks）多代理攻击（Multi-agent-based Attacks） VLMs 提示到图像注入的越狱攻击（Prompt-to-Image Injection Jailbreaks）提示-图像扰动注入越狱攻击（Prompt-Image Perturbation Injection Jailbreaks）代理模型迁移越狱攻击（Proxy Model Transfer Jailbreaks）此外，我们进一步整理了现有的利用越狱攻击对LLMs和VLMs进行评测的方法，以及一些相关的综述。 2. 防御机制：我们回顾并分类了各种防御策略，我们发现，LLMs和VLMs有着类似的防御机制，强调了统一方法以应对这些越狱漏洞的必要性。主要防御机制包括：提示检测（Prompt Detection-based Defenses）提示扰动（Prompt Perturbation-based Defenses）演示防御（Demonstration-based Defenses）生成干预（Generation Intervention-based Defenses）响应评估（Response Evaluation-based Defenses）模型微调（Model Fine-tuning-based Defenses） 3. 未来研究方向：我们的综述突出了当前研究中的关键空白，并提出了未来的研究方向，以增强LLMs和VLMs的安全框架。越狱类型及实例 – 大语言模型（LLMs）在我们的研究中，我们将大语言模的越狱现象进行了系统分类，归纳为七种主要类型。每种类型都有其独特的攻击方法和技术细节，通过对这些越狱类型的深入分析，我们希望能够揭示这些模型在安全性方面的潜在漏洞，并为未来的防御工作提供指导。 1. 梯度攻击（Gradient-based Attacks）梯度攻击通过利用模型的梯度信息，生成有害响应。例如，使用梯度坐标贪婪算法（GCG）生成后缀，使模型生成有害内容。此方法通过梯度优化生成能避开模型检测的提示，从而使 LLM 输出有害的响应。此类攻击常用于测试模型的安全性和鲁棒性，研究者通过此类攻击可以发现模型的潜在漏洞，并进行相应的修复和优化。 2. 进化攻击（Evolutionary-based Attacks）进化攻击使用遗传算法生成对抗性提示，优化语义相似性、攻击效果和流畅性。例如，FuzzLLM 通过随机组合模板、约束和问题集生成攻击指令。这些方法使用进化策略逐步改进提示，以找到最有效的攻击手段。进化攻击特别适合在黑盒环境中使用，即攻击者对模型内部结构和参数未知的情况下，也能进行有效攻击。 3. 演示攻击（Demonstration-based Attacks）演示攻击通过创建特定的系统提示，指示 LLMs 生成预期的响应。这些方法通常是硬编码的，提示经过精心设计以引导模型生成所需的响应。例如，DAN 方法通过预设的对话框架，使模型在 “开发者模式” 下生成本不应生成的内容。演示攻击利用模型的上下文学习能力，通过提供一系列示例，使模型更容易产生目标响应。 4. 规则攻击（Rule-based Attacks）规则攻击通过预定义的规则将恶意成分分解并重定向。攻击者设计复杂的规则，隐藏恶意内容。例如，通过词汇替换将有害意图编码为看似正常的内容，从而绕过模型的检测。这类攻击方法特别适用于绕过简单的基于关键字的检测系统，使攻击内容在输入时显得无害。 5. 多代理攻击（Multi-agent-based Attacks）多代理攻击利用多个 LLMs 合作，生成、组织和改进越狱提示。这些方法通过模拟多模型协作的方式，提高越狱攻击的效果。例如，PAIR 方法利用多个代理模型生成和评估提示，不断优化攻击策略。这种方法特别适合用于需要迭代改进的攻击场景，通过多次尝试和反馈，找到最有效的攻击手段。越狱类型及实例 – 视觉语言模型（VLMs）与大语言模型（LLM）类似，与视觉语言模型（VLM）相关的越狱也已成为一个重要关注点。由于所有 VLM 都使用 LLM 组件进行文本编码，因此影响 LLM 的漏洞也可能会危及 VLM。此外，VLM 中视觉输入的引入不仅拓宽了其功能范围，还显著增加了攻击面，从而加剧了涉及的安全风险。与主要针对文本输入的 LLM 越狱不同，VLM 的恶意操纵可以通过视觉输入、文本组件或两者的组合进行，表现出更加复杂和多样的模式。 1. 提示到图像注入的越狱攻击（Prompt-to-Image Injection Jailbreaks）通过将恶意提示注入到图像生成过程中来绕过模型的安全机制。攻击者设计特定的文本提示，使模型生成含有不良或不符合伦理的图像。例如，攻击者可以利用一些敏感词汇或语句来引导模型生成攻击性或误导性的图像。 2. 提示 – 图像扰动注入越狱攻击（Prompt-Image Perturbation Injection Jailbreaks）提示 – 图像扰动注入越狱攻击结合了文本提示和图像扰动，通过在输入提示中加入微小的扰动，使模型生成错误或有害的响应。例如，攻击者可以在图像中加入几乎不可见的像素变化，同时调整文本提示，以引导模型生成偏离预期的描述或内容。这种方法利用了模型对微小变化的敏感性，使其难以检测和防御。 3. 代理模型迁移越狱攻击（Proxy Model Transfer Jailbreaks）代理模型迁移越狱攻击利用代理模型进行攻击，即在较小的代理模型上训练和优化攻击，然后将其转移到目标模型上。攻击者在代理模型上进行大量试验，找到有效的攻击方式，再将这些攻击应用到目标模型上。此类攻击可以有效绕过目标模型的安全机制，因为代理模型和目标模型可能共享相似的弱点和漏洞。防御机制及实例 – 大语言模型（LLMs） 1. 提示检测（Prompt Detection-based Defenses）提示检测基于输入提示的特征，如困惑度（Perplexity）和长度，评估提示的有害性。例如，通过困惑度计算器 LLM 检测输入提示的困惑度，判断其是否安全。提示检测是最早的防御策略之一，利用模型对高困惑度提示的不敏感性来判断提示的安全性。 2. 提示扰动（Prompt Perturbation-based Defenses）提示扰动通过对输入提示进行修改，破坏其恶意意图。例如，通过语义扰动和重新分词技术生成多个变体，评估每个变体的响应是否安全。此类方法利用了恶意提示对精确结构和词序的依赖，通过随机扰动破坏这些结构，使其难以成功执行攻击。 3. 演示防御（Demonstration-based Defenses）演示防御通过设置安全的系统提示，引导 LLM 生成安全响应。例如，使用自我提醒提示模型生成安全的响应。演示防御利用了模型的上下文学习能力，通过提供正面示例，增强模型对安全响应的倾向。 4. 生成干预（Generation Intervention-based Defenses）生成干预通过调整 LLM 的响应生成过程，确保输出的安全性。例如，RAIN 方法通过反复生成和评估 token，确保生成的内容安全。此类方法在生成过程中实时干预，动态调整输出内容，以避免生成有害响应。 5. 响应评估（Response Evaluation-based Defenses）响应评估通过对生成的响应进行评估，确保其安全性。例如，利用辅助 LLM 评估响应的有害性，并进行迭代改进。此类方法利用模型对自身生成内容的评估能力，通过不断优化，确保最终输出的安全。 6. 模型微调（Model Fine-tuning-based Defenses）模型微调通过调整 LLM 的内部参数，增强其安全性。例如，通过在混合数据上训练模型，使其对有害内容更加敏感，从而生成更安全的响应。此类方法直接改变模型的行为，使其在面对恶意提示时能够做出更安全的决策。防御机制及实例 – 视觉语言模型（VLMs）在视觉语言模型中，许多防御策略与大语言模型的防御策略相似。这些策略通过调整模型的内部参数、评估生成的响应以及扰动输入提示来增强模型的安全性。 1. 提示扰动防御（Prompt Perturbation-based Defenses）提示扰动通过对输入提示进行修改，破坏其恶意意图。例如，通过语义扰动和重新分词技术生成多个变体，评估每个变体的响应是否安全。此类方法利用了恶意提示对精确结构和词序的依赖，通过随机扰动破坏这些结构，使其难以成功执行攻击。 2. 响应评估防御（Response Evaluation-based Defenses）响应评估通过对生成的响应进行评估，确保其安全性。例如，利用辅助 VLM 评估响应的有害性，并进行迭代改进。此类方法利用模型对自身生成内容的评估能力，通过不断优化，确保最终输出的安全。 3. 模型微调防御（Model Fine-tuning-based Defenses）模型微调通过调整 VLM 的内部参数，增强其安全性。例如，通过在混合数据上训练模型，使其对有害内容更加敏感，从而生成更安全的响应。此类方法直接改变模型的行为，使其在面对恶意提示时能够做出更安全的决策。未来研究方向我们的研究不仅分析了当前 LLMs 和 VLMs 越狱现象及其防御机制，还发现了现有研究中的一些关键空白。这些空白为未来的研究提供了重要的方向，以进一步增强 AI 模型的安全性和鲁棒性。以下是我们提出的几个未来研究方向： 1. 多模态越狱攻击与防御随着多模态 AI 系统的快速发展，如何在结合文本和图像的环境中进行越狱攻击并有效防御成为一个重要课题。未来研究应重点关注多模态模型中的越狱技术，包括如何利用视觉和文本输入的协同作用来规避安全机制。同时，需要开发专门针对多模态系统的防御策略，以确保这些系统在处理复杂任务时的安全性。 2. 自动化越狱检测与修复现有的越狱检测方法大多依赖于手工设计的规则和特征，效率较低且难以适应不断变化的攻击手段。未来研究可以探索利用机器学习和深度学习技术，开发自动化的越狱检测与修复系统。这些系统应能够实时检测并修复潜在的越狱攻击，提升模型的自我保护能力。 3. 强化学习在越狱防御中的应用强化学习（Reinforcement Learning, RL）在越狱防御中的应用具有广阔前景。通过 RL，模型可以在不断的交互中学习如何识别和防御越狱攻击。例如，利用 RL 技术，模型可以动态调整其内部参数和响应策略，以应对不同类型的攻击。未来研究应深入探索 RL 在越狱防御中的应用，并开发相应的算法和工具。 4. 越狱攻击的伦理与法律研究随着越狱技术的不断发展，其潜在的伦理和法律问题也逐渐显现。未来研究应关注越狱攻击的伦理和法律影响，包括如何制定相关法规和政策来规范越狱行为。此外，还需要探索如何在技术和法律层面有效平衡创新与安全，确保 AI 技术的可持续发展。 5. 开放与封闭模型的安全对比研究当前的研究多集中于开放源代码的模型，而对封闭源代码模型的研究相对较少。未来应更多关注开放与封闭模型在安全性方面的差异，研究如何在封闭环境中实现高效的安全防御。同时，还需探索开放模型社区的协作机制，以共享和推广有效的防御策略。 6. 用户教育与防护除了技术层面的防御，用户教育也是防范越狱攻击的重要环节。未来研究应开发针对不同用户群体的教育资源，提高用户对越狱攻击的认知和防范能力。通过增强用户的安全意识，可以有效减少越狱攻击的成功率，从而提升整体系统的安全性。总结大语言模型（LLMs）和视觉语言模型（VLMs）的越狱现象和防御机制有许多共性和差异。共性源于它们都基于深度学习技术和类似的神经网络结构，且主要处理自然语言内容，因此在面临梯度攻击、进化攻击等威胁时表现出相似的脆弱性。防御策略如提示检测、提示扰动、生成干预、响应评估和模型微调在两者中也有广泛应用。然而，VLMs 由于需要处理图像和文本的组合输入，其攻击手段更为复杂，包括 Prompt-to-Image Injection 和 Prompt-Image Perturbation Injection 等多模态攻击。防御机制也因此更复杂，需要同时考虑视觉和语言输入的特性。VLMs 的训练成本较高，Proxy Model Transfer Jailbreaks 在这种情况下更为常见，攻击者利用代理模型优化攻击，再将其应用于目标模型。此外，LLMs 和 VLMs 在应用场景上有所不同，LLMs 主要用于文本生成和对话系统，而 VLMs 则用于图像生成和图文理解任务。这些共性和差异为理解和应对 AI 模型的安全威胁提供了重要的洞见，未来研究应继续关注这些方面，以开发更有效的防御策略，确保 AI 技术的安全应用。

日均tokens使用量超5000亿，AI生图玩法猛猛上新：豆包大模型为什么越来越「香」了？