光年AI - Page 94 of 101 - AI驱动流量增长 - AI资讯，AI营销，AI大模型，AI知识库

刚刚，Meta开源「分割一切」2.0模型，视频也能分割了

还记得 Meta 的「分割一切模型」吗？这个模型在去年 4 月发布，被很多人认为是颠覆传统 CV 任务的研究。时隔一年多，刚刚，Meta 在 SIGGRAPH 上重磅宣布 Segment Anything Model 2 (SAM 2) 来了。在其前身的基础上，SAM 2 的诞生代表了领域内的一次重大进步 —— 为静态图像和动态视频内容提供实时、可提示的对象分割，将图像和视频分割功能统一到一个强大的系统中。 SAM 2 可以分割任何视频或图像中的任何对象 —— 甚至是它以前没有见过的对象和视觉域，从而支持各种不同的用例，而无需自定义适配。在与黄仁勋的对话中，扎克伯格提到了 SAM 2:「能够在视频中做到这一点，而且是在零样本的前提下，告诉它你想要什么，这非常酷。」 Meta 多次强调了最新模型 SAM 2 是首个用于实时、可提示的图像和视频对象分割的统一模型，它使视频分割体验发生了重大变化，并可在图像和视频应用程序中无缝使用。SAM 2 在图像分割准确率方面超越了之前的功能，并且实现了比现有工作更好的视频分割性能，同时所需的交互时间为原来的 1/3。该模型的架构采用创新的流式内存（streaming memory）设计，使其能够按顺序处理视频帧。这种方法使 SAM 2 特别适合实时应用，为各个行业开辟了新的可能性。当然，处理视频对算力的要求要高得多。SAM 2 仍然是一个庞大的模型，也只有像 Meta 这样的能提供强大硬件的巨头才能运行，但这种进步还是说明了一些问题：一年前，这种快速、灵活的分割几乎是不可能的。SAM 2 可以在不借助数据中心的情况下运行，证明了整个行业在计算效率方面的进步。模型需要大量的数据来训练，Meta 还发布了一个大型带注释数据库，包括大约 51,000 个真实世界视频和超过 600,000 个 masklets。与现有最大的视频分割数据集相比，其视频数量多 4.5 倍，注释多 53 倍，Meta 根据 CC BY 4.0 许可分享 SA-V。在 SAM 2 的论文中，另一个包含超过 100,000 个「内部可用」视频的数据库也用于训练，但没有公开。与 SAM 一样，SAM 2 也会开源并免费使用，并在 Amazon SageMaker 等平台上托管。为了履行对开源 AI 的承诺，Meta 使用宽松的 Apache 2.0 协议共享代码和模型权重，并根据 BSD-3 许可分享 SAM 2 评估代码。目前，Meta 已经提供了一个 Web 的演示体验地址：https://sam2.metademolab.com/demo 基于 web 的 SAM 2 演示预览，它允许分割和跟踪视频中的对象。正如扎克伯格上周在一封公开信中指出的那样，开源人工智能比任何其他现代技术都更具有潜力，可以提高人类的生产力、创造力和生活质量，同时还能加速经济增长并推动突破性的医学和科学研究。人工智能社区利用 SAM 取得的进展给我们留下了深刻的印象， SAM 2 必将释放更多令人兴奋的可能性。 SAM 2 可立即应用于各种各样的实际用例 – 例如，跟踪对象（左）或分割显微镜捕获的视频中的移动细胞以辅助科学研究（右）。 ‍未来，SAM 2 可以作为更大型 AI 系统的一部分，通过 AR 眼镜识别日常物品，并向用户提供提醒和说明。 SAM 2 前脚刚上线，大家就迫不及待的用起来了：「在 Meta 未提供的测试视频上试用 SAM 2。效果好得令人瞠目结舌。」来源：https://x.com/BenjaminDEKR/status/1818066956173664710 还有网友认为，SAM 2 的出现可能会使其他相关技术黯然失色。如何构建 SAM 2？ SAM 能够了解图像中对象的一般概念。然而，图像只是动态现实世界的静态快照。许多重要的现实用例需要在视频数据中进行准确的对象分割，例如混合现实、机器人、自动驾驶车辆和视频编辑。Meta 认为通用的分割模型应该适用于图像和视频。图像可以被视为具有单帧的非常短的视频。Meta 基于这个观点开发了一个统一的模型，无缝支持图像和视频输入。处理视频的唯一区别是，模型需要依靠内存来调用该视频之前处理的信息，以便在当前时间步准确地分割对象。视频中对象的成功分割需要了解实体在空间和时间上的位置。与图像分割相比，视频提出了重大的新挑战。对象运动、变形、遮挡、光照变化和其他因素可能会因帧而异。由于摄像机运动、模糊和分辨率较低，视频的质量通常低于图像，这增加了难度。因此，现有的视频分割模型和数据集在为视频提供可比的「分割任何内容」功能方面存在不足。 Meta 构建 SAM 2 和新 SA-V 数据集来解决这些挑战。与用于 SAM 的方法类似，Meta 对视频分割功能的研究涉及设计新任务、模型和数据集。研究团队首先开发了可提示的（promptable）视觉分割任务并设计了一个能够执行该任务的模型 ——SAM 2。然后，研究团队使用 SAM 2 来帮助创建视频对象分割数据集 ——SA-V，该数据集比当前存在的任何数据集大一个数量级。研究团队使用它来训练 SAM 2 以实现 SOTA 性能。可提示的视觉分割 SAM 2 支持在任何视频帧中选择和细化对象。研究团队设计了一个可提示的视觉分割任务，将图像分割任务推广到视频领域。SAM 经过训练，以图像中的输入点、框或掩码来定义目标对象并预测分割掩码。该研究训练 SAM 2 在视频的任何帧中获取输入提示来定义要预测的时空掩码（即「masklet」）。 SAM 2 根据输入提示立即预测当前帧上的掩码，并将其临时传播（temporally propagate）以生成跨所有视频帧的目标对象的 masklet。一旦预测出初始 masklet，就可以通过在任何帧中向 SAM 2 提供附加提示来迭代完善它。这可以根据需要重复多次，直到获得所需的 masklet。统一架构中的图像和视频分割从 SAM 到 SAM 2 的架构演变。 SAM 2 架构可以看作是 SAM 从图像领域到视频领域的推广。 SAM 2 可以通过点击、边界框或掩码被提示，以定义给定帧中对象的范围。轻量级掩码解码器采用当前帧的图像嵌入和编码提示来输出该帧的分割掩码。在视频设置中，SAM 2 将此掩码预测传播到所有视频帧以生成 masklet，然后在任何后续帧上迭代添加提示以细化 masklet 预测。为了准确预测所有视频帧的掩码，研究团队引入了一种由记忆编码器、记忆库（memory bank）和记忆注意力模块组成的记忆机制。当应用于图像时，内存组件为空，模型的行为类似于 SAM。对于视频，记忆组件能够存储关于该会话中的对象和先前用户交互的信息，从而允许 SAM 2 在整个视频中生成 masklet 预测。如果在其他帧上提供了额外的提示，SAM 2 可以根据对象存储的记忆上下文有效地纠正其预测。帧的记忆由记忆编码器根据当前掩码预测创建，并放置在记忆库中以用于分割后续帧。记忆库由先前帧和提示帧的记忆组成。记忆注意力操作从图像编码器获取每帧嵌入，并根据记忆库进行调整以产生嵌入，然后将其传递到掩码解码器以生成该帧的掩码预测。对于所有后续帧重复此操作。 Meta 采用流式架构，这是 SAM 在视频领域的自然推广，一次处理一个视频帧并将有关分割对象的信息存储在记忆中。在每个新处理的帧上，SAM 2 使用记忆注意力模块来关注目标对象之前的记忆。这种设计允许实时处理任意长的视频，这不仅对于 SA-V 数据集的注释收集效率很重要，而且对于现实世界的应用（例如在机器人领域）也很重要。当图像中被分割的对象存在模糊性时，SAM 会输出多个有效掩码。例如，当一个人点击自行车轮胎时，模型可以将这次点击解释为仅指轮胎或整个自行车，并输出多个预测。在视频中，这种模糊性可能会扩展到视频帧中。例如，如果在一帧中只有轮胎可见，则轮胎上的点击可能仅与轮胎相关，或者随着自行车的更多部分在后续帧中变得可见，这种点击可能是针对整个自行车的。为了处理这种模糊性，SAM 2 在视频的每个步骤创建多个掩码。如果进一步的提示不能解决歧义，模型会选择置信度最高的掩码，以便在视频中进一步传播。 SAM 2 架构中的遮挡 head 用于预测对象是否可见，即使对象暂时被遮挡，也能帮助分割对象。在图像分割任务中，在给定积极提示的情况下，帧中始终存在可分割的有效对象。在视频中，特定帧上可能不存在有效对象，例如由于对象被遮挡或从视图中消失。为了解释这种新的输出模式，研究团队添加了一个额外的模型输出（「遮挡 head（occlusion head）」），用于预测当前帧中是否存在感兴趣的对象。这使得 SAM 2 能够有效地处理遮挡。 SA-V：Meta 构建了最大的视频分割数据集来自 SA-V 数据集的视频和掩码注释。 ‍ 为了收集一个大型且多样化的视频分割数据集，Meta 建立了一个数据引擎，其中注释员使用 SAM 2 交互地在视频中注释 masklet，然后将新注释的数据用于更新 SAM 2。他们多次重复这一循环，以迭代地改进模型和数据集。与 SAM 类似，Meta 不对注释的 masklet 施加语义约束，注重的是完整的物体（如人）和物体的部分（如人的帽子）。借助 SAM 2，收集新的视频对象分割掩码比以往更快，比每帧使用 SAM 快约 8.4 倍。此外，Meta 发布的 SA-V 数据集的注释数量是现有视频对象分割数据集的十倍以上，视频数量大约是其 4.5 倍。总结而言，SA-V 数据集的亮点包括：在大约 51,000 个视频中有超过 600,000 个 masklet 注释；视频展示了地理上不同的真实场景，收集自 47 个国家；覆盖整个对象、对象中的一部分，以及在物体被遮挡、消失和重新出现的情况下具有挑战性的实例。结果下方两个模型都是用第一帧中的 T 恤蒙版初始化的。对于 baseline，Meta 使用来自 SAM 的蒙版，问题是过度分割并包括人的头部，而不是仅跟踪 T 恤。相比之下，SAM 2 能够在整个视频中准确跟踪对象部分。为了创建统一的图像和视频分割模型，Meta 将图像视为单帧视频，在图像和视频数据上联合训练 SAM 2。团队利用了去年作为 Segment Anything 项目的一部分发布的 SA-1B 图像数据集、SA-V 数据集以及额外的内部许可视频数据集。 ‍ SAM 2（右）提高了 SAM（左）图像中的对象分割精度。 SAM 2 论文也展示了该模型的多项提升： 1、SAM 2 在 17 个零样本视频数据集的交互式视频分割方面表现明显优于以前的方法，并且所需的人机交互减少了大约三倍。 2、SAM 2 在 23 个数据集零样本基准测试套件上的表现优于 SAM，而且速度快了六倍。 3、与之前的最先进模型相比，SAM 2 在现有的视频对象分割基准（DAVIS、MOSE、LVOS、YouTube-VOS）上表现出色。 4、使用 SAM 2 进行推理感觉很实时，速度大约为每秒 44 帧。 5、循环中使用 SAM 2 进行视频分割注释的速度比使用 SAM 进行手动每帧注释快 8.4 倍。 6、为了衡量 SAM 2 的公平性，Meta 对特定人群的模型性能进行了评估。结果表明，在感知性别和 18-25 岁、26-50 岁和 50 岁以上三个感知年龄组评估中，模型显示的差异很小。更多结果，请查看论文。论文地址：https://scontent-sjc3-1.xx.fbcdn.net/v/t39.2365-6⁄453323338_287900751050452_6064535069828837026_n.pdf?_nc_cat=107&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=TnvI-AaGawoQ7kNvgFJPdfC&_nc_ht=scontent-sjc3-1.xx&oh=00_AYAlCBmHCcIEnDo-YzzCScg8NZPgTQlwjE9FVlniLRw5JQ&oe=66AE2179 局限性虽然 SAM 2 在分割图像和短视频中的对象方面表现出色，但仍然会遇到诸多挑战。 SAM 2 可能会在摄像机视角发生剧烈变化、长时间遮挡、拥挤的场景或较长的视频中失去对对象的追踪。在实际应用中，Meta 设计了交互式模型来缓解这一问题，并通过在任意帧中点击校正来实现人工干预，从而恢复目标对象。在拥挤的场景中，SAM 2 有时会混淆多个外观相似的对象。 ‍ 当目标对象只在一帧中指定时，SAM 2 有时会混淆对象，无法正确分割目标，如上述视频中的马匹所示。在许多情况下，通过在未来帧中进行额外的细化提示，这一问题可以完全解决，并在整个视频中获得正确的 masklet。虽然 SAM 2 支持同时分割多个单独对象的功能，但模型的效率却大大降低。实际上，SAM 2 对每个对象进行单独处理，只利用共享的每帧嵌入，不进行对象间通信。虽然这简化了模型，但纳入共享的对象级上下文信息有助于提高效率。 SAM 2 的预测可能会错过快速移动对象的细节。对于复杂的快速运动对象，SAM 2 有时会漏掉一些细节，而且预测结果在帧之间可能不稳定，如上文骑自行车者的视频所示。在同一帧或其他帧中添加进一步的提示来优化预测只能部分缓解此问题。在训练过程中，如果模型预测在帧间抖动，不会对其进行任何惩罚，因此无法保证时间上的平滑性。提高这种能力可以促进需要对精细结构进行详细定位的实际应用。虽然 Meta 的数据引擎在循环中使用了 SAM 2，且在自动 masklet 生成方面也取得了长足进步，但仍然依赖人工注释来完成一些步骤，例如验证 masklet 质量和选择需要校正的帧。因此，未来的发展需要进一步自动化这个数据注释过程，以提高效率。要推动这项研究，还有很多工作要做。参考链接： https://ai.meta.com/blog/segment-anything-2-video/ https://techcrunch.com/2024/07/29/zuckerberg-touts-metas-latest-video-vision-ai-with-nvidia-ceo-jensen-huang/

只要一张图就能「还原」绘画过程，这篇论文比爆火的Paints-UNDO实现得更早

最近，lvmin 带来了最新模型 Paints-UNDO。这款 AI 生成工具可以根据图片还原整个绘画过程，整个 AIGC 社区都为之震撼。 Paints-UNDO 的演示 demo。早在 1 个月前，NUS，SJTU，Tiamat 等机构联合已经发布了一篇做类似任务的工作 ProcessPainter: Learn Painting Process from Sequence Data。Paints-UNDO 技术报告还未公布，让我们一起看看 ProcessPainter 是如何实现的吧！论文标题：ProcessPainter: Learn Painting Process from Sequence Data 论文链接：https://arxiv.org/pdf/2406.06062 代码链接：https://github.com/nicolaus-huang/ProcessPainter 翻开任意一本绘画教学书籍，都能看到按照步骤画画的指导。然而，在生成式 AI 时代，通过去噪过程完成图像生成和人类画家绘画过程完全不同，AI 画画的过程无法直接用于绘画教学。为了解决这一问题，ProcessPainter 通过在合成数据和人类画师绘画视频上训练时序模型，首次实现了让扩散模型生成绘画过程。此外，不同题材、画师的绘画过程差异巨大，风格迥异。然而，目前很少有研究将绘画过程作为研究对象。论文作者在预训练的 Motion Model 基础上，通过在特定画师的少量绘画序列上训练 Motion LoRA，学习画师的绘画技法。深入解读 ProcessPainter 的核心技术 1. 时序注意力机制（Temporal Attention）用时序注意力学习生成绘画过程是 ProcessPainter 的核心创新。绘画序列生成的关键是，整个序列是同一张图从抽象到具体的变化过程，前后帧在内容和构图上是一致且相关的。为了实现这一目标，作者为 Unet 引入了来自 AnimateDiff 的时序注意模块。该模块位于每一层扩散层之后，通过帧间自注意机制来吸收不同帧的信息，确保整个序列的平滑过渡和连续性。实验证明，该训练策略可以在帧之间保持一致的绘画效果。绘画过程生成和视频生成任务不同之处在于，绘画过程前后变化更加剧烈，首帧是完成度很低的色块或线稿，而尾帧是完整的画作，这对模型训练带来挑战。为此，论文作者先在大量合成数据集上预训练时序模块，让模型学习各种各种 SBR（Stroke-based rendering) 方法的逐步绘画过程，再用数十个艺术家的绘画过程数据训练 Painting LoRA 模型。 2. 艺术品复制网络（Artwork Replication Network）绘画实践中，我们更希望知道一幅作品是如何画出来的，以及如何从半成品绘画继续细化以达到期待的成品效果。这就引申出了两个任务：绘画过程重建和补全。鉴于这两个任务都有图像的输入，论文作者提出了艺术品复制网络（Artwork Replication Network）。这一网络设计能够处理任意帧的图像输入，灵活控制绘画过程的生成。与之前的可控性生成方法类似，论文作者引入一个 ControlNet 的变体，来控制生成结果中的特定帧与参考图一致。 3. 合成数据集与训练策略由于真实绘画过程数据较难获取，数量不足以支持大规模训练。为此，论文作者构建了用于预训练的合成数据集。具体采用了三种合成数据方法： 1. 采用 Learn to Paint 来产生半透明贝赛尔曲线笔触的绘画序列； 2. 通过自定义笔触，用 Neural style painting 生成油画风格和中国画风格的绘画序列。3. 上述 SBR（Stroke base painting）方法是从粗到细的拟合一张目标图像，意味着允许对于已经绘画的部分进行覆盖和修改，然而很多绘画种类，如中国画和雕刻，由于材料的限制，无法大幅度修改已经完成的部分，绘画过程是分区域完成的。为此，论文作者采用 SAM（segment anything) 和显著性检测方法，从空白画布逐个子区域添加内容，先绘制显著性物体，然后逐步向背景扩散，从而合成绘画过程视频。在训练阶段，论文作者首先在合成数据集上预训练了 Motion Model，然后冻结了 Motion Model 的参数并训练了 Artwork Replication Network。在微调绘画 LoRA 模型时，第一步只使用最终帧来微调空间注意力 LoRA，以防止半成品绘画训练集损害模型的生成质量。此后，论文作者冻结了空间注意力 LoRA 的参数，并使用完整的绘画序列微调时间注意力 LoRA。在推理阶段，当从文本生成绘画序列时，ProcessPainter 不使用艺术品复制网络。在绘画过程重建和补全任务中，ProcessPainter 使用艺术品复制网络接收特定帧的参考输入。为了确保生成的绘画序列中的帧尽可能与输入图像匹配，ProcessPainter 采用了 DDIM 反演技术来获取参考图像的初始噪声，并在 UNet 中替换特定帧的初始噪声。 ProcessPainter 效果展示在合成数据集上训练的 ProcessPainter base model 可以生成过程上有风格差异的绘画序列。通过在少量人类画师的绘画序列上分别训练 Motion Lora，ProcessPainter 可以学习特定画师的绘画过程和风格。指定参考图像，ProcessPainter 可以将完成的艺术品逆向解构为绘画步骤，或者从半成品推演出完整的画作。这些技术组件的结合，让 ProcessPainter 不仅能够从文本生成绘画过程，还能将参考图转换成绘画序列，或是对未完成的画作进行补全。这无疑为艺术教育提供了新工具，同时也为 AIGC 社区开辟了新赛道。也许不久的将来，Civitai 上会有各种模拟人类画师绘画过程的不同 Lora 出现。

英伟达 CES 霸气定调：「我就是 AI」

CES 2018 开展前，会有不少厂商希望在展前给这场全球最大的电子消费展定下趋势的基调。但从去年开始，人们都觉得必看的这场的发布会就是英伟达了。在昨天的 CES 2018 NVIDIA 展前发布会上，英伟达创始人兼 CEO 黄仁勋率先登场，发表了「I am AI」的主题演讲——在现场，英伟达发布了迄今最强的 AI 超级计算芯片 NVIDIA DRIVE Xavier，并继续宣布了围绕自动驾驶相关的几个关键产品和平台。英伟达提到，最新的 NVIDIA DRIVE Xavier 将会从本季度开始供货。 Xavier 是一个可怕的自动驾驶超级计算机…… 最早的 Xavier 处理器是在一年前首发，相比较去年的那款 Xavier，这场的 DRIVE Xavier 是对之前版本的更新版。英伟达提到，Xavier 是世界首个自动驾驶处理器，将会 2018 年第一季度流片出货。黄教主手中的这个小芯片，动用了 2000 名工程师，历时 4 年研发，英伟达为此投入了接近 20 亿元。黄教主提到，这也是英伟达有史以来最大的研发投入。黄教主对性能参数信手拈来。他提到，对于 Xavier 外界关注的性能功耗比：它每秒可执行 30 万亿次的深度学习计算，功耗仅为 30 瓦，能效相比上一代架构提升了 15 倍。他提到，一个 Xavier 芯片就能够为 L3-L4 级别自动驾驶车辆提供无延迟的算力支持。 Xavier 的代号源于 X 战警，是世界上最大的、最复杂的 SoC（片上系统），用于处理自动驾驶任务。它包括定制的 8 核 CPU、一个 512 核的 Volta 架构的 GPU，它拥有 90 亿晶体管，350mm²，12nFFN，可以非常流畅的支持 TensorCore、拥有的计算机视觉加速器、深度学习加速器、8K HDR 视频处理器可以提供视频识别和流处理。 Xavier 其实就是英伟达最新的一台超级计算机。在 Xavier 硬件之上，将配套功能更为详细的软件。英伟达在本次 CES 上推出两款全新软件平台：DRIVE IX 和 DRIVE AR。 DRIVE IX 是一款提供汽车智能体验的软件开发套件，其实更像是去年提到的诸多车内功能的集合。它利用车内的传感器，对驾驶员和成功提供以 AI 技术为技术的保障服务，比如面部识别以及语音控制等等。而英伟达最新宣布的 DRIVE AR 平台，则是一款支持增强现实的软件开发套件。英伟达将目前应用在 PC、游戏上的 AR 能力，移植到汽车研发工作上，比如在车内玻璃上提供增强现实的内容，在驾驶途中提供兴趣点，提供警告功能等等。黄教主认为 Xavier 比竞争对手领先两年，所有进行自动驾驶开发的公司都会选用这款产品。而 Xavier 也将会进入 DRIVE Pegasus AI 平台。这个产品也在去年提到过，英伟达 Drive Pegasus 是出租车 AI 计算机（robotaxi AI computer），为 L5 出租车市场设计。 DRIVE PX Pegasus 尺寸和一块车牌大小相仿，用来替代 L5 级别的自动驾驶原型车后备箱内的计算系统，Pegasus 包含了两个 Xavier 和最新的 NVIDIA GPU，表现能力等同于一个有 100 台服务器的数据中心。目前已经有 25 家公司正在寻求将 Pegasus 用于自己的车队，包括 Uber。可以说，英伟达提到的所有产品、应用都和 Xavier 有关，Xavier 就是为自动驾驶准备的超级芯片。芯片之后，黄教主关注的是信息安全。黄教主把新芯片、计算平台以及打包的软硬件开发包和功能都介绍一遍之后，他提到了一个安全框架——英伟达安全架构 Drive Functional Safety Architecture。关于理解它，主要是一个全新的测试仿真平台。你可以利用仿真测试平台，模拟变换日照和光线，制造一些对于传感器有挑战的场景进行模拟，通过人工介入的方式，比如模拟撞车，试探自动驾驶算法的决策。和百度、大众以及 Uber 的几个合作黄教主提到，百度和 ZF 都选择英伟达的 DRIVE Xavier，他们是英伟达友好的伙伴。而这套组合也将用于中国市场。英伟达宣布，他们也将与 Google 无人车前高管 Chris Urmson 创立的 AURORA 合作，共同打造采用 NVIDIA DRIVE Xavier 处理器的全新 L4 和 L5 级自动驾驶硬件平台。除此外，Uber 已将英伟达技术应用于旗下自动驾驶车队的 AI 计算系统。英伟达与 Uber 合作，共同开发自动驾驶 Uber，在此次合作中，Uber 已开始在其首批沃尔沃 XC90 SUV 测试车队中采用英伟达 GPU 计算技术，而 Uber Advanced Technologies Group 的自动驾驶货运车队将利用英伟达技术运行 AI 计算。黄教主霸气宣布，英伟达目前已经拥有了超过 320 家合作伙伴，构成了广泛的「自动驾驶朋友圈」。它们涵盖汽车、供应商、软件公司、传感器、地图以及一些初创公司等。「汽车的未来由软件定义」值得玩味从传统意义上的硬件公司，转变为一家提供自动驾驶硬件、技术，AI 技术的公司，黄教主甚至在今天的发布会上直接喊出了「未来汽车将由软件定义。」从硬件的广义角度，英伟达已经完成了从云端、芯片、配套软件和数据中心到终端的全链条布局。英伟达支持从传统 PC 终端到所有计算终端甚至是配套云数据中心的端到端布局。而在自动驾驶平台提供方案上，英伟达涵盖了车辆内部体验、车辆研发方面的视觉技术、车辆控制视觉技术以及自动驾驶基础硬件等四个方面，构成一个四层的输出结构： DRIVE XAVIER：实现功能的基础芯片 DRIVE IX：车辆内配套的各种提升体验的技术。例如检测人脸、语音控制，驾驶驶员状态监控等； DRIVE AR：利用增强现实进行自动驾驶训练，提升研发技术； DRIVE AV：计算机视觉技术，包括传感器数据收集，识别车道线、识别红绿灯等等；看起来像是要转型自动驾驶平台方案商？不知道，但英伟达看起来早有一些准备。一些其他的现场整个 Keynote 在黄教主的「我就是 AI/I Am AI」的主题开始娓娓道来，而我们熟悉的黄仁勋依旧黑皮夹克衫亮相，不知道他是多喜欢穿皮衣。发布会上，黄教主懂技术、飙术语，产品的性能、参数信手拈来，但他也飙了金句，他说「术语皆浮云，你们要记住，『买得越多，省得越多』」。好像还挺有道理的…… 去年一整年，AI 和深度学习的快速发展正在改变行业。对于今年，黄教主开始就给 CES 划了一些重点——自动驾驶，游戏主机以及游戏相关的 VR 应用，人工智能技术和其他等，都可能会成为今年的重点。黄教主几乎把所有的演讲时间都倾注在自动驾驶相关的业务上，PC 游戏业务简单带过，在这种场合几乎是前所未有的，显然是非常重视这项业务了。不过按照 2018 年 Q3 财季，英伟达游戏芯片收入 15.6 亿美元，增长 25.5%，占整体收入的 60%。数据中心业务达到 5.01 亿美元，汽车业务收入 1.44 美元，增长至 13.3%。英伟达在自动驾驶业务上还有很大的提升空间。作为一家提供技术硬件的公司，黄教主在 Keynote 的最后以一句非常有代表性的话定调——「未来的汽车将是软件定义的。」英伟达正在从一家喊着 GPU 技术，提供着显卡硬件的公司，彻底向自动驾驶平台型公司转变。

ICML 2024｜复杂组合3D场景生成，LLMs对话式3D可控生成编辑框架来了

近年来，针对单个物体的 Text-to-3D 方法取得了一系列突破性进展，但是从文本生成可控的、高质量的复杂多物体 3D 场景仍然面临巨大挑战。之前的方法在生成场景的复杂度、几何质量、纹理一致性、多物体交互关系、可控性和编辑性等方面均存在较大缺陷。最近，来自北京大学王选计算机研究所的 VDIG 研究团队与其合作者公布了最新研究成果 GALA3D。针对多物体复杂 3D 场景生成，该工作提出了 LLM 引导的复杂三维场景可控生成框架 GALA3D，能够生成高质量、高一致性、具有多物体和复杂交互关系的 3D 场景，支持对话式交互的可控编辑，论文已被 ICML 2024 录用。论文标题：GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting 论文链接：https://arxiv.org/pdf/2402.07207 论文代码：https://github.com/VDIGPKU/GALA3D 项目网站：https://gala3d.github.io/ GALA3D 是一个高质量的 Text-to-3D 复杂组合场景生成与可控编辑框架。用户输入一段描述文本，GALA3D 能够 zero-shot 地生成相应的具有多物体和复杂交互关系的三维场景。GALA3D 在保证生成 3D 场景与文本高度对齐的同时，展现了其在生成场景质量、多物体复杂交互、场景几何一致性等方面的卓越性能。此外，GALA3D 还支持用户友好的端到端生成和可控编辑，使得普通用户能够在对话式的交谈中轻松定制和编辑 3D 场景。在与用户的交流中，GALA3D 可以精准地实现复杂三维场景对话式的可控编辑，并根据用户的对话实现复杂三维场景的布局变换、数字资产嵌入、装修风格改变等多样化的可控编辑需求。方法介绍 GALA3D 的整体架构如下图所示： GALA3D 利用大型语言模型（LLMs）生成初始布局，并提出布局引导的生成式 3D 高斯表示构建复杂 3D 场景。GALA3D 设计通过自适应几何控制优化 3D 高斯的形状和分布，以生成具有一致几何、纹理、比例和精确交互的 3D 场景。此外，GALA3D 还提出了一种组合优化机制，结合条件扩散先验和文生图模型，协作生成具有一致风格的 3D 多物体场景，同时迭代优化从 LLMs 提取的初始布局先验，以获得更加逼真准确的真实场景空间布局。广泛的定量实验和定性研究表明 GALA3D 在文本到复杂三维场景生成方面取得了显著效果，超越现有文生 3D 场景方法。 a、基于 LLMs 的场景布局先验大语言模型展现了优异的自然语言理解和推理能力，本文进一步探索了 LLMs 大语言模型在 3D 复杂场景的推理和布局生成能力。如何在没有人工设计的情况下获得相对合理的布局先验有助于减少场景建模和生成的代价。对此，我们使用 LLMs (例如 GPT-3.5) 对文本输入的实例及其空间关系进行抽取，并生成相应的 Layout 布局先验。然而，通过 LLMs 解读的场景 3D 空间布局和 Layout 先验与实际场景存在一定差距，通常表现生成悬浮 / 穿模的物体，比例差异过大的物体组合等。进一步地，我们提出了 Layout Refinement 模块，通过基于视觉的 Diffusion 先验和 Layout 引导的生成式 3D 高斯对上述生成的粗糙布局先验进行调整和优化。 b、Layout Refinement GALA3D 使用基于 Diffusion 先验的 Layout 布局优化模块对上述 LLMs 生成的布局先验进行优化。具体地，我们将 Layout 引导的 3D 高斯空间布局的梯度优化加入 3D 生成过程，通过 ControlNet 对 LLM-generated Layouts 进行空间位置、旋转角度和尺寸比例的调整，如图展示了优化前后 3D 场景和 Layout 的对应关系。经过优化的 Layout 具有更加准确的空间位置和比例尺度，并且使得 3D 场景中多物体的交互关系更加合理。 c、布局引导的生成式 3D 高斯表示我们首次将 3D-Layout 约束引入 3D 高斯表示，提出了布局引导的生成式 3D 高斯，用于复杂文生 3D 场景。Layout-guided 3D 高斯表示包含多个语义抽取的实例物体，其中每个实例物体的 Layout 先验可以参数化为：其中，N 代表场景中实例物体的总数。具体地，每一个实例 3D 高斯通过自适应几何控制进行优化，得到实例级的物体 3D 高斯表示。进一步地，我们将多个物体高斯根据相对位置关系组合到全场景中，生成布局引导的全局 3D 高斯并通过全局 Gaussian Splatting 渲染整个场景。 d、自适应几何控制为了更好地控制 3D 高斯在生成过程中的空间分布和几何形状，我们提出了针对生成式 3D 高斯的自适应几何控制方法。首先给定一组初始高斯，为了将 3D 高斯约束在 Layout 范围内，GALA3D 使用一组密度分布函数来约束高斯椭球的空间位置。我们接着对 Layout 表面附近的高斯进行采样来拟合分布函数。之后，我们提出使用形状正则化控制 3D 高斯的几何形状。在 3D 生成的过程中，自适应几何控制不断优化高斯的分布和几何，从而生成更具纹理细节和规范几何的 3D 多物体与场景。自适应几何控制还保证了布局引导的生成式 3D 高斯具有更高的可控性和一致性。实验结果与现有 Text-to-3D 生成方法相比，GALA3D 展现了更加优异的 3D 场景生成质量和一致性，定量实验结果如下表所示：我们还进行了广泛且有效的用户调研，邀请 125 位参与者（其中 39.2% 为相关领域的专家和从业人员）对本文方法和现有方法的生成场景进行多角度评估，结果如下表所示：实验结果表明 GALA3D 在生成场景质量、几何保真度、文本一致性、场景一致性等多维度的测评指标中均超越现有方法，取得了最优的生成质量。如下图定性实验结果所示，GALA3D 能够 zero-shot 地生成复杂多物体组合 3D 场景，并且具有良好的一致性：下图展示了 GALA3D 能够支持用户友好的、对话式的可控生成和编辑：

「光合」作用算力质变，AI乘风走深向实

「光合作用」破局中国算力，加速「智变」。毋庸置疑，人工智能就是当下「最靓的仔」。 GPT-4o Mini 刚免费上线，Llama 3.1 接踵而至，表现超越 GPT 4o。Sora 、可灵、即梦，你方唱罢我登场。在刚结束的世界人工智能大会上，国内首款全尺寸通用人形机器人开源公版机发布。经过多年的数据、算法和算力积累，「智变」时刻已经到来——未来，千行万业都将会因为 AI 得以重塑，无论是大模型还是小模型。今年全国两会上，「人工智能+」也被首次写入政府工作报告，并列为 2024 年十大工作任务的首位。要用人工智能技术赋能千行百业，发展新质生产力，算力是关键，也是衡量一个地区或国家 AI 竞争实力的关键指标。作为国家先进计算产业创新中心的重要组成部分，光合组织正在发挥其独特的「光合作用」，破局中国算力，加速「智变」，赋能 AI 走深向实。一、AI 狂飙，产业「智变」倒计时中国工程院院士郑纬民在 2024 光合组织领导人大会上表示：「当前激烈的产业竞争，让 AI 升级面临严峻考验，同时也带来了难得的机遇。我们要保持乐观态度，提升硬件性能，同时努力完善高水平的产业协作。」在中国，「百模大战」一路狂奔，AI 正以前所未有的速度向各行各业渗透。在大模型的辅助下，创作效率正大幅提高。以视频创作为例，传统的分工明晰、周期冗长的制作流程，如今可以在 AI 支持的一站式平台上完成。同样，在编程领域，AI 助手能在几秒内生成上百行代码，开发效率大幅提升。但聊天、创意和写作不是大模型的全部，在金融、生物医药、工业制造、政务、科学研究等领域，AI 正为产业刚需带来实实在在的价值。气象大模型通过 AI 推理的方式解决气象的预测难题，现在，使用一张卡就可以预测出来7天的天气，以往可能需要上千台服务器耗费数小时。在智慧工厂，平均每一秒就可以下线一台 PC 整机；在汽车总装车间，53 秒下线一台车；工业的时序数据基础模型正在实现趋势预测和异常检测等多种应用。能源领域也不例外。世界最大的清洁能源走廊——长江干流上的六座梯级水电站，正不断与科技创新碰撞出新的火花。「 AI for Science 是中国科技创新历史上最好的机会，它的空间非常大，将全方位改变科学研究到产业落地的过程。」中国科学院院士、北京大学国际机器学习研究中心主任鄂维南曾公开表示。中国信息通信研究院的一组数据进一步印证了「智变」已经进入倒计时：2023 年，我国人工智能核心产业规模达 5787 亿元，相关企业数量 4482 家，产业链覆盖芯片、算法、数据、平台、应用等上下游关键环节，细分领域不断突破。经过多年培育，行业已经经历了信息化、网络化和平台化阶段，正进入数据驱动的智能化新阶段。二、穿针引线，共谱「光合」协奏曲现在，只需轻点鼠标，在人工智能遥感系统这位「手相师傅」帮助下，自然资源的「掌纹」细节，都能被一一识别、解读：起伏的山峦和绵延的森林、广袤的田野耕地、蓝色的海岸生命线、交错纵横的街道和建筑； …… 这只是许多 AI 企业依托光合组织「效应」，实现新质生产力的一个缩影。算力，已成为数字经济发展和人工智能进步的关键资源。近几年，人工智能技术加速融入更多行业和场景，算力需求呈现爆发式增长。 100P 只能算「起步价」，人工智能企业业务对算力的需求都很大，每小半年，需求都会翻倍， AIGC 可能引发新一轮智算需求。所以，哪怕是一家「算力巨无霸」企业，也无以支撑如此庞大的需求。再从我国算力供给侧来看，中国的算力总规模居世界第二，但数据中心建设缺口依然很大，特别是对智算中心的需求和建设更为迫切。同时，已有的部分算力未能得到有效利用。大量场景没有用人工智能，不是因为用不到，也不是因为不需要，而是因为企业自建算力设施成本很高，普惠算力又缺乏。如何实现算力的「普惠」，让算力成为 AI 发展的基础资源？光合组织应运而生，集全产业链共谱「光合」协奏曲！光合组织是海光产业生态合作组织的简称，承载着建立和完善国产计算技术供应链和产业链重要使命，正通过其独特的「光合效应」，赋能「算力网」重要节点。就像一部协奏曲的谱曲者，它把国内计算产业上下游企业、高校、科研院所等各路高手召集到一块，穿针引线，专攻算力和人工智能技术攻关与应用合作。在刚结束的 2024 光合组织领导人大会上，光合组织「再下一城」：举办多个揭牌及签约仪式，推动郑州建设「算力之城」。 7月23日上午，2024光合组织领导人大会在河南省郑州国际会展中心开幕。作为东西部的连接纽带，早在 2020 年 11 月，河南就开始布局算力建设，为郑州在「东数西算」工程中奠定基础，其智能算力不仅位居全国前列，还坐拥郑州人工智能计算中心和 360 智算中心等基础设施。近期，中原算力谷在中原科技城科技转化片区揭牌，这个投资超百亿元、算力超万 P 的项目，无疑将成为中部地区算力产业高地的重要支撑。为实现高效「互联」、「互通」，郑州正全力打造「算力之城」，布局中部地区首张城市算力网。大会上，河南省委书记楼阳生亲自为郑州先进计算研究所和海光生态适配中心郑州基地揭牌。这两家机构的落地将为郑州提供先进的计算能力和技术支持，成为打造「算力之城」的重要基石。通过光合组织的牵线搭桥，郑州市人工智能创新中心、郑州市人工智能创新发展联盟、中原科技城人工智能产业园也在当天揭牌，规划了从研发创新、生态构建到落地空间和服务的完整闭环。植物的光合作用需要阳光、水分和二氧化碳的共同参与，郑州算力生态的「光合效应」也需要产学研的通力合作。大会上，国家先进计算产业创新中心还与郑州大学、河南大学就产学研合作及人才培养基地签约，郑州市人民政府与深信服、思必驰、青云科技、捷通华声等 10 家智算领域企业签约，加快郑州从「算力城」迈向「智能城」的脚步。三、全链协作，富能国产算力除了如何更好满足算力需求、降低算力使用成本和使用门槛，在目前阶段，根技术上的自立自强也是刚性发展需求。人工智能是新质生产力的重要引擎，算力又是算法模型的基础，建设自有智算基础来支撑行业未来发展，显得尤为必要。而光合组织，作为由海光信息技术股份有限公司发起的产业生态联盟，正以其强大的向心力和引领作用，成为解决国产化挑战的核心力量。经过四年多的发展，光合组织已经建立了一个庞大的生态系统，包含 4000 余家成员单位，覆盖了从芯片设计到应用服务的全产业链。在芯片领域，光合组织与国产芯片厂商密切合作，推动 CPU 和 GPU 的研发和应用。在存储方面，促进了国产固态硬盘和大容量存储系统的发展。对于服务器和网络设备，光合组织正推动国产品牌如同方、联想开天等的创新，以满足大规模计算和海量数据传输的需求，并获得金融、能源、电信等关键行业和领域认可。中间层软件，如操作系统方面，光合组织积极推广统信、麒麟等国产操作系统，并促进其与底层硬件的深度适配。对于数据库，它支持达梦等国产数据库的发展和应用，推动这些产品在各行业的落地。同时，光合组织还在推动中间件、虚拟化平台等关键基础软件的国产化进程。在应用软件层面，光合组织不仅推动了 ERP、CRM 等企业级软件的国产化，还在人工智能、大数据分析等前沿领域促进了国产解决方案的发展，构建高水平商业体系。例如，通过与行业伙伴（如百度、思必驰等）合作，支持百度飞桨等国产 AI 框架与底层硬件的深度融合，推动 AI 模型在国产算力底座上的部署和优化。在 AIGC 持续快速发展背景下，积极适配文心一言等大多数国内外主流大模型，实现了 LLaMa、GPT、Bloom、ChatGLM、悟道、紫东太初等为代表的大模型的全面应用。作为这一生态合作的最新成果，在 2024 光合组织领导人大会上，首款国产 AI PC ——联想开天 M90h G1t AI PC 元启版在海光信息和联想开天的共同努力下，正式发布。在许多成员看来，光合组织为 AI 产业的生态对接提供了一个很好的平台。用户需要的是完整的解决方案，而单一厂商很难提供从底层架构到前端应用的一整套产品，在此背景下，生态力量的整合非常关键。冲量在线「 AI 安全开放平台」的诞生契机，正是光合组织解决方案大赛。在将基于深度学习框架的 AI 模型适配海光芯片过程中，他们向海光提出了大量优化和适配需求，都得到了快速响应。这一方案最终在某银行 AI SaaS 服务的安全能力技术提升的项目招标中中标。用友公司在迁移废钢智能判定模型过程中，几乎无障碍地跑通了算法，也得益社区详细的产品文档，在适配和使用过程中遇到问题都能得到及时响应。随着人工智能技术的不断突破，算力需求呈现爆发式增长，而算力「卡脖子」成为各大厂商竞逐AI最为头疼的难题。光合组织汇聚4000 多家成员单位的合力，助力构建从芯片设计到应用服务的全产业链生态系统，不仅为更多企业提供了强大的算力基础，更推动了算力的普惠化。在这个AI时代，算力犹如阳光之于植物的光合作用，是推动整个产业生长的关键能量。光合组织正以其「光合作用」，通过推动算力革命，加速 AI 产业「走深向实」。

别只盯着ChatGPT版「Her」，在多模态AI拟人互动上，国内玩家也支棱起来了

揭秘！47页文档拆解苹果智能，从架构、数据到训练和优化

在 2024 年全球开发者大会上，苹果重磅推出了 Apple Intelligence，这是一个全新的个性化智能系统，可以提供实用的智能服务，覆盖 iPhone、iPad 和 Mac，并深度集成在 iOS 18、iPadOS 18 和 macOS Sequoia 中。库克曾经表示，Apple Intelligence 是苹果创新的新篇章，将改变用户使用产品的方式。他强调，苹果独特的方法结合了生成式人工智能和用户的个人信息，能提供真正有用的智能服务。此外，Apple Intelligence 能够以完全私密和安全的方式访问信息，帮助用户完成对他们最重要的事情。这是苹果独有的 AI 体验。如今，距离 Apple Intelligence 官宣一个多月过去了，这项技术终于落地智能设备，相关技术文档也终于放出。在刚刚过去的一天，拥有 iPhone 15 Pro 或 iPhone 15 Pro Max 的用户可以下载 iOS 18.1 开发测试版，并可以体验 Apple Intelligence 的功能了。随着这篇长达 47 页技术报告的出炉，我们可以更加深入的了解 Apple Intelligence 背后的秘密武器。报告地址：https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf 报告详细介绍了其中两款模型 ——AFM-on-device，AFM 代表 Apple Foundation Model，是一个约 30 亿参数的语言模型，以及一个更大的基于服务器的语言模型 AFM-server，可以高效、准确和负责地执行专门的任务（图 1）。这两个基础模型作为苹果更大的生成模型系列的一部分存在。架构及训练 AFM 基础模型是基于 Transformer 架构构建的密集解码器模型，采用如下设计：共享输入 / 输出嵌入矩阵，以减少用于参数的内存使用。使用 RMSNorm 进行预归一化以提高训练稳定性。查询 / 键归一化以提高训练稳定性。具有 8 个键值头的分组查询注意力（GQA），以减少 KV 缓存内存占用。 SwiGLU 激活，以提高效率。 RoPE 位置嵌入，基频（base frequency）设置为 500k，以支持长上下文。 AFM 预训练过程在开发高性能语言模型，以支持一系列 Apple Intelligence 功能方面发挥着关键作用。研究团队注重效率和数据质量，以获得高质量的端到端用户体验。在后训练方面，研究团队发现改进通用后训练可以提升 Apple Intelligence 所有功能的性能，因为模型在遵循指令、推理和写作方面会具有更强的能力。为了确保这些模型功能符合苹果对保护用户隐私的承诺，以及苹果的 Responsible AI 原则，后训练工作包括一系列数据收集和生成、指令调整和对齐创新。后训练过程包含两个阶段：监督微调（SFT）和来自人类反馈的强化学习（RLHF）。研究团队提出了两种新的后训练算法：（1）带有 teacher committee（iTeC）的拒绝采样微调算法，以及（2）一种用于强化学习迭代的 RLHF 算法，带有镜像下降策略优化（mirror descent policy optimization）和留一法优势估计器（leave-one-out advantage estimator）（MDLOO），使得模型质量显著提高。 Apple Intelligence特性基础模型是为 Apple Intelligence 专门设计的，这是一个支持 iPhone、iPad 和 Mac 的个人智能系统。苹果发现，针对特定任务的微调，他们可以将小模型的性能提升到一流水平，除此以外，他们还开发了一种基于运行时可交换适配器（runtime-swappable adapters）的架构，使单一基础模型能够专门用于数十个此类任务。图 2 显示了高级概述。适配器架构苹果使用 LoRA 适配器来针对特定任务进行模型微调。对于每项任务，研究者会调整 AFM 自注意力层中的所有线性投影矩阵以及逐点前馈网络中的全连接层。仅通过微调适配器，基础预训练模型的原始参数保持不变，可以保留模型的一般知识，同时定制适配器以支持特定任务。量化为了将 AFM 纳入内存预算有限的边缘设备并降低推理成本，需要考虑量化技术。先前的研究发现，与原始的 32/16 位浮点相比，经过 4 位量化的模型损失会很小。为了在模型容量和推理性能之间实现最佳平衡，苹果开发了最先进的量化方法和利用准确率 – 恢复适配器（accuracy-recovery adapters）的框架。使得模型在每个权重平均小于 4 位的情况下，还能实现近乎无损的量化，并提供灵活的量化方案选择。方法经过后训练，模型被压缩和量化，得到平均低于 4 位的权重。量化模型通常表现出中等程度的质量损失。因此，苹果不会将量化后的模型直接用于功能开发，而是附加一组参数高效的 LoRA 适配器以进行质量恢复。值得注意的是，训练准确率 – 恢复适配器具有样本效率，可以看作是训练基础模型的迷你版本。在适配器的预训练阶段，只需要大约 100 亿个 token（约占基础模型训练的 0.15%）即可完全恢复量化模型的能力。由于应用程序适配器将从这些准确率 – 恢复适配器微调而来，因此它们不会产生任何额外的内存使用或推理成本。关于适配器大小，苹果发现适配器秩为 16 时提供了模型容量和推理性能之间的最佳权衡。但是，为了灵活性，苹果提供了一套具有不同秩 {8、16、32} 的准确率 – 恢复适配器供应用程序团队选择。混合精度量化 AFM 中的每个 transformer 块和每个层都存在残差连接。因此，所有层都具有同等重要性的可能性不大。根据这一直觉，苹果通过推动某些层使用 2 位量化（默认为 4 位）来进一步减少内存使用量。平均而言，AFM-on-device 可以压缩到每个权重仅约 3.5 位 (bpw)，而不会造成显著的质量损失。评估研究团队使用常见的开源评估工具和基准来评估 AFM 预训练模型。表 2 展示了在 HELM MMLU v1.5.0 上 AFM-on-device 和 AFM-server 的结果。这些基准测试表明，AFM 预训练模型具有强大的语言和推理能力，为后训练和特征微调提供了坚实的基础。 AFM 与开源模型（Phi-3、Gemma-1.1、Llama-3、Mistral、DBRX-Instruct）和商业模型（GPT3.5 和 GPT-4）的比较结果如下图3所示。与其他模型相比，AFM 模型更受人类评估人员的青睐。特别是，AFM-on-device 与 Phi-3-mini 相比，尽管模型规模小了 25%，但仍获得了 47.7% 的胜率，甚至优于开源强基线 Gemma-7B 和 Mistral-7B。为了衡量模型生成响应遵循提示中指令的能力，研究团队在 IFEval 基准上评估了 AFM-on-device 和 AFM-server，结果如下图 4 所示：如图 5 所示，AFM-server 实现了最佳的整体准确率，优于 Gemini-1.5-Pro-Preview-0514 和 GPT-4。苹果将 AFM 与一些最出色的模型以及规模较小的开源模型进行了比较。如图 6 所示，与 Gemma-7B 和 Mistral-7B 相比，AFM-on-device 可以实现相当或更好的性能。AFM-server 的性能明显优于 DBRX-Instruct 和 GPT3.5，并且与 GPT4 相当。图 7 比较了经过后训练的 AFM 在数学基准上的表现。结果发现，AFM-on-device 的性能明显优于 Mistral-7B 和 Gemma-7B，即使规模不到它们的一半。下图为人类评分员评估 AFM-on-device 适配器、Phi-3-mini、Llama-3-8B 和 Gemma-7B 在摘要任务上的质量。图 8 显示 AFM-on-device-adapter 总体上优于其他模型。负责任的AI Apple Intelligence 的开发和设计都注重保护用户隐私。图 9 总结了人类评分员在不同模型上给出的违规率，越低越好。AFM-on-device 和 AFM-server 都对对抗性提示具有鲁棒性，其违规率明显低于开源和商业模型。图 10 表明，与其他模型相比，AFM 模型更受人类评分员的青睐。

AI助攻人类画家拿下艺术大赛第一名，背后有啥独家秘籍？

两年前，在美国科罗拉多州博览会艺术比赛上，一幅名为《太空歌剧院》的作品拿了第一名。此画气势恢弘、明暗有致，颇有法国象征主义画家古斯塔夫・莫罗的味道。只不过，它不是人画的，而是由一位没有任何绘画基础的参赛者，借助 AI 绘图工具完成的。我们再把时间拨回到 2018 年。彼时，一幅名为《埃德蒙・贝拉米画像》的 AI 画作在纽约佳士得拍卖行，拍出了 40 多万美元的高价。这是第一幅被拍卖的人工智能作品，由此也标志着 AI 艺术作品开始被市场认可。如今，AI 绘画早已司空见惯，国内外的 AI 玩家纷纷下场，都要把这一赛道卷冒烟了。比如国外赫赫有名的 AI 生图应用 Midjourney、Stable Diffusion、DALL-E，动不动就上演神仙打架；国内的字节、阿里、腾讯等企业也隔三差五推出新产品、新功能。可是，AI 绘画应用五花八门，对于 AI 爱好者来说，如何实现更强的图文匹配？如何生成更具美感的图像？如何高效部署文生图模型呢？《AIGC 体验派》第六期节目就来唠唠这件事儿。《AIGC 体验派》视频节目由火山引擎、NVIDIA 联手机器之心和 CMO CLUB 共同推出，汇聚了众多营销领域的专业人士，共同探讨 AIGC 技术的应用、思考与实践。在本期节目中，两位行业资深嘉宾将深入剖析高美感文生图背后的技术链路，手把手教大家如何实现更强的图文匹配。直播时间：8月6日 19:00-19:40 直播主题：奇幻成像，高美感文生图背后的技术链路第六期节目邀请到两位重磅嘉宾，分别是豆包文生图技术专家张亮、NVIDIA 解决方案架构师赵一嘉。精彩内容抢先看随着 AIGC 技术的迭代，生成式 AI 的多模态能力正在迅速扩展和深化。作为大模型最火热的应用领域之一，文生图近几年也取得了突破性进展，极大地丰富了内容创作者的武器库。用户只需输入几句简单的提示词，AI 就能自动生成逼真细腻的画作。无论是古典油画的细腻质感，还是现代抽象艺术的自由表达，抑或是东方水墨画的深远意境，它都能游刃有余地进行创作。它不仅能学习和模仿历史上著名画家的风格，也能创造出全新的艺术流派，为用户带来前所未有的创作和交互体验。时至今日，AI 绘画更是进化「成精」，甚至到了真假难辨的地步。例如，这样的：或者这样的：也正是由于独特的创作力和沉浸式的互动体验，AI 文生图成了各大 AI 厂商竞相争夺的「香饽饽」。例如，字节一口气推出了剪映、星绘、即梦等 AI 产品，无一例外，它们都包含了文生图能力，而这些产品的背后，都离不开字节的豆包文生图大模型。对于文生图模型来说，要想讨得用户「欢心」，无外乎三点：更强的图文匹配、更美的图像效果和更快的生成体验。那么，豆包文生图大模型是如何实现更强的图文匹配来满足用户的想法设计？如何生成更具美感的图像来提供更极致的用户体验？如何更快速地出图来满足超大规模的服务调用？这些问题的答案，将在第六期《AIGC 体验派》中揭晓。上期回顾在第五期《AIGC 体验派》的直播中，火山引擎内容安全与风控负责人张建洋、NVIDIA 企业级开发者社区高级经理何琨深入剖析 AIGC 在营销领域的创新与安全问题，分享如何在变革中实现业务的持续增长与稳健发展。众所周知，AIGC 技术正逐渐成为企业营销一大创新利器。它可以帮助营销人以前所未有的速度创作天马行空的营销素材，只需简单输入几个关键词或提示词，就可以在短时间内自动生成引人入胜的营销文案、图片、以及营销视频。然而，正如任何技术革新一样，AIGC 在提升营销创意和效率的同时，也带来了诸多安全问题。火山引擎内容安全与风控负责人张建洋以实际案例，展示了火山引擎的 AI 技术如何为营销人「保驾护航」。张建洋表示，大模型的幻觉让输出结果不完全可控，由此导致营销内容存在各种潜在的内容风险。例如，AIGC 技术创作的营销文案含有「最好」、「第一」、「世界级」、「全网首发」等「绝对化」的用语，生成的营销图片或视频中可能含有低俗低质的不良内容，它们一旦出现在广告中，不仅会损害品牌形象，还会引起公众的反感。对此，火山引擎提供了一整套有针对性的内容风险检测引擎，通过其多模态内容支持、多样化的风险模型和实时风险评估功能，为企业打造了一个全面、高效的风险管理解决方案。其中，针对营销素材风险多样性的问题，检测引擎内置了上百个风险模型。例如，适用于营销文案的广告用语检测模型，可以准确判断文案中是否含有绝对化用语、虚假宣传、以及诱导消费的违规内容；而适用于营销视频的画面质量和版权检测模型，可以判断视频中是否包含不良画面和低质内容，以及是否存在侵权可能。此外，为了有效转化目标用户，企业往往不惜投入重金开展各种营销活动，如新人奖励、任务奖励等，以期提升用户粘性。然而，这些充满诱惑的奖励机制，也可能成为黑产眼中的「肥肉」，他们利用漏洞作弊，将企业的营销资金占为己有。例如，一家车企在开展线上营销活动时，遇到虚假助力和虚假试驾这两大棘手问题。接入火山引擎智能风控产品后，短短两个月，他们就有效识别出异常行为 108 万次、异常账户超 3 万个，异常设备 2 万余台，直接止损金额达 50 万元，不仅有效降低了营销费用的浪费，还极大提升了业务转化率。 NVIDIA 企业级开发者社区高级经理何琨则介绍了一款超酷的工具 ——NeMo Guardrails，它就像是大语言模型的「保镖」，避免它们胡言乱语。据何琨介绍，NeMo Guardrails 是一个开源工具库，通过添加可编程护栏来控制大型语言模型的输出，防止敏感话题、不当言论和恶意攻击。它包括话题限定、对话安全和攻击防御三大护栏，支持自定义对话逻辑，确保对话机器人的响应符合特定请求和预定义逻辑。 NeMo Guardrails 的工作流程包括接收用户输入、匹配生成护栏、执行对话逻辑流和生成机器人回答。它使用 Colang 语言定义对话逻辑，这是一种用于对话式 AI 建模的语言，具有高度可读性和可扩展性。此外，NeMo Guardrails 可以与 LangChain 结合使用，支持多种大语言模型对话引擎，实现更安全的对话系统输出。

arXiv论文可以发「弹幕」了，斯坦福alphaXiv讨论平台上线，LeCun点赞

干杯！当论文讨论细致到词句，是什么体验？最近，斯坦福大学的学生针对 arXiv 论文创建了一个开放讨论论坛 ——alphaXiv，可以直接在任何 arXiv 论文之上发布问题和评论。网站链接：https://alphaxiv.org/ 其实不需要专门访问这个网站，只需将任何 URL 中的 arXiv 更改为 alphaXiv 就可以直接在 alphaXiv 论坛上打开相应论文：可以精准定位到论文中的段落、句子：右侧讨论区，用户可以发表问题询问作者论文思路、细节，例如：也可以针对论文内容发表评论，例如：「给出至少一个数学问题及其解决方案作为示例会具有启发性。」用户还可以回应、点赞、反对某条评论：对此，图灵奖得主 Yann LeCun 也觉得非常 Nice。我们发现很多论文作者纷纷称赞 alphaXiv 论坛，例如最近发表的一篇论文《KAN or MLP: A Fairer Comparison》，在 alphaXiv 上收获了一些讨论，论文一作 Runpeng Yu 发推表示将在 alphaXiv 上回答大家的问题。如网友所说：「AlphaXiv 使研究变得易于协作」，推进了学术交流。

CMU&清华新作：让LLM自己合成数据来学习，特定任务性能同样大幅提升

虽然大规模语言模型（LLM）在许多自然语言处理任务中表现优异，但在具体任务中的效果却不尽如人意。为了提升模型在特定自然语言任务上的表现，现有的方法主要依赖于高质量的人工标注数据。这类数据的收集过程既耗时又费力，对于数据稀缺的任务尤为困难。为了解决这个问题，一些研究尝试通过强大的 Teacher Model 生成训练数据，来增强 Student Model 在特定任务上的性能。然而，这种方法在成本、可扩展性和法律合规性方面仍面临诸多挑战。在无法持续获得高质量人类监督信号的情况下，如何持续迭代模型的能力，成为了亟待解决的问题。来自卡内基梅隆大学和清华大学的研究团队提出了 SELF-GUIDE 方法。该方法通过语言模型自身生成任务特定的数据集，并在该数据集上进行微调，从而显著提升模型在特定任务上的能力，无需依赖大量外部高质量数据或更强大的 Teacher Model。具体来说，在外部输入大约 3 个样例的情况下，SELF-GUIDE 采用多阶段的生成和过滤机制，利用模型生成的合成数据进行微调，使模型在特定任务上的表现更加出色。论文地址：https://arxiv.org/abs/2407.12874 代码仓库:https://github.com/zhaochenyang20/Prompt2Model- SELF-GUIDE 图 1：SELF-GUIDE 利用模型自主合成数据的能力提升模型执行特定任务的能力。方法具体来说，研究团队将 SELF-GUIDE 方法分解为三个主要阶段：输入数据生成、输出数据生成和质量优化。输入数据生成在 SELF-GUIDE 框架的设计和实现过程中，研究者首先根据任务类型（生成型任务或分类型任务）指定不同的提示模板。对于生成型任务， SELF-GUIDE 框架使用一个相对简单的提示模板。而对于分类型任务， SELF-GUIDE 框架则采用了另一种策略。对于分类任务， SELF-GUIDE 框架首先从全部标签空间中随机选择一个标签，将其作为条件生成的伪标签，指导输入数据的生成。选定伪标签后， SELF-GUIDE 框架使用较为复杂的条件生成模板，引导模型生成与所选伪标签相对应的输入内容。图 2：SELF-GUIDE 的核心在于一个高效的多阶段生成机制，其中语言模型逐步生成输入数据输出数据组合。经过生成和过滤后，自生成的数据进一步用于微调语言模型本身。此图描述了 SELF-GUIDE 针对生成任务的流程。选定模板并填充示例（few-shot examples）后，完整的提示被传递给 LLM，以生成输入数据。每轮提示后，新生成的输入会被添加到输入库中。从这个库中随机抽取一部分输入，并与初始示例中的输入合并，形成新的提示，逐步扩展 LLM 生成的输入集并且减少重复。SELF-GUIDE 仅进行一轮输入生成，随后在质量优化阶段，应用基于规则的过滤器来去除低质量的输入。图 3：此图描述了 SELF-GUIDE 完成分类任务的过程。对于分类任务的数据，SELF-GUIDE 首先生成伪标签，然后生成对应的输入，最后重新生成真实标签。输出数据生成输出数据生成阶段采用了典型的上下文学习方法：研究者向模型提供任务指令和原始示例，使模型对输入生成阶段产生的每一个输入进行标注。在获取所有输出后，再进行一轮基于规则的过滤，以选择最终的合成数据集。质量优化生成数据的质量对于下游训练的成功至关重要。SELF-GUIDE 采用了两种策略来提高质量：调整生成参数以提高生成质量并基于规则过滤掉低质量样本。调整温度：调整温度是一种平衡多样性和质量的常见策略。SELF-GUIDE 框架在输入生成阶段使用较高的温度以鼓励多样性，在其他阶段通过使用较低的温度确保得到概率最高的输出，从而保证整体数据质量。然而，仅依靠温度调整不足以实现所需的平衡。因此， SELF-GUIDE 还在输入生成后和输出注释后分别进行了两轮基于规则的数据过滤。噪声过滤（Noise Filter）：研究者手动整理了一份噪声术语列表，包括常见的问候语和噪声字符（例如，生成内容中的”\\”）。如果生成示例的输入或输出中出现了任何来自这份列表的噪声术语， SELF-GUIDE 将丢弃整个示例。长度过滤（Length Filter）：虽然示例的长度可能存在偏差，但是研究者认为这些示例在特定任务的长度分布方面仍然具有代表性。SELF-GUIDE 假设示例的长度遵循正态分布，并计算出输入样例的均值 μ 和标准差 σ，研究者假定生成示例的输入和输出长度应符合同一正态分布，并要求长度在 (μ − 2σ, μ + 2σ) 范围内。整体参数微调（One Parameter Fits All）：为了使 SELF-GUIDE 生成符合指令和示例指定目标分布的训练数据，需要在标注数据点上优化各种超参数，包括生成输入输出的个数、输入数据生成的温度、输出数据生成的温度、微调参数等。研究者将实验测试任务分为两部分：一部分可以利用所有数据进行验证以调整生成参数，称为验证任务；另一部分的数据仅用于测试而不可用于调整参数，称为测试任务。研究者在验证任务上搜索 “最大化最差任务性能” 的参数，并将其固定用于测评 SELF-GUIDE 在测试任务上的表现。实验结果为了评估 SELF-GUIDE 的有效性，研究者从 Super-NaturalInstructions V2 基准中选择了 14 个分类任务和 8 个生成任务。研究者随机选择了一半任务用于超参数搜索，剩余的一半用于评估。在模型方面，研究者选择了 Vicuna-7b-1.5 作为输入生成、输出生成和微调的基础模型。在评估指标方面，研究者采用了与 Super-NaturalInstructions 基准相同的评估指标，即分类任务的 Exact Match 和生成任务的 ROUGE-L。为了体现 SELF-GUIDE 的效果，研究者将 SELF-GUIDE 与其他指令跟随和上下文学习方法进行了比较： 1.Few-Shot ICL：作为主要基准，研究者与直接提示语言模型进行了比较。这种方法直接依赖于模型固有的指令跟随能力。 2.Self-ICL：Self-ICL 使用自生成的示例来提高零样本指令跟随。研究者在 Self-ICL 工作的基础上进行了修改，通过自生成尽可能多的示例（而不是固定个数的示例）填充提示词，从而增加参考样本数目。 3.Few-Shot Finetuning：直接利用输入的少量示例进行微调。 SELF-GUIDE 原文主要实验结果如下所示。在基准的评估指标上，分类任务的绝对提升达到了 14.5%，而生成任务的绝对提升则达到了 17.9%。这些结果表明， SELF-GUIDE 在指导 LLM 向任务特定专业化方向发展方面具有显著效果，即使在数据极其有限的情况下。这突显了自我生成数据在大规模适应 LLM 到特定任务中的潜力。更多实验结果和消融实验请参考论文原文。图 4：对于每类任务（分类和生成任务），研究者将任务随机分成两半，一半用于调试 “One Parameter Fits All” 策略的参数，另一半用于使用这些调试好的参数测试 SELF-GUIDE 的性能。我们使用相同的解码参数和提示模板来评估模型在 SELF-GUIDE 前后的表现。总结 SELF-GUIDE 框架鼓励模型自主生成训练数据并在此数据上进行微调。实验结果表明，这种方法在提升大规模语言模型特定任务的专业能力方面具有巨大潜力，尤其是在数据有限的情况下，SELF-GUIDE 可以有效解决缺少训练数据的问题。同时，这也为探索自主模型适应和持续学习的技术提供了参考。研究者希望这一工作能够推动 AI 系统在自主对齐和改进机制方面的发展，使其更加符合人类的意图。