光年AI - Page 93 of 101 - AI驱动流量增长 - AI资讯，AI营销，AI大模型，AI知识库

对话Serge Belongie：送你一颗可证伪性的“子弹”

可证伪性是天使也是魔鬼，归根结底，可证伪性是一个世界对齐的握手机会。十年前，一位欧洲院士对我说：“ 人工智能有不下百个细分赛道，美国会定义一到两个流行赛道，而后全球创业者投资人一哄而上去追赶这一两个赛道。” 此后十年风口轮转，人工智能从非共识到小共识，从小共识到大共识，却从未跳出这句话。这次对话Serge，始于对他两年前参与撰写的论文《寻找不可证伪声明中的结构》的兴趣。只可惜这篇文章至今几乎无人问津，Google Scholar 引用量只有2次。这让人惊讶。「甲子光年」认为，这篇论文被严重低估了。理由一，这篇文章面对的问题极其关键（社交媒体不可证伪性数据的潜在叙事）；理由二，这篇文章给出了重要的理论创新（三元标注法与SNaCK集合）；理由三，这篇文章给出了工程上的实践成果（数据集构建与详实实验比对）。论文作者Peter Ebert Christensen、Frederik Warburg、Menglin Jia和Serge Belongie；ARXIV2022 这篇论文不难理解，我们从可证伪性这个概念开始介绍。可证伪性（falsifiability）又称可反驳性（refutability）。科学哲学往往使用严格的证伪法来判别一个理论是否科学，即 “这些结论必须容许逻辑上的反例的存在”。卡尔·波普尔在1934年提出，如果一个理论或假设可以被现有技术的实证检验在逻辑上抵触，那么它就是可证伪的。而如果一个表达无懈可击，以至于让世界没有置喙余地，那往往只能让所有人敬而远之，对推动科学进展无益。科学家们能够或应该研究的问题，或多或少要有罩门，即让别人有机会攻击甚至推翻。可证伪性的目的，是使理论具有预测性和可测试性，从而在实践中有用。 Serge的论文《寻找不可证伪声明中的结构》探讨了社交媒体上不可证伪声明的解读复杂性。论文大意：社交媒体平台充斥着大量帖子和评论，许多主张无法被证伪。然而，事实核查工具不足、社交网络讨论缺乏结构、叙事识别存在困难、公共讨论缺乏质量等，造成诸多困扰。论文研究了如何在社交媒体上识别和理解那些无法被证伪的主张（unfalsifiable claims），并将这些主张归纳为有限几种叙事（narratives），以便更好地促进社交媒体上的讨论和辩论。有趣的是，作者构建了一个名为 PAPYER 的数据集，包含针对公共洗手间的干手方式（纸巾与空气干燥器）的辩论，600个短文本摘录，31种叙事，4个超级类别，以理解和发现在线讨论中的主流叙事。该论文引入了一种超越现有事实核查技术能力的新方法，为管理和理解数字通信环境中不可证伪声明的影响提供了重要贡献——使用这个流程可以发现主流叙事，并且表明这个流程的表现超过了最近的大尺寸变换模型和最先进的无监督主题模型。通过实验，作者发现使用现代句子转换器（如T5模型）进行初始句子嵌入是关键。他们还发现，采样策略对于生成高质量的嵌入至关重要，特别是“Distance-Rnd”策略表现最佳。实验结果表明，结合人类注释的三元组（triplets）可以揭示遵守结晶叙事的有趣聚类。仅2次引用「甲子光年」认为，这篇论文在业界至今缺乏关注的可能原因包括不限于：（1）理论分析相对单薄，实验结果分析停留于定性（11页正文仅半页公式）；（2）对于用来做对比的几个算法几乎没有展开介绍；（3）该领域可能还没有学术界统一的数据集，导致在学术界内部没有“出圈”；（4）笔者强调了T5的关键性，但没有叙述清晰其算法优越性。 Serge Belongie在CVPR2024的学术分享，来源：「甲子光年」拍摄虽然上述论文鲜为人知，但Serge本人是计算机视觉和机器学习领域极具影响力的科学家，主要研究对象识别和图像分割，截至目前，他各类论文被引用次数达到17.9万次。 Serge Belongie，哥本哈根大学（University of Copenhagen）计算机学教授、丹麦人工智能先锋中心（The Danish Pioneer Centre for Artificial Intelligence）主任。此前，他曾任康奈尔科技学院副院长和Andrew H.和Ann R. Tisch计算机科学教授。最值得介绍的是， Serge是MSCOCO的主要作者。 MSCOCO数据集是最著名的计算机视觉大规模数据集之一。 2000年，Serge与Jitendra Malik（现加州大学伯克利分校计算机科学系教授，计算机视觉领域著名学者）共同提出了“形状上下文”（Shape Context）概念，是计算机视觉和对象识别领域应用十分广泛的形状特征描述方法。 2004年，Serge被《麻省理工学院技术评论》评为35岁以下的青年科技创新者；2007年，他和Jitendra Malik获得了马尔奖荣誉提名；2015年，Serge获得了ICCV亥姆霍兹奖，该奖项主要颁发给在计算机视觉领域做出根本性贡献的论文作者。 Serge还是多家公司的联合创始人，包括 Digital Persona（2014 年与 CrossMatch 合并）、CarCode（被 Transport Data Systems 收购）、Anchovi Labs（2012 年被 Dropbox 收购）和 Orpix。目前，Serge团队正在开拓社交网络分析的全新维度 —— 从此前未被关注的，不适合做传统事实核查的大量琐碎言论切入，分析社交网络上的议题设置和 “ 叙事操纵 ”。这在当下时间节点尤有特殊意义：世界反法西斯战争后，无论技术突破和瓶颈交替，都随着时间在历史画卷中跌宕起伏地推移。如同在时空坐标系中展开的《清明上河图》，充斥着千万种光景和古今众生相。以下为甲小姐对话Serge。关注公众号「甲子光年」，后台回复“可证伪”，即可获得文中所提到的《寻找不可证伪声明中的结构》及 MSCOCO数据集两篇论文。研究人员在实践中通常会受到他们喜欢或不喜欢的叙述的影响——有点类似于Instagram上的热门话题。甲小姐：“不能证伪，不成科学”已成为一个科学界的普遍共识。但许多哲学家对此提出了质疑，认为可证伪性原则可能导致科学争论变得永无止境。可证伪性是否是科学进步的必要条件？ Serge ：根据流行的观点，一个科学理论必须是可证伪的。甲小姐：这是流行的观点，但可证伪性是当下流行的范式吗？ Serge：机器学习文献在过去15年出现了爆炸式增长，每天都有大量论文发表、引用。在这些论文中，相关工作的部分往往会引用其他文献，但引用的未必是与其工作最相关的文献。这是因为文献数量巨大，研究人员实际上是在回应该领域的主导叙述。我们通常认为自己是卡尔·波普尔传统中的科学家，只受可证伪断言的影响。然而，科学研究也有潮流，比如生成对抗生成网络和Transformers等技术。尽管这些论文的目标是遵循科学传统，研究人员在实践中通常会受到他们喜欢或不喜欢的叙述的影响 —— 有点类似于Instagram上的热门话题。甲小姐：你的意思是，机器学习以来，科学家开始背离可证伪性的规范？ Serge：科学家们往往会宣称自己不受这些影响，认为自己是客观的，但他们毕竟是人类，会被这些流行的观点所左右。这是我们认为不科学的东西，更多的是直觉和观点。甲小姐：你如何定义社交媒体中的不可证伪声明？ Serge：我们首先需要讨论关于事实核查的文献。比如哥本哈根大学的伊莎贝尔·奥根斯坦（Isabelle Augenstein ）教授开发了一种从确定声明的核查价值开始的方法。我们会将一个声明进行核查，并在0到1的范围内确定其核查价值。例如，有关加利福尼亚首府是萨克拉门托的声明，因为可以在多个结构化知识库中找到，非常适合进行语法和句法检查。我们可以检查这样的声明：“加利福尼亚州的首府是萨克拉门托”，并将其可检验性评分可能接近0.99。然后，我们将其提交至结构化知识库确认答案。这种基于深度学习的可检验性系统处理大量声明和训练数据，评估不同声明的核查价值。但有些声明，如“移民到加利福尼亚州是不好的”，更多反映个人观点，不适合事实核查。相对地，如“自2020年以来，加利福尼亚州的移民数量持续增加”这类声明则具有高核查价值。所以我们特别关注那些难以验证的声明 —— 这些声明无法直接验证，但它们在社交媒体上引发的讨论颇具意义。多次核查可能帮助我们更好地判断。甲小姐：在你的研究中，哪些特定技术或工具被用来识别和分析不可证伪的声明？ Serge：我们使用自然语言处理（NLP）技术、聚类和分组算法以及机器学习方法。我们的目标是创建一个全球叙事信息设施（GNIF），以研究和组织社交媒体内容。这些技术和工具的结合，使我们能够更好地理解和处理大量的叙事内容，间接地帮助识别不可证伪的声明。我们能够分析各种形式的文本。无论是推文还是Reddit评论，我们用NLP技术提取和理解这些内容中的叙述和主题。其次，我们使用了聚类和分组算法。这些算法帮助我们将大量的社交媒体内容按照不同的主题或叙述进行组织。例如，我们可以发现数百万条推文中有成千上万条内容非常相似，因为它们都在解决相同的基本叙述。通过叙事聚类和断言分组，我们将大量的内容组织成较小的集群，让事实核查人员更高效地处理这些内容，而无需逐一检查每个项目。这样即使是不可证伪的声明，也可以通过聚类和分组的方式被识别和分类，便于进一步的分析和处理。我们会考虑两个输入，比如两篇推文，然后根据不同叙事方面来衡量它们的相似性—— 这些内容可能涉及的话题包括核能与绿色能源之间的辩论，或者婴儿配方奶粉与牛奶的讨论。网上有许多激烈争议的话题，通常是虚假信息活动的结果。这些活动可能非常模糊。我们试图理解的是，这些不同的陈述如何以语言或模因的形式表现出来，它们可能包含图像、文字、音频陈述等，看起来是完全不同的内容片段。你可能在社交媒体平台上收集了数百万个关于某个话题的讨论，但所有数据蕴含的观点可能只有几十个。我们通过大型语言模型、深度度量学习等技术，试图理解这些现象。人类注释对的可视化，子图(a) 展示了正面对，即人类标注的相似或一致的叙事对。子图(b) 展示了负面对，即人类标注的不相似或不一致的叙事对。来源：《Searching for Structure in Unfalsifiable Claims》并不是所有声明（claim）都值得事实核查，也并非所有事实核查都能得到真或假的结果。甲小姐：你打造的MSCOCO数据集是最著名的计算机视觉大规模数据集之一。当时是怎样起步的？ Serge：我们在15年前开始进行物体检测研究，起初只有一个包含200多种鸟类的小型数据集CUB200。COCO数据集最初是我的博士生Tsung-Yi Lin在微软研究院的暑期实习项目，他当时的mentor是我的另一位博士生Piotr Dollá。这个项目逐渐演变成一个由学术界和工业界的研究人员组成的联盟。他们希望创建一个能详细描绘出自然环境中的日常物体的数据集，并对这些物体的名称和空间位置进行精确地标注。甲小姐：你将数据集命名为MSCOCO。我很喜欢《寻梦环游记》，它的英文名也是Coco。 Serge：是的，我们都喜欢“COCO”这个名字，它既有趣又易于记忆。甲小姐： MSCOCO数据集出现后，计算机视觉领域的发展就像乘上了火箭。 Serge：是这样的，我们围绕它组织了越来越多的知识社区，COCO已经被数百万人使用。我们从小范围做起，最终发展出了一个带来深刻影响的研究领域。我参加的第一次计算机视觉会议是CVPR 1994，也是在西雅图。那是三十年前了，当时大约有300人参会。而现在，2024年的西雅图CVPR，有一万两千人参加会议。甲小姐：已经30年了，是什么动力驱动着你对计算机视觉和人工智能研究始终如一的热情？ Serge：从我记事起，我就对模式和事物分类很感兴趣。中学时我做过关于对螺丝、螺栓和其他紧固件进行分类的课堂项目。上大学时我对音频模式产生了兴趣，特别是生物声学、比如鸟类或鲸鱼的叫声。而在图像方面，是指纹和人脸深深吸引了我。我曾研究过如何从视频中读唇语。这个问题的各个方面都令我着迷：音频与视觉的融合、不同说话者之间的差异和计算上的挑战。在90年代初，数码相机刚刚问世，但它们还没有任何形式的计算理解功能。如今，你可能理所当然地认为取景器中会出现面部检测框，或拥有能够智能组织你整个家庭照片的相册软件，但那时候还不存在这些。我当时就感觉这种技术的需求会非常大，同时我也喜欢技术背后的数学原理。我喜欢这些领域使用的技术，但我并不想主修数学或物理。如在声音、视频和图像处理中使用复杂的数学方法来解决问题。我总觉得，我来到这个世界的使命就是为了从事这样的工作。甲小姐：你在今年CVPR上做了哪些学术分享？ Serge：我的团队在CVPR主会议上提交了多篇论文，我也在两个研讨会做了分享。其中一个报告是关于专注于计算机视觉研究的历史，主要为了帮助年轻学者了解经典的计算机视觉技术，即在深度学习和变换器之前的技术。同时我还介绍了Visipedia项目，它始于2011年发布的CUB200数据集的扩展版本。目前，Visipedia的研究内容已经扩展到数以万计的植物、动物和真菌，为自然界中的物体识别提供了重要的研究基础。另一个报告是我在今天的采访中想着重分享的内容，跟叙事（narrative）、舆论、虚假信息有关，尤其在社交媒体发达的背景下。甲小姐：你的工作为这一领域带来了哪些创新？ Serge：虚假信息和社交媒体领域里的经典问题是事实核查。比如哥本哈根大学就有大量相关工作。一般做法是对于某些需要核查的言论，我们用人工智能系统搜索相关事实，并且根据事实预测一个0至1之间的真实性评分。甲小姐：这种方法面临什么挑战？ Serge：这个方法本身没有太大问题，挑战来源于问题本身。并不是所有声明（claim）都值得事实核查，也并非所有事实核查都能得到真或假的结果。比如 “熊猫是中国的国宝” 是一个能够通过结构化知识库和大量数据训练模型、核查真实性的声明。而 “搬家到加利福尼亚” 这句话则不然。甲小姐：所以你从后者这类声明里找到了研究的潜力？ Serge：后者这类声明没有被大量研究过，却是同等重要的问题。这些言论或许没有严格的真实/虚假定义，却会在社交媒体上引发大量讨论。在只需要对新闻媒体做事实核查的时代并不存在这个挑战，而在社交媒体高度发达的今天，一类引发激烈讨论，难以科学定性，或无法证伪的话题变得非常值得研究。甲小姐：你能否举一个产生了实际影响，甚至是带来了比较激烈冲突的案例？ Serge：很高兴你提了这个问题，让我们举一个有趣的例子。你在公共洗手间洗完手，有两种擦干手的选择。我不确定中国常用什么方式，在欧洲，你可以拿出纸巾，也可以使用热风烘干机。甲小姐：这两种方法在中国也最常见。 Serge：生产烘干机的厂家和生产擦手纸的厂家与任意的连锁饭店签约，都能赚很多钱，整个市场大概会产生数十亿美元的收入。但欧洲现在很多人对这两种方式的区别有非常强烈的看法。很多人说其中一种方法可能会传染疾病，而另一部分人说，大量用电或造纸会浪费树木造成环境破坏。大多数持有这些观点的人都不是公共卫生或者环境专家。甲小姐：这些说法本身是否真实？ Serge：我们其实并不在乎言论的真实性，因为社交媒体里很多话题是无法严格证明或证伪的。但这个话题被提出来是因为一小部分人希望让大众相信，一种方法比另一种方法好。他们可能创建了数十万个机器人生成相关内容。现在你在社交网络上搜索关于纸巾和空气干燥器的讨论，你会发现数百万条评论。我们的研究不关注严格比较两种方法的利弊并给出事实核查结果。我们更关心探测到这类被设计的议题。避免草率地做出决定。甲小姐：你的研究开拓了另一个维度。传统的事实核查关注语义（semantics）的真实性，而你的研究关注陈述或声明的语用（pragmatics） —— 预测的目标不仅限于真实与否，而是拓展到社交网络上由部分用户或者大量机器人营造的，为了实现特定目的话题讨论。这个研究你知道意味着什么吗？ Serge：是的，我们在创造全新的东西。我们知道的多数相关研究只关注事实核查。但是我们在尝试用话题相关的自然语言技术对社交媒体上的讨论进行分组和聚类，帮助个人、企业、策略制定者了解社交媒体上正在发生的事情。我们不对这些话题和讨论内容作价值判断，只客观显示每个议题以何种形式被提出。甲小姐：为了实现这个目标，我们首先需要一个数据集。建设这个数据集应该是个很大的挑战。在开创计算机视觉研究的时候，你们从一个小型的鸟类数据集拓展到COCO。这次你们是怎样切入的？ Serge：这类社交网络行为通常有一个特征。某个话题可能有一百万条相关推文，看起来有成千上万个账户在参与讨论。但是通过分析，我们可能发现其中有十万个推文实际上发表了完全相同的东西，有非常相似甚至一样的叙述。不过仍然请记住，这并不意味着这些讨论是正确或错误。我们让用户看到不同言论的聚类和分组，使得事实核查、社交网络分析工作者能更容易处理和理解大量内容，而不必处理突然涌入的几百万条推文。甲小姐：这个系统是否可以实时处理社交媒体上的各种争议话题？ Serge：我认为它能，也希望如此。假设在地中海，俄罗斯和美国的两艘舰船相遇了。社交网络便会开始讨论，一组叙事便就此诞生。每几个小时都会有新的信息出现，其中可能一方舰长发表了声明，或者又有人发表一段手机录音。这种情况下，某些叙事和议题得到关注，另一些可能会变得无关紧要。甲小姐：你们希望实时抓取议题？ Serge：以及其它信息。为了给专业外交官提供帮助，我们希望制作一个仪表盘（Dashboard），提供全面的相关信息，也将这些事件放入世界背景中。这种系统可以让人们避免草率地做出决定。我想强调，系统本身不决定哪方是对的，而是全面组织信息。甲小姐：为了实现可靠的功能，需要解决哪些难点？ Serge：传统和新的挑战都有。传统挑战包括语言文化、情感偏见的影响。举例来说，《小美人鱼》和《丑小鸭》都是丹麦作家的作品，但它们迪士尼电影版的故事都做了符合美国文化的调整。由于在社交网络上美国叙述相对于丹麦叙述的更为主导，许多其他国家的网络用户中几乎鲜有人知安徒生故事的原版。在数据标注过程中，尤其是对社交网络数据做标注更会受到语言和文化的左右。再比如情感分析已经是事实核查中的重要部分，而情感预测模型本身在训练中可能存在大量偏见和刻板印象。 AI模型训练是垃圾进、垃圾出的过程，本身难以解决训练数据带来的问题，因此我们必须了解模型使用了什么训练数据。我们可以说，没有人类参与的事实核查是不存在（不可靠）的。甲小姐：那新的挑战有哪些？ Serge：语言模型生成的虚假内容是我们面临的新挑战。此前的社交媒体虚假账号往往有非常简单的模式可循。但是有了GPT和图片生成模型后，虚假账户创建者可以生成更复杂和自然地虚假个人资料，进而伪造看起来很真实的社交媒体账户。这些账户不容易被传统的虚假账户识别模型找到。这些生成式AI模型也给传统的事实核查任务带来了相应的挑战。因此，生成式AI创建虚假信息和识别虚假信息，会是这个时代的猫鼠游戏。他们（OpenAI）可能还不知道我们的计划。甲小姐：这些挑战看起来不是单纯能通过模型能解决的，可能会上升到AI与人类合作这个维度。你似乎总是在新的维度上发现新的问题，然后从简单切入去解决。 Serge：是的。我们的新想法可以与维基百科类比。人们曾经认为维基百科同一个节点只需要语义相同的不同语言页面就好。实际情况是，不仅仅是语言不同。同一词条的不同页面的语言、文化、价值观、传统，所有因素混合在一起。例如原子能和化石燃料，它在不同语言和世界不同地区的覆盖方式非常不同。所以这提醒我们，我们试图建设的AI系统并不是纯粹自动化的，也不是一个独立运行的模型。这是一个人类参与的系统，意味着你需要世界各地许多不同的人类社区来标注和组织数据，并考虑所有不同的部分。这是一个很深刻的大问题，因为偏见总是存在的。甲小姐：所以和MSCOCO一样，组织尽量全面和公平的数据本身就是这项研究的雄心壮志。 Serge：这是组织所有不同类型社区的过程。世界上不同地区，不同年龄段的人们学习文学、历史、科学等不同专业，每个领域都有自己的故事。为了让我所描述的研究获得成功，我们需要大量了解各种议题的标注者。他们不必是专家，但他们需要对所须标注的内容，例如核能、创业，或者加密货币有一定的知识，才能知道叙事和议题的相似性。因此最大的挑战是社区的组织，而非AI基础计算和储存设施。甲小姐： Sam Altman或者Yann Lecun对你的思路有评论吗？ Serge：他们可能还不知道我们的计划。甲小姐：我似乎在目睹一件创举的最初阶段：在更高的维度上发现问题，并找到最直接的切入点。 Serge：如果我们开发这种关于议题检测的基础设施，就像很多技术一样，它可能被用于好事或者坏事。因此与很多商用AI不同，我们试图开发公开、透明和可审计管理的系统。因此，我们将有一个完全透明的知识库，用户可以看到数据的编辑历史，包括数据是什么时候被收录的，被哪些标注者标注而已。甲小姐：如何确保数据的准确性和客观性？ Serge：简单的答案是，我们无法保证。但我们能做的最大努力是创建一个吸引数以万计不同讨论领域感兴趣的人来对系统进行标注。尽量多的标注者可以帮我们带来统计意义上的客观。维基百科也有一些设计透明度和问责的机制，我们也会做同样的事情。甲小姐：这项研究会如何影响政策制定者、教育工作者和技术人员？ Serge：可以把我们正在做的事情看作对逻辑或者事实推理的补充。假设一家公司想要提高自身的多样性、公平性和包容性。于是他们的董事会召开会议，讨论雇佣更多女性或少数族裔。这类讨论在许多公司中都很常见，例如在某所大学里，学习电气工程的女性可能不多，该系希望采取措施改变这一现状。在这些会议中，可能会出现很多没有知识或信息支撑的讨论。有些人会带有偏见地表达女性不擅长数学这样的观点。这时就需要一个系统可以帮助系主任、CEO或需要领导这些讨论的老师，他们可以从系统中提取一套叙述来构建讨论。此外一旦系统开始工作，它会将语句索引并解析为预先存在的叙述。这样，CEO、老师或会议主持人就能避免质量低或混乱的对话，拥有一个有效的结构和分类系统，引导讨论并防止冗余的对话。甲小姐：对于未来的社交媒体叙事、议题分析中，你认为技术发展的潜在研究方向是什么？ Serge：不同的领域都有其独特的挑战。其中一些是经典问题，例如处理大量数据以及如何标记它们，如何减轻偏见等。但在可视化方面，我们也面临着大挑战。刚我们提到不同语言文化所面临的差别。每一个特定话题都有许多不同角度的表述，不同标注者也会由于各自的偏见提供不同的标注。从信息理论的角度来看，试图压缩这些多样化的账目可能会导致信息的丢失或损坏。这类问题将贯穿整个项目，并且我们将频繁遇到这些问题。甲小姐：在你看来，视觉技术的哪些最新进展对未来影响深远？ Serge：现在越来越多的研究者开始关注多模态数据，一个模型中同时处理图像、文本和音频等多种数据类型，这种方法通常使用如Transformer这样的模型架构来解决复杂的实际问题。我相信这种趋势会持续下去，未来的人工智能领域新人会发现，同时掌握多种专业技能比单独深入一个领域，如自然语言处理或计算机视觉，更为自然。个人认为，尽管有人声称人工智能将完全取代医生，这种说法夸大其词了。但我确信，在放射学、皮肤病学和组织病理学等领域，人工智能辅助系统将会普及并受益每个人。至于无人驾驶汽车，尽管过去有预测称视觉技术和人工智能的进步将实现无人驾驶汽车的普及，但我认为这种情况不太可能发生。除非政府采取措施限制传统汽车在某些车道上行驶或完全禁止使用传统汽车，否则在美国，无人驾驶汽车成为常态的可能性极小。甲小姐：我喜欢你的论文。我的想法也有类似之处。技术发展同步并举地解锁着新的认知维度，最有价值的方法论恰是有极简切入点却可辐射全局的方法论。 Serge：你最感兴趣的是什么方法论？甲小姐：举个小小的例子。沿着可证伪性走，科学会自己走上否定之否定的迭代之路……回到我们万般熟悉的，科学革命的结构。 *周航对本文亦有贡献。由于本文涉及学术讨论，在此附作者相关简介：张一甲，甲子光年创始人，2013年毕业于北京大学数学科学学院，获国家发展研究院经济学双学位；曾获中国数学奥林匹克金牌，入选国家集训队；研究方向为金融数学和博弈论，兼任北京大学数学科学学院理事。周航，甲子大脑负责人，2019年毕业于北京大学数学科学学院；研究方向为稀疏优化与非凸优化。 Searching for Structure in Unfalsifiable Claims.pdf 978-3-319-10602-1_48.pdf“Microsoft COCO: Common Objects in Context”MSCOCO数据集：Serge被引用次数最高的论文。托马斯·塞缪尔·库恩《科学革命的结构》

小游戏、智能座舱、开源鸿蒙…知名游戏引擎在中国的本土化之路

不只是游戏，Unity中国还想做的更多。 7月下旬，一年一度的ChinaJoy，把科技产业的关注点暂时从AI拉到了电子游戏。在ChinaJoy举办的那几天里，成千上万的游戏玩家从全国各地来到上海，在参与这场线下的游戏狂欢之余，第一时间体验到自己心仪游戏的最新版本。例如育碧就带来了自己今年初发售的动作冒险类游戏《波斯王子：失落的王冠》。在游戏中，玩家扮演一位波斯战士，拯救王子并恢复世界的和平。尽管游戏情节看似比较老套，但作为育碧的经典游戏IP之一，从小时候的红白机时代开始，《波斯王子》就备受玩家喜爱。而如今的主机、PC乃至手机平台，都让这款游戏无论从画面、动作、玩法等方面实现了无数次更新，给这款经典IP注入了新的活力。而这背后，离不开游戏开发引擎Unity的支撑。对于游戏开发者来说，Unity是一个再熟悉不过的名字。目前，全球一半以上的游戏都是基于Unity引擎开发。而在全球排名前1000的手游中，基于Unity开发的产品比例更是高达73%。这其中也包括来自中国开发者的作品，如《王者荣耀》、《绝区零》等等。 7月23日，全球Unity开发者的行业盛会Unite 2024在上海举行。这是Unity时隔5年之后重新在线下举办开发者大会。在为期3天的会议里，Unity与来自全球的用户共同见证了Unity领先全球的技术实力、在中国本土的技术发展，以及Unity在游戏、汽车、工业等多个领域的创新应用。作为Unity面向全球的年度旗舰活动，Unite 2024不仅展示了Unity 6在实时3D技术领域的最新成果，还为中国用户带来了专门面向中国市场开发的团结引擎，以及整个数字生态的能力建设。在「甲子光年」看来，从游戏开发到游戏发行，从数字孪生到汽车智能座舱，Unity正在各个领域开创新的篇章。 1.伴随游戏诞生的Unity中国曾几何时，中国玩家玩到的游戏都出自暴雪、育碧、任天堂、索尼等欧美日韩的世界级游戏厂商。但如今，海外玩家手机上的《原神》、《万国觉醒》等，都来自中国的游戏公司。数据统计显示，2020年上半年，在日美韩全球三大游戏市场Top200游戏畅销榜，中国游戏的渗透率均达到了20%左右，日韩市场更是达到了25%。而三大市场的合计收入，约占中国游戏出海总收入的60%。其中，米哈游的《原神》、莉莉丝的《万国觉醒》等都是中国游戏出海Top榜单的常客。从全球游戏市场来看，中国是除欧美、日韩之外的第三大游戏市场，并且已经成为全球手游开发的主要阵地。 2020年，中国自主研发游戏在海外市场实际销售收入为154.5亿美元，首次突破千亿元大关（按汇率换算）。2021年上半年，中国自主研发游戏海外市场实际销售收入84.68亿美元，同比增长11.58%。换句话说，中国市场已经成为了全球游戏行业的“兵家必争之地”。早在2012年，Unity就看到了中国在电子游戏市场上的巨大潜力。在全球游戏开发引擎市场中，Unity市占率达超过七成，与虚幻引擎（Unreal）呈现双寡头的格局。2012年，Unity正式进入中国市场后，其同名游戏开发软件为腾讯的《王者荣耀》、《绝地求生》、米哈游的《原神》等诸多热门游戏提供了支持。随着全球游戏产业的不断发展，中国开发者在全球游戏市场中的重要程度也与日俱增。为了更好服务中国用户，2022年8月，Unity在中国成立合资企业“Unity中国”，为国内游戏开发者构建其核心产品的本地定制版本。同时，Unity中国也在为本土工业领域下的数字孪生与商贸经济发展提供全方位的支持。 Unity中国CEO张俊波在接受包括「甲子光年」在内的媒体访谈时表示，中国是一个潜力巨大的市场，无论对于游戏还是其他行业应用场景来说，中国的市场价值都是不可替代的重要组成部分。 Unity中国CEO张俊波，来源：Unite 2024大会现场照片直播事实上从Unity的财报数据也能反映出这一点。 2022年第二季度，Unity来自大中华区（包括中国大陆和中国香港、中国台湾）的营收为4229万美元，同比增长9.4%，在整体营收中占比14.2%。大中华区早已成为Unity增速最快的市场大区之一。 2.Unity中国的三板斧：小游戏、智能座舱、开源鸿蒙为了更好服务中国开发者，去年8月，Unity中国正式发布了Unity中国版引擎——团结引擎。团结引擎是Unity专门面向中国市场推出的开发引擎。作为Unity中国本土化进程的加速器，团结引擎以Unity 2022 LTS为研发基础，并基于对国内科技市场的深度观察，针对小游戏和智能汽车领域提供了更深度的技术赋能与效率提速。通过多项原创性的本土优化与拓展，团结引擎目前已兼容适配了中国科技生态内的众多软硬件平台，包括Windows、Mac、Linux操作系统，以及Android、iOS、OpenHarmony等。在一年前团结引擎发布时，Unity就对其抱有极高的期待。彼时，Unity全球CEO John Riccitiello表示：“中国市场的活力与本土开发者的创造力，让我们从广度与深度上拓展了实时3D技术的应用范畴。团结引擎的发布，相信未来中国市场会带给我们更多惊喜。” 从整个游戏市场全局来看，微信小游戏是中国游戏市场的独有产品，同时也是中国游戏市场增长的一大亮点。根据2023年6月微信小游戏开发者大会公开的数据，2023年上半年，微信小游戏用户总量已突破10亿，月活用户达到4亿；而《2023年中国游戏产业报告》数据显示，2023年国内小程序游戏市场实际收入为200亿元，同比增长300%。在这种趋势下，在团结引擎上线之初，微信小游戏就成了团结引擎聚焦的重点之一。 Unity中国基于WebGL开发了微信小游戏专属的目标平台，让开发者得以轻松地将其他平台的游戏转换为微信小游戏。经过了一年的开发者使用，团结引擎已经得到了诸多中国开发者认可。访谈中张俊波告诉「甲子光年」，从开发者的实际使用情况来看，团结引擎非常符合中国开发者需求。根据Unity中国的观察，与之前相比，今天微信小游戏的品质早已今非昔比。在团结引擎的支持下，开发者们越来越容易做出更高质量的小游戏，经典手游的移植效率也更高。除了微信小游戏外，团结引擎的另一个重点领域就是智能座舱。今天，智能汽车产业在中国已经非常发达，越来越多的消费者开始选择智能汽车。随着车内大屏、算力水平以及整车电气架构的集体升级，汽车人机交互也进入了飞速进化的时代。作为在汽车领域有着前瞻性布局的科技企业，Unity中国已助力包括蔚来、小鹏、理想在内的诸多国内外汽车厂商，打造了更沉浸、更智能的人机交互体验。团结引擎车机版的代码，正是来源于这丰富的实战经验中。例如，团结引擎车机版内置了多种常用车机App的开发模版，可大幅缩短开发流程；车机模拟器则实现了可视化开发，可以实时反馈开发进程中的每一步。截止目前，Unity中国已经与35家车厂建立合作关系，共同推出了68款量产车型，超过85%的智能电动车厂正在使用Unity来打造新一代的中控屏和仪表盘体验。此外，团结引擎在中国的本土化业务中还有一个亮点，就是对OpenHarmony的支持。事实上，在团结引擎上线之际，Unity中国就透露团结引擎会支持OpenHarmony。而一年之后，团结引擎已经将这一承诺实际落地，帮助开发者快速将应用部署到新操作系统。同时，已经有多家公司在基于OpenHarmony和ARM Linux开发国产工业操作系统，相信这一方向会成为未来的一大趋势。 3.不只是游戏 Unity中国坚持贯彻Unity“开发大众化、解决工具难题、助力开发者成功”的三大原则，将Unity的技术带到中国市场，通过一系列本地化举措获得了巨大的成功。如今，Unity在中国已拥有高达350万的注册用户。中国的市场空间是巨大的。不只是游戏，显然Unity中国的想为更多各行业的开发者赋能。事实上，除了游戏开发之外，Unity早已应用在包括工业、制造业等诸多行业场景，尤其是其中的数字孪生技术上。 Unity中国工业业务负责人张黎明向「甲子光年」透露，目前国内很多汽车厂商找到Unity中国，希望可以合作进行数字孪生项目建设。 “他们希望在三维数字孪生工厂中能够实现真实生产业务中的所有业务仿真能力。这样做的好处是，在真正建设工厂之前，我们就已经在三维环境中模拟建设了整个工厂。此外，我们还可以在三维环境中仿真生产线中的每个设备的运行情况，以及设备和厂房之间的交互、人与设备之间的交互以及物料和设备之间的传输和互动。这样就可以避免我们在建设生产线过程中一边建设一边发现问题，一边调整，一边再去做维护，能够给项目节省大量的时间周期和资金投入。”张黎明介绍。不过，目前中国其实已有不少厂商也可以提供数字孪生技术，Unity中国和团结引擎在其中的优势是什么？据张黎明介绍，目前虽然已经有很多工业软件，但每个软件都专注于自己的细分领域。例如，有些软件只用于机器人仿真，有些只用于建筑设计，还有些只用于物流仿真。而现在的制造业公司需要在全量、全场景的数字孪生中，将所有元素进行全面仿真。但目前没有一款工业软件能够满足这一需求。而Unity中国的团结引擎所提供的解决方案，是将团结引擎作为各种工业软件的数据交互中枢，可以连接到不同的工业软件中。例如连接机器人仿真软件和建筑设计软件，并将它们的数据实时同步到Unity的数字孪生系统中。除了工业领域，Unity中国还正在参与智慧城市的建设，通过实时3D技术帮助城市管理和调度；在电商和文化旅游等非游戏领域也有实际应用案例，通过3D可视化和交互技术提升用户体验等。从业务重心来看，Unity中国目前聚焦三块业务：游戏、智能座舱、工业。在问及未来业务战略时，Unity中国CEO张俊波向「甲子光年」透露，游戏作为自身的基本盘，会继续在团结引擎的支持下，为中国的开发者解决好目前的游戏开发与发行的痛点；智能座舱是Unity中国下阶段的第二增长曲线，是需要全力抓住的；而工业则是自身需要长期关注，但并非眼前的紧急问题。 “开发者是推动行业持续进步的核心力量，Unity一直以开发者为中心，倾听他们的需求并不遗余力地提供创新的解决方案，期望通过技术赋能，助力开发者们施展创意，在更广阔的舞台释放无限潜能。”Unity中国CEO张俊波表示。

关于大模型「越狱」的多种方式，有这些防御手段

随着人工智能（AI）技术的迅猛发展，特别是大语言模型（LLMs）如 GPT-4 和视觉语言模型（VLMs）如 CLIP 和 DALL-E，这些模型在多个技术领域取得了显著的进展。LLMs 已经在自然语言处理任务中展现出了前所未有的能力，而 VLMs 则在图像和文本的融合任务中表现优异。这些技术的应用范围从自动化客服到智能创作，无不展示出其强大的潜力。然而，伴随着这些进展，安全性和伦理对齐的问题也日益凸显。近年来，越来越多的研究者关注 LLMs 和 VLMs 的越狱现象，即通过特定技术手段绕过这些模型的内置安全机制，生成不符合伦理规范的输出。这些越狱行为不仅对模型的实际应用构成威胁，也对用户的安全和隐私带来潜在风险。因此，理解和防范这些越狱行为成为 AI 安全研究中的一个关键问题。我们来看一个具体的关于越狱的例子：在上述例子中，用户输入一个恶意问题（蓝色所示），通常而言，大语言模型会拒绝回答此类问题。然而，当攻击者增加一个精心制作的越狱前缀（黄色所示），大语言模型将会对恶意问题进行详细的解答。同样，防御者可以通过增加一些安全提示（红色所示），提醒大语言模型重新思考所给出的答案，中止恶意回复。针对上述越狱现象，近期，来自伊利诺伊大学香槟分校，布朗大学，密歇根大学安娜堡分校，香港科技大学，卡内基梅隆大学和博伊西州立大学的研究者联合发布了一篇综述，详细探讨了 LLMs 和 VLMs 的越狱现象，对各种越狱类型和相应的防御机制进行了系统分类和分析。通过对现有研究的全面综述，旨在为学术界和工业界提供一个关于 AI 模型安全性的全面视角，并提出应对这些挑战的有效策略。论文地址：https://arxiv.org/pdf/2407.01599 项目地址：https://github.com/Allen-piexl/JailbreakZoo 网站地址：https://chonghan-chen.com/llm-jailbreak-zoo-survey/ 这篇综述提供了： 1. 越狱分类：我们将关于LLMs的越狱现象细分为5种类型，将关于VLMs的越狱现象细分为3种类型，提供了每种类型的详细分类和理解。以下是我们分类的主要内容： LLMs 梯度攻击（Gradient-based Attacks）进化攻击（Evolutionary-based Attacks）演示攻击（Demonstration-based Attacks）规则攻击（Rule-based Attacks）多代理攻击（Multi-agent-based Attacks） VLMs 提示到图像注入的越狱攻击（Prompt-to-Image Injection Jailbreaks）提示-图像扰动注入越狱攻击（Prompt-Image Perturbation Injection Jailbreaks）代理模型迁移越狱攻击（Proxy Model Transfer Jailbreaks）此外，我们进一步整理了现有的利用越狱攻击对LLMs和VLMs进行评测的方法，以及一些相关的综述。 2. 防御机制：我们回顾并分类了各种防御策略，我们发现，LLMs和VLMs有着类似的防御机制，强调了统一方法以应对这些越狱漏洞的必要性。主要防御机制包括：提示检测（Prompt Detection-based Defenses）提示扰动（Prompt Perturbation-based Defenses）演示防御（Demonstration-based Defenses）生成干预（Generation Intervention-based Defenses）响应评估（Response Evaluation-based Defenses）模型微调（Model Fine-tuning-based Defenses） 3. 未来研究方向：我们的综述突出了当前研究中的关键空白，并提出了未来的研究方向，以增强LLMs和VLMs的安全框架。越狱类型及实例 – 大语言模型（LLMs）在我们的研究中，我们将大语言模的越狱现象进行了系统分类，归纳为七种主要类型。每种类型都有其独特的攻击方法和技术细节，通过对这些越狱类型的深入分析，我们希望能够揭示这些模型在安全性方面的潜在漏洞，并为未来的防御工作提供指导。 1. 梯度攻击（Gradient-based Attacks）梯度攻击通过利用模型的梯度信息，生成有害响应。例如，使用梯度坐标贪婪算法（GCG）生成后缀，使模型生成有害内容。此方法通过梯度优化生成能避开模型检测的提示，从而使 LLM 输出有害的响应。此类攻击常用于测试模型的安全性和鲁棒性，研究者通过此类攻击可以发现模型的潜在漏洞，并进行相应的修复和优化。 2. 进化攻击（Evolutionary-based Attacks）进化攻击使用遗传算法生成对抗性提示，优化语义相似性、攻击效果和流畅性。例如，FuzzLLM 通过随机组合模板、约束和问题集生成攻击指令。这些方法使用进化策略逐步改进提示，以找到最有效的攻击手段。进化攻击特别适合在黑盒环境中使用，即攻击者对模型内部结构和参数未知的情况下，也能进行有效攻击。 3. 演示攻击（Demonstration-based Attacks）演示攻击通过创建特定的系统提示，指示 LLMs 生成预期的响应。这些方法通常是硬编码的，提示经过精心设计以引导模型生成所需的响应。例如，DAN 方法通过预设的对话框架，使模型在 “开发者模式” 下生成本不应生成的内容。演示攻击利用模型的上下文学习能力，通过提供一系列示例，使模型更容易产生目标响应。 4. 规则攻击（Rule-based Attacks）规则攻击通过预定义的规则将恶意成分分解并重定向。攻击者设计复杂的规则，隐藏恶意内容。例如，通过词汇替换将有害意图编码为看似正常的内容，从而绕过模型的检测。这类攻击方法特别适用于绕过简单的基于关键字的检测系统，使攻击内容在输入时显得无害。 5. 多代理攻击（Multi-agent-based Attacks）多代理攻击利用多个 LLMs 合作，生成、组织和改进越狱提示。这些方法通过模拟多模型协作的方式，提高越狱攻击的效果。例如，PAIR 方法利用多个代理模型生成和评估提示，不断优化攻击策略。这种方法特别适合用于需要迭代改进的攻击场景，通过多次尝试和反馈，找到最有效的攻击手段。越狱类型及实例 – 视觉语言模型（VLMs）与大语言模型（LLM）类似，与视觉语言模型（VLM）相关的越狱也已成为一个重要关注点。由于所有 VLM 都使用 LLM 组件进行文本编码，因此影响 LLM 的漏洞也可能会危及 VLM。此外，VLM 中视觉输入的引入不仅拓宽了其功能范围，还显著增加了攻击面，从而加剧了涉及的安全风险。与主要针对文本输入的 LLM 越狱不同，VLM 的恶意操纵可以通过视觉输入、文本组件或两者的组合进行，表现出更加复杂和多样的模式。 1. 提示到图像注入的越狱攻击（Prompt-to-Image Injection Jailbreaks）通过将恶意提示注入到图像生成过程中来绕过模型的安全机制。攻击者设计特定的文本提示，使模型生成含有不良或不符合伦理的图像。例如，攻击者可以利用一些敏感词汇或语句来引导模型生成攻击性或误导性的图像。 2. 提示 – 图像扰动注入越狱攻击（Prompt-Image Perturbation Injection Jailbreaks）提示 – 图像扰动注入越狱攻击结合了文本提示和图像扰动，通过在输入提示中加入微小的扰动，使模型生成错误或有害的响应。例如，攻击者可以在图像中加入几乎不可见的像素变化，同时调整文本提示，以引导模型生成偏离预期的描述或内容。这种方法利用了模型对微小变化的敏感性，使其难以检测和防御。 3. 代理模型迁移越狱攻击（Proxy Model Transfer Jailbreaks）代理模型迁移越狱攻击利用代理模型进行攻击，即在较小的代理模型上训练和优化攻击，然后将其转移到目标模型上。攻击者在代理模型上进行大量试验，找到有效的攻击方式，再将这些攻击应用到目标模型上。此类攻击可以有效绕过目标模型的安全机制，因为代理模型和目标模型可能共享相似的弱点和漏洞。防御机制及实例 – 大语言模型（LLMs） 1. 提示检测（Prompt Detection-based Defenses）提示检测基于输入提示的特征，如困惑度（Perplexity）和长度，评估提示的有害性。例如，通过困惑度计算器 LLM 检测输入提示的困惑度，判断其是否安全。提示检测是最早的防御策略之一，利用模型对高困惑度提示的不敏感性来判断提示的安全性。 2. 提示扰动（Prompt Perturbation-based Defenses）提示扰动通过对输入提示进行修改，破坏其恶意意图。例如，通过语义扰动和重新分词技术生成多个变体，评估每个变体的响应是否安全。此类方法利用了恶意提示对精确结构和词序的依赖，通过随机扰动破坏这些结构，使其难以成功执行攻击。 3. 演示防御（Demonstration-based Defenses）演示防御通过设置安全的系统提示，引导 LLM 生成安全响应。例如，使用自我提醒提示模型生成安全的响应。演示防御利用了模型的上下文学习能力，通过提供正面示例，增强模型对安全响应的倾向。 4. 生成干预（Generation Intervention-based Defenses）生成干预通过调整 LLM 的响应生成过程，确保输出的安全性。例如，RAIN 方法通过反复生成和评估 token，确保生成的内容安全。此类方法在生成过程中实时干预，动态调整输出内容，以避免生成有害响应。 5. 响应评估（Response Evaluation-based Defenses）响应评估通过对生成的响应进行评估，确保其安全性。例如，利用辅助 LLM 评估响应的有害性，并进行迭代改进。此类方法利用模型对自身生成内容的评估能力，通过不断优化，确保最终输出的安全。 6. 模型微调（Model Fine-tuning-based Defenses）模型微调通过调整 LLM 的内部参数，增强其安全性。例如，通过在混合数据上训练模型，使其对有害内容更加敏感，从而生成更安全的响应。此类方法直接改变模型的行为，使其在面对恶意提示时能够做出更安全的决策。防御机制及实例 – 视觉语言模型（VLMs）在视觉语言模型中，许多防御策略与大语言模型的防御策略相似。这些策略通过调整模型的内部参数、评估生成的响应以及扰动输入提示来增强模型的安全性。 1. 提示扰动防御（Prompt Perturbation-based Defenses）提示扰动通过对输入提示进行修改，破坏其恶意意图。例如，通过语义扰动和重新分词技术生成多个变体，评估每个变体的响应是否安全。此类方法利用了恶意提示对精确结构和词序的依赖，通过随机扰动破坏这些结构，使其难以成功执行攻击。 2. 响应评估防御（Response Evaluation-based Defenses）响应评估通过对生成的响应进行评估，确保其安全性。例如，利用辅助 VLM 评估响应的有害性，并进行迭代改进。此类方法利用模型对自身生成内容的评估能力，通过不断优化，确保最终输出的安全。 3. 模型微调防御（Model Fine-tuning-based Defenses）模型微调通过调整 VLM 的内部参数，增强其安全性。例如，通过在混合数据上训练模型，使其对有害内容更加敏感，从而生成更安全的响应。此类方法直接改变模型的行为，使其在面对恶意提示时能够做出更安全的决策。未来研究方向我们的研究不仅分析了当前 LLMs 和 VLMs 越狱现象及其防御机制，还发现了现有研究中的一些关键空白。这些空白为未来的研究提供了重要的方向，以进一步增强 AI 模型的安全性和鲁棒性。以下是我们提出的几个未来研究方向： 1. 多模态越狱攻击与防御随着多模态 AI 系统的快速发展，如何在结合文本和图像的环境中进行越狱攻击并有效防御成为一个重要课题。未来研究应重点关注多模态模型中的越狱技术，包括如何利用视觉和文本输入的协同作用来规避安全机制。同时，需要开发专门针对多模态系统的防御策略，以确保这些系统在处理复杂任务时的安全性。 2. 自动化越狱检测与修复现有的越狱检测方法大多依赖于手工设计的规则和特征，效率较低且难以适应不断变化的攻击手段。未来研究可以探索利用机器学习和深度学习技术，开发自动化的越狱检测与修复系统。这些系统应能够实时检测并修复潜在的越狱攻击，提升模型的自我保护能力。 3. 强化学习在越狱防御中的应用强化学习（Reinforcement Learning, RL）在越狱防御中的应用具有广阔前景。通过 RL，模型可以在不断的交互中学习如何识别和防御越狱攻击。例如，利用 RL 技术，模型可以动态调整其内部参数和响应策略，以应对不同类型的攻击。未来研究应深入探索 RL 在越狱防御中的应用，并开发相应的算法和工具。 4. 越狱攻击的伦理与法律研究随着越狱技术的不断发展，其潜在的伦理和法律问题也逐渐显现。未来研究应关注越狱攻击的伦理和法律影响，包括如何制定相关法规和政策来规范越狱行为。此外，还需要探索如何在技术和法律层面有效平衡创新与安全，确保 AI 技术的可持续发展。 5. 开放与封闭模型的安全对比研究当前的研究多集中于开放源代码的模型，而对封闭源代码模型的研究相对较少。未来应更多关注开放与封闭模型在安全性方面的差异，研究如何在封闭环境中实现高效的安全防御。同时，还需探索开放模型社区的协作机制，以共享和推广有效的防御策略。 6. 用户教育与防护除了技术层面的防御，用户教育也是防范越狱攻击的重要环节。未来研究应开发针对不同用户群体的教育资源，提高用户对越狱攻击的认知和防范能力。通过增强用户的安全意识，可以有效减少越狱攻击的成功率，从而提升整体系统的安全性。总结大语言模型（LLMs）和视觉语言模型（VLMs）的越狱现象和防御机制有许多共性和差异。共性源于它们都基于深度学习技术和类似的神经网络结构，且主要处理自然语言内容，因此在面临梯度攻击、进化攻击等威胁时表现出相似的脆弱性。防御策略如提示检测、提示扰动、生成干预、响应评估和模型微调在两者中也有广泛应用。然而，VLMs 由于需要处理图像和文本的组合输入，其攻击手段更为复杂，包括 Prompt-to-Image Injection 和 Prompt-Image Perturbation Injection 等多模态攻击。防御机制也因此更复杂，需要同时考虑视觉和语言输入的特性。VLMs 的训练成本较高，Proxy Model Transfer Jailbreaks 在这种情况下更为常见，攻击者利用代理模型优化攻击，再将其应用于目标模型。此外，LLMs 和 VLMs 在应用场景上有所不同，LLMs 主要用于文本生成和对话系统，而 VLMs 则用于图像生成和图文理解任务。这些共性和差异为理解和应对 AI 模型的安全威胁提供了重要的洞见，未来研究应继续关注这些方面，以开发更有效的防御策略，确保 AI 技术的安全应用。

日均tokens使用量超5000亿，AI生图玩法猛猛上新：豆包大模型为什么越来越「香」了？

1890美元，就能从头训练一个还不错的12亿参数扩散模型

只用1890美元、3700 万张图像，就能训练一个还不错的扩散模型。现阶段，视觉生成模型擅长创建逼真的视觉内容，然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研究者使用最先进的方法，也需要在 8×H100 GPU 上训练一个多月的时间。此外，训练大模型也对数据集提出了挑战，这些数据基本以亿为单位，同样给训练模型带来挑战。高昂的训练成本和对数据集的要求为大规模扩散模型的开发造成了难以逾越的障碍。现在，来自 Sony AI 等机构的研究者仅仅花了 1890 美元，就训练了一个不错的扩散模型，具有 11.6 亿参数的稀疏 transformer。论文地址：https://arxiv.org/pdf/2407.15811 论文标题：Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget 项目（即将发布）：https://github.com/SonyResearch/micro_diffusion 具体而言，在这项工作中，作者通过开发一种低成本端到端的 pipeline 用于文本到图像扩散模型，使得训练成本比 SOTA 模型降低了一个数量级还多，同时还不需要访问数十亿张训练图像或专有数据集。作者考虑了基于视觉 transformer 的潜在扩散模型进行文本到图像生成，主要原因是这种方式设计简单，并且应用广泛。为了降低计算成本，作者利用了 transformer 计算开销与输入序列大小（即每张图像的 patch 数量）的强依赖关系。本文的主要目标是在训练过程中减少 transformer 处理每张图像的有效 patch 数。通过在 transformer 的输入层随机掩蔽（mask）掉部分 token，可以轻松实现这一目标。然而，现有的掩蔽方法无法在不大幅降低性能的情况下将掩蔽率扩展到 50% 以上，特别是在高掩蔽率下，很大一部分输入 patch 完全不会被扩散 transformer 观察到。为了减轻掩蔽造成的性能大幅下降，作者提出了一种延迟掩蔽（deferred masking）策略，其中所有 patch 都由轻量级 patch 混合器（patch-mixer）进行预处理，然后再传输到扩散 transformer。Patch 混合器包含扩散 transformer 中参数数量的一小部分。与 naive 掩蔽方法相比，在 patch mixing 处理之后进行掩蔽允许未掩蔽的 patch 保留有关整个图像的语义信息，并能够在非常高的掩蔽率下可靠地训练扩散 transformer，同时与现有的最先进掩蔽相比不会产生额外的计算成本。作者还证明了在相同的计算预算下，延迟掩蔽策略比缩小模型规模（即减小模型大小）实现了更好的性能。最后，作者结合 Transformer 架构的最新进展，例如逐层缩放、使用 MoE 的稀疏 Transformer，以提高大规模训练的性能。作者提出的低成本训练 pipeline 减少了实验开销。除了使用真实图像，作者还考虑在训练数据集中组合其他合成图像。组合数据集仅包含 3700 万张图像，比大多数现有的大型模型所需的数据量少得多。在这个组合数据集上，作者以 1890 美元的成本训练了一个 11.6 亿参数的稀疏 transformer，并在 COCO 数据集上的零样本生成中实现了 12.7 FID。值得注意的是，本文训练的模型实现了具有竞争力的 FID 和高质量生成，同时成本仅为 stable diffusion 模型的 1⁄118 ，是目前最先进的方法（成本为 28,400 美元）的 1/15。 ‍方法介绍为了大幅降低计算成本，patch 掩蔽要求在输入主干 transformer 之前丢弃大部分输入 patch，从而使 transformer 无法获得被掩蔽 patch 的信息。高掩蔽率（例如 75% 的掩蔽率）会显著降低 transformer 的整体性能。即使使用 MaskDiT，也只能观察到它比 naive 掩蔽有微弱的改善，因为这种方法也会在输入层本身丢弃大部分图像 patch。延迟掩蔽，保留所有 patch 的语义信息由于高掩蔽率会去除图像中大部分有价值的学习信号，作者不禁要问，是否有必要在输入层进行掩蔽？只要计算成本不变，这就只是一种设计选择，而不是根本限制。事实上，作者发现了一种明显更好的掩蔽策略，其成本与现有的 MaskDiT 方法几乎相同。由于 patch 来自扩散 Transformer 中的非重叠图像区域，每个 patch 嵌入都不会嵌入图像中其他 patch 的任何信息。因此，作者的目标是在掩蔽之前对 patch 嵌入进行预处理，使未被掩蔽的 patch 能够嵌入整个图像的信息。他们将预处理模块称为 patch-mixer。使用 patch-mixer 训练扩散 transformer 作者认为，patch-mixer 是任何一种能够融合单个 patch 嵌入的神经架构。在 transformer 模型中，这一目标自然可以通过注意力层和前馈层的组合来实现。因此，作者使用一个仅由几个层组成的轻量级 transformer 作为 patch-mixer。输入序列 token 经 patch-mixer 处理后，他们将对其进行掩蔽（图 2e）。图 2：压缩 patch 序列以降低计算成本。由于扩散 transformer 的训练成本与序列大小（即 patch 数量）成正比，因此最好能在不降低性能的情况下缩减序列大小。这可以通过以下方法实现：b) 使用更大的 patch；c) 随机简单（naive）掩蔽一部分 patch；或者 d) 使用 MaskDiT，该方法结合了 naive 掩蔽和额外的自动编码目标。作者发现这三种方法都会导致图像生成性能显著下降，尤其是在高掩蔽率的情况下。为了缓解这一问题，他们提出了一种直接的延迟掩蔽策略，即在 patch-mixer 处理完 patch 后再对其进行掩蔽。除了使用 patch-mixer 之外，他们的方法在所有方面都类似于 naive 掩蔽。与 MaskDiT 相比，他们的方法无需优化任何替代目标，计算成本几乎相同。假定掩码为二进制掩码 m，作者使用以下损失函数来训练模型：其中，M_ϕ 是 patch-mixer 模型，F_θ 是主干 transformer。请注意，与 MaskDiT 相比，本文提出的方法还简化了整体设计，不需要额外的损失函数，也不需要在训练过程中在两个损失之间进行相应的超参数调优。在推理过程中，该方法不掩蔽任何 patch。未掩蔽微调由于极高的掩蔽率会大大降低扩散模型学习图像全局结构的能力，并在序列大小上引入训练 – 测试分布偏移，因此作者考虑在掩蔽预训练后进行少量的未掩蔽微调。微调还可以减轻由于使用 patch 掩蔽而产生的任何生成瑕疵。因此，在以前的工作中，恢复因掩蔽而急剧下降的性能至关重要，尤其是在采样中使用无分类器引导时。然而，作者认为这并不是完全必要的，因为即使在掩蔽预训练中，他们的方法也能达到与基线未掩蔽预训练相当的性能。作者只在大规模训练中使用这种方法，以减轻由于高度 patch 掩蔽而产生的任何未知 – 未知生成瑕疵。利用 MoE 和 layer-wise scaling 改进主干 transformer 架构作者还利用 transformer 架构设计方面的创新，在计算限制条件下提高了模型的性能。他们使用混合专家层，因为它们在不显著增加训练成本的情况下增加了模型的参数和表现力。他们使用基于专家选择路由的简化 MoE 层，每个专家决定路由给它的 token，因为它不需要任何额外的辅助损失函数来平衡专家间的负载。他们还考虑了 layer-wise scaling，该方法最近被证明在大型语言模型中优于典型 transformer。该方法线性增加 transformer 块的宽度，即注意力层和前馈层的隐藏层维度。因此，网络中较深的层比较早的层被分配了更多的参数。作者认为，由于视觉模型中的较深层往往能学习到更复杂的特征，因此在较深层使用更高的参数会带来更好的性能。作者在图 3 中描述了他们提出的扩散 Transformer 的整体架构。图 3：本文提出的扩散 transformer 的整体架构。作者在骨干 transformer 模型中加入了一个轻量级的 patch-mixer，它可以在输入图像中的所有 patch 被掩蔽之前对其进行处理。根据当前的研究成果，作者使用注意力层处理 caption 嵌入，然后再将其用于调节。他们使用正弦嵌入来表示时间步长。他们的模型只对未掩蔽的 patch 进行去噪处理，因此只对这些 patch 计算扩散损失（论文中的公式 3）。他们对主干 transformer 进行了修改，在单个层上使用了 layer-wise scaling，并在交替 transformer 块中使用了混合专家层。实验实验采用扩散 Transformer（DiT）两个变体 DiT-Tiny/2 和 DiT-Xl/2。如图 4 所示，延迟掩蔽方法在多个指标中都实现了更好的性能。此外，随着掩蔽率的增加，性能差距会扩大。例如，在 75% 的掩蔽率下，naive 掩蔽会将 FID 得分降低到 16.5（越低越好），而本文方法可以达到 5.03，更接近没有掩蔽的 FID 得分 3.79。表 1 表明 layer-wise scaling 方法在扩散 transformer 的掩蔽训练中具有更好的拟合效果。比较不同的掩蔽策略。作者首先将本文方法与使用较大 patch 的策略进行比较。将 patch 大小从 2 增加到 4，相当于 75% 的 patch 掩蔽。与延迟掩蔽相比，其他方法表现不佳，分别仅达到 9.38、6.31 和 26.70 FID、Clip-FID 和 Clip-score。相比之下，延迟掩蔽分别达到 7.09、4.10 和 28.24 FID、Clip-FID 和 Clip-score。下图为延迟掩蔽 vs. 模型缩小以减少训练成本的比较。在掩蔽率达到 75% 之前，作者发现延迟掩蔽在至少三个指标中的两个方面优于网络缩小。但是，在极高的掩蔽率下，延迟掩蔽往往会实现较低的性能。这可能是因为在这些比率下掩蔽的信息损失太高导致的。表 5 提供了有关模型训练超参数的详细信息。训练过程分两个阶段。计算成本。表 2 提供了每个训练阶段的计算成本明细，包括训练 FLOP 和经济成本。第 1 阶段和第 2 阶段训练分别消耗了总计算成本的 56% 和 44%。模型在 8×H100 GPU 集群上的总时钟训练时间为 2.6 天，相当于在 8×A100 GPU 集群上为 6.6 天。

私有数据、删掉的内容可以永久访问，GitHub官方：故意设计的

最近，一个消息震惊开源社区：在 GitHub 上删掉的内容、私有存储库的数据都是可以永久访问的，而且这是官方故意设计的。开源安全软件公司 Truffle Security 在一篇博客中详细描述了这个问题。 Truffle Security 引入了一个新术语：CFOR（Cross Fork Object Reference）：当一个存储库 fork 可以访问另一个 fork 中的敏感数据（包括来自私有和已删除 fork 的数据）时，就会出现 CFOR 漏洞。与不安全的直接对象引用类似，在 CFOR 中，用户提供提交（commit）哈希值就可以直接访问提交数据，否则这些数据是不可见的。以下是 Truffle Security 博客原文内容。访问已删除 fork 存储库的数据想象如下工作流程：在 GitHub 上 fork 一个公共存储库；将代码提交到你的 fork 存储库中；你删除你的 fork 存储库。那么，你提交给 fork 的代码应该是不能访问了对吧，因为你把 fork 存储库删除了。然而它却永久可以访问，不受你控制。如下视频所示，fork 一个存储库，向其中提交数据，再删除 fork 存储库，那么可以通过原始存储库访问「已删除」的提交数据。这种情况普遍存在。Truffle Security 调查了一家大型 AI 公司 3 个经常被 fork 的公共存储库，并从已删除的 fork 存储库中轻松找到了 40 个有效的 API 密钥。访问已删除存储库的数据考虑如下工作流程：你在 GitHub 上有一个公共存储库；用户 fork 你的存储库；你在他们 fork 后提交数据，并且他们从不将其 fork 存储库与你的更新同步；你删除整个存储库。那么，用户 fork 你的存储库后你提交的代码仍然可以访问。 GitHub 将存储库和 fork 存储库储存在存储库网络中，原始「上游」存储库充当根节点。当已 fork 的公共「上游」存储库被「删除」时，GitHub 会将根节点角色重新分配给下游 fork 存储库之一。但是，来自「上游」存储库的所有提交仍然存在，并且可以通过任何 fork 存储库访问。这种情况不是个例，上周就发生了这样一件事情： Truffle Security 向一家大型科技公司提交了一个 P1 漏洞，显示他们意外地提交了一名员工 GitHub 帐户的密钥，而该帐户对整个 GitHub 机构拥有重要访问权限。该公司立即删除了存储库，但由于该存储库已被 fork，因此仍然可以通过 fork 存储库访问包含敏感数据的提交，尽管 fork 存储库从未与原始「上游」存储库同步。也就是说，只要存储库有至少一个 fork 存储库，那么提交到公共存储库的任何代码都可以永久访问。访问私有存储库数据考虑如下工作流程：你创建一个最终将公开的私有存储库；创建该存储库的私有内部版本（通过 fork），并为不打算公开的特征提交额外的代码；你将你的「上游」存储库公开，并将你的 fork 存储库保持私有。那么，私有特征和相关代码则可供公众查看。从你创建工具的内部 fork 存储库到开源该工具之间提交的任何代码，这些提交都可以通过公共存储库访问。在你将「上游」存储库公开后，对你的私有 fork 存储库所做的任何提交都是不可见的。这是因为更改私有「上游」存储库的可见性会导致两个存储库网络：一个用于私有版本，一个用于公开版本。不幸的是，该工作流程是用户和机构开发开源软件时最常用的方法之一。因此，机密数据可能会无意中暴露在 GitHub 公共存储库上。如何访问数据？ GitHub 存储库网络中的破坏性操作（如上述 3 个场景）会从标准 GitHub UI 和正常 git 操作中删除提交数据的引用。但是，这些数据仍然存在并且可以访问（commit hash）。这是 CFOR 和 IDOR 漏洞之间的联系。 commit hash 可以通过 GitHub 的 UI 进行暴力破解，特别是因为 git 协议允许在引用提交时使用短 SHA-1 值。短 SHA-1 值是避免与另一个 commit hash 发生冲突所需的最小字符数，绝对最小值为 4。所有 4 个字符 SHA-1 值的密钥空间为 65536 (16^4)。暴力破解所有可能的值可以相对容易地实现。有趣的是，GitHub 公开了一个公共事件 API 端点。你还可以在由第三方管理的事件存档中查询 commit hash，并将过去十年的所有 GitHub 事件保存在 GitHub 之外，即使在存储库被删除之后也是如此。 GitHub 的规定 Truffle Security 通过 GitHub 的 VDP 计划将其发现提交给了 GitHub 官方。GitHub 回应道：「这是故意设计的」，并附上了说明文档。说明文档：https://docs.github.com/en/pull-requests/collaborating-with-pull-requests/working-with-forks/what-happens-to-forks-when-a-repository-is-deleted-or-changes-visibility Truffle Security 赞赏 GitHub 对其架构保持透明，但 Truffle Security 认为：普通用户将私有和公共存储库的分离视为安全边界，并且认为公共用户无法访问私有存储库中的任何数据。不幸的是，如上所述，情况并不总是如此。 Truffle Security 得出的结论是：只要一个 fork 存储库存在，对该存储库网络的任何提交（即「上游」存储库或「下游」fork 存储库上的提交）都将永久存在。 Truffle Security 还提出一种观点：安全修复公共 GitHub 存储库上泄露密钥的唯一方法是通过密钥轮换。 GitHub 的存储库架构存在这些设计缺陷。不幸的是，绝大多数 GitHub 用户永远不会理解存储库网络的实际工作原理，并且会因此而降低安全性。原文链接：https://trufflesecurity.com/blog/anyone-can-access-deleted-and-private-repo-data-github

标签贴错，AMD召回所有新一代CPU

机器之心报道编辑：泽南、佳琪因为有 typo，召回所有已铺货芯片。上个月，AMD 首席执行官苏姿丰博士在 ComputeX 开幕主题演讲上揭开了 Zen 5 架构的神秘面纱。作为 AMD 未来几年 CPU 的台柱子，Zen 5 立刻被引入消费级市场，面向笔记本和台式机的产品在几周内相继发布。 ‍然而临近上市日期，AMD 突然宣布，由于「对 Ryzen 9000 系列处理器的包装产品测试流程」存在问题，其将推迟数周推出搭载 Zen 5 的 Ryzen 9000 处理器。由于最近英特尔酷睿芯片曝出问题，人们对高端芯片质量的关注度很高，AMD 的这一消息让人不禁怀疑：难道现在苏妈也不靠谱了？随着信息逐步披露，事情逐渐变得让人忍俊不禁：一张贴错标签的 Ryzen 处理器的新图片暗示了 AMD 推迟推出芯片的主要原因之一 —— 一个简单的一位数字拼写错误。昨天在 B 站上发布的一个提前泄露测试结果显示，AMD 的 Ryzen 7 9700X 被错误标记为 Ryzen 9 9700X 处理器，这是一个明显的错误，需要纠正。视频发布后，tomsHardware 等海外媒体已经确认了 9700X 是错误标记，并且还了解到，贴错标签的 Ryzen 5 9600X 型号也已运往零售店 —— 这些处理器也被标记为 Ryzen 9。我们现在可以合理地假设 AMD 零售包装盒上的标签可能也有问题。无论存在哪种情况，这似乎只是一个小问题，不过 AMD 显然必须召回所有已发货的处理器，以纠正错误的标记。召回芯片的过程正是该公司所说的推迟其处理器发布的原因 ——AMD 表示，已经召回了所有交付给全球零售商和 OEM 的 Ryzen 9000 单元进行重新筛选，这些受影响的芯片将在筛选过程后退还给零售商。不过，AMD 尚未说明召回的具体原因。值得注意的是，「silkscreening」是行业术语，指的是芯片封装过程中，涉及激光蚀刻或打印芯片顶部标记的过程。AMD 明确指出需要进行「重新筛选」过程来解决其未定义的问题，但并未明确将其称为「silkscreening」。 AMD 在上周发布的声明中表示：「在最终检测中，我们发现首批产品并未完全达到预期的质量标准。」这表明，包装上的字印错了，可能并不是 AMD 延迟发售的唯一原因。 AMD 高级副总裁，计算和图形总经理 Jack Huynh 在 X 平台上表示：Ryzen 9000 系列处理器因质量问题将延迟上架。根据 Jack Huynh 的发言，也引申出了另一个版本的故事：AMD 透露这次事件并不是 CPU 微架构的问题，因此不需重新设计或重新制造 Ryzen 9000 芯片，也不需改变已经定义的各型号规格。问题出在封装测试的流程，导致筛选过程中可能会令不良品通过测试。这次的延迟是出于谨慎考虑，旨在保证每个 Ryzen 用户都能获得最佳使用体验。避免类似 Intel 13、14 代处理器大规模崩溃问题重演。现在看来，AMD 芯片的印刷问题可能早已显露端倪。海外媒体 tomsHardware 的记者拿出了在 Zen 5 技术日拍摄的 Ryzen 9 9950X 的照片，与已经上市两年的 Ryzen 9 7950X 进行了对比，不难看出，「Ryzen 9 9950X」的每个单词之间的间距似乎比 AMD 奉行多年的标准都要更宽。 Ryzen 9 9950X 最初计划在 7 月 31 日发布，但现在 AMD 已经将 Ryzen 7 9700X 和 Ryzen 5 9600X 处理器的发布日期推迟到 8 月 8 日，更高端的 Ryzen 9 9950X 和 Ryzen 9 9900X 将推迟到 8 月 15 日。至于 Ryzen 9 9950X 和 Ryzen 9 9900X 上的字有没有印对，目前还没有定论。然而可以肯定的是，一旦更高端的型号出了岔子，肯定要比 Ryzen 7 系列和 5 系列推迟的时间更久。对于用户来说，如果芯片延迟发布唯一的原因只是因为字印错了，而不是质量问题，反倒令人安心。对于 AMD 而言，他们似乎让自己陷入了一个尴尬的境地，如果芯片的印刷错误被证明是唯一的问题，那么 AMD 为何选择回避，不直接向公众坦白，而是发表了一个含糊其辞的声明，这种做法反而激起了外界对其芯片品质和检验流程的疑虑。参考内容： https://www.tomshardware.com/pc-components/cpus/amd-ryzen-9000-launch-delay-due-to-typo-ryzen-7-9700x-ryzen-5-9600x-confirmed https://www.anandtech.com/show/21485/the-amd-ryzen-ai-hx-370-review https://www.youtube.com/watch?v=MCi8jgALPYA © THE END 转载请联系本公众号获得授权投稿或寻求报道：content@jiqizhixin.com

「越狱」事件频发，如何教会大模型「迷途知返」而不是「将错就错」？

大型语言模型（LLM）展现出了令人印象深刻的智能水平。因此，确保其安全性显得至关重要。已有研究提出了各种策略，以使 LLM 与人类伦理道德对齐。然而，当前的先进模型例如 GPT-4 和 LLaMA3-70b-Instruct 仍然容易受到越狱攻击，并被用于恶意用途。为什么哪怕经过了大量的安全对齐，这些模型依然容易被越狱？应该如何进一步把安全对齐做深（deep）？围绕这两个问题，香港中文大学（深圳）贺品嘉团队和腾讯AI Lab实验室联合提出了 Decoupled Refusal Training (DeRTa)，一个简单新颖的安全微调方法，可以赋予大语言模型「迷途知返」的能力，从而在不影响模型有用性（helpfulness）的同时，大幅提升其安全性（safety）。论文标题：Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training 论文地址：https://arxiv.org/abs/2407.09121 开源代码：https://github.com/RobustNLP/DeRTa 研究者发现，安全微调数据中存在拒绝位置偏差（refusal position bias），即模型表示拒绝回答的行为，总是出现在回复的开头，这可能阻碍了模型在后续位置处保持安全的能力。为了验证这一猜测，研究者使用越狱样本测试 LLaMA3-8B 和 LLaMA3-70B，结果显示几乎所有（99.5%）被模型成功拒绝的越狱样本，拒绝性单词（如 Sorry）都出现在前五个单词中。一旦开头没有被拒绝，模型将很难在后续位置表现出安全的行为。方法为了解决这一问题，该论文提出了解耦拒绝训练（DeRTa）。DeRTa 包括两个新颖的设计：带有有害前缀的最大似然估计（MLE）：将一段随机长度的有害回复（harmful response）添加到安全回复的开头，可以训练 LLMs 在任何位置拒绝回复，而不仅仅是在开始处。此外，添加有害前缀提供了额外的上下文，显著提高了 LLM 识别和避免不安全内容的能力。强化过渡优化（RTO）：虽然加入有害前缀可以帮助模型从有害状态过渡到安全状态，但每个训练样本仅提供单次过渡，可能不足以使 LLM 有效识别和阻止潜在威胁。为了应对这一问题，研究者引入了一个辅助训练目标 RTO，让模型在有害序列的任意位置，都预测下一个单词为「Sorry」，从而在有害回复序列中的每个位置都学习一次从有害到安全的过渡。上述设计确保了模型防御机制的全面增强，允许模型学会「迷途知返」的行为。该方法的设计，在推特上也引起了一定的讨论。主要实验为了验证方法的效果，研究者在两个知名的模型家族 LLaMA3 (8B & 70B) 和 Mistral (7B & 8×7B) 上进行了实验，涵盖六种不同的越狱攻击方式。结果显示： DeRTa 显著提升了安全性，同时不会降低有用性。 DeRTa 可以进一步提升 LLaMA3-70B-Instruct 的安全性。分析实验为了提供更多有价值的见解，研究者主要基于 LLaMA3-70B，对 DeRTa 的工作原理进行了更细致的分析，包括： 1. 案例研究，DeRTa 如何影响拒绝性单词位置分布2. 消融实验，DeRTa 中两种策略的作用大小3. 分析实验一，与 DPO 进行比较，探究训练数据中的有害回复所发挥的作用4. 分析实验二，DeRTa 在不同模型尺寸的适用性首先，论文给出的示例具体地展示了 DeRTa 模型的「迷途知返」能力：即使在已经输出了一部分不安全文本的情况下，模型也能有效过渡到安全状态。此外，作者给出了在不同的方法下，模型输出的拒绝性单词的位置分布。可以看出，使用了 RTO 的模型，可以在显著靠后的位置，仍然具有保持安全的能力。在消融实验中，实验结果显示，仅仅使用有害前缀策略不足以应对各种形式的攻击。例如，该策略对于防御 CodeAttack 这类较为复杂的攻击几乎没有帮助。该攻击通过让模型补全代码来越狱，模型在前面位置的回复中，会进行无恶意的代码补全，到一定位置处，模型将会开始一边补全代码一边生成恶意回复。对于有害前缀策略的这些不足，RTO 可以有效弥补，从而使模型展现出很高的安全性，这说明 RTO 对于加强（赋予）模型在任何位置拒绝的能力至关重要。 RTO 的成功很自然带来一个问题：模型安全性的提升，是否可以归功于训练中整合了有害回复，而不是建模了 token 级别的安全过渡？为了回答这一问题，作者将 DeRTa 与 DPO 进行了比较。该实验进一步验证了，DeRTa 带来的安全性提升并不是简单地利用了有害回复的信息，而是得益于其对 token 级别安全过渡的直接建模。此外，该论文也展示了在不同尺寸的模型上的表现，包括 LLaMA3 (8B & 70B) 和 Mistral (7B & 8×7B)，结果显示该方法对不同大小的模型均有很好的效果。结语大模型安全依然任重道远。如何突破表面对齐，将安全做深入是一件很有挑战的事情。研究者在此给出了一些探索和思考，希望可以为这一方面的研究，提供一些有价值的见解和基线方法。

Runway深夜炸场，Gen-3 Alpha图生视频上线，11秒让你脑洞乱飞

机器之心报道编辑：杜伟网友不吝赞叹：AI 视觉生成又迈出了一大步。今天凌晨， Runway Gen 3 Alpha 模型的图生视频功能正式上线！用户可以使用任何图片作为视频生成的首帧。上传的图片既可以单独使用，也可以使用文本提示进行额外指导。目前，Gen 3 Alpha 支持生成的视频最长为 11 秒。作为一项重大更新，Runway 表示，图生视频功能将极大提高了生成视频的艺术控制和一致性。至于效果如何，大家可以先来欣赏以下官方给到的图生视频示例。 Runway 联合创始人兼 CEO Cristóbal Valenzuela 发推表示，是时候了（脑补：给视频生成领域再来波小小的震撼了）。他也放上了一些惊艳的图生视频示例。 Runway 脑洞大开、逼真的视频生成效果赢得了评论区一众网友的认可和赞赏，都迫不及待想要尝试一番了。当然已经有人用上了，X 用户 @NoBanksNearby 在试用后表示，「Runway 在图生视频领域又做到了很好。」使用到的图片如下：生成的视频是这样的： X 用户 @blizaine 测试了一张 Midjourney 生成的小罗伯特・唐尼即将扮演的毁灭博士，使用到的 Prompt 为「当男人走向相机时跟踪拍摄，背景中有神奇的电气爆炸。」再比如 X 用户 @patrickassale 生成的视频：大家觉得效果怎么样呢？参考链接： https://venturebeat.com/ai/you-can-now-turn-still-images-into-ai-videos-with-runway-gen-3-alpha/ © THE END 转载请联系本公众号获得授权投稿或寻求报道：content@jiqizhixin.com

又一「国产版Sora」全球上线！清华朱军创业团队，视频生成仅需30秒

AI 视频圈正「互扯头花」。国外的 Luma、Runway，国内的快手可灵、字节即梦、智谱清影…… 你方唱罢我登场。无一例外，它们对标的都是那个传说中的 Sora。其实，说起 Sora 全球挑战者，生数科技的 Vidu 少不了。早在三个月前，国内外视频生成领域还一片「沉寂」之时，生数科技突然曝出自家最新视频大模型 Vidu 的宣传视频，凭借其生动逼真、不输 Sora 的效果，惊艳了一众网友。就在今天，Vidu 正式上线。无需申请，只要有个邮箱，就能上手体验。（Vidu官网链接：www.vidu.studio）例如，皮卡丘和哆啦 A 梦玩「贴脸杀」：《暮光之城》男女主秀恩爱：它甚至还解决了 AI 不会写字的问题：此外，Vidu 的生成效率也贼拉猛，实现了业界最快的推理速度，仅需 30 秒就能生成一段 4 秒镜头。接下来，我们就奉上最新的一手评测，看看这款「国产 Sora」的实力究竟如何。上手实测：镜头语言大胆，画面不会崩坏！这次，Vidu 亮出了绝活。不仅延续了今年 4 月份展示的高动态性、高逼真度、高一致性等优势，还新增了动漫风格、文字与特效画面生成、角色一致性等特色能力。主打一个：别人有的功能，我要有，别人没有的功能，我也要有。哦莫，它竟然认字识数现阶段，Vidu 有两大核心功能：文生视频和图生视频。提供 4s 和 8s 两种时长选择，分辨率最高达 1080P。风格上，提供写实和动画两大选择。先看看图生视频。让历史重新鲜活起来，是当下最流行的玩法。这是法国画家伊丽莎白・路易丝・维瑞的名作《画家与女儿像》。我们输入提示词：画家与女儿像，母女紧紧抱在一起。生成的高清版本让人眼前一亮，人物动作幅度很大，连眼神都有变化，但效果挺自然。再试试达芬奇的《抱银鼬的女子》。提示词：抱银鼬的女子面露微笑。长达 8 秒的视频里，女子和宠物动作幅度较大，特别是女子的手部抚摸动作，还有身体、面部变化，但都没有影响画面的自然、流畅。大幅度、精准的动作有助于更好地表现视频情节和人物情绪。不过，动作幅度一旦变大，画面容易崩坏。因此，一些模型为保证流畅性，会牺牲动幅，而 Vidu 比较好地解决了这一问题。模拟真实物理世界的运动，还真不错。比如，复刻类似库布里克《2001 太空漫游》的情景！提示词：长镜头下，缓缓走向消失。提示词：长镜头下，漂浮着，慢慢飘向尽头。 ‍除了图生视频，还有文生视频。提示词：两朵花在黑色背景下缓慢绽放，展示出细腻的花瓣和花蕊。提示语：这次只她一人，独自坐在樱花深处的秋千架上，穿着粉红的春衫，轻微荡着秋千，幅度很小，像坐摇椅一般，微垂着头，有点百无聊赖的样子，缓缓伸足一点一点踢着地上的青草。那樱花片片飘落在她身上头上，她也不以手去拂，渐渐积得多了，和她衣裙的颜色相融，远远望去仿佛她整个人都是由樱花砌成似的。 Vidu 语义理解能力不错，还可以理解提示中一次包含多个镜头的片段要求。比如，画面中既有海边小屋的特写，还有运镜转向海面远眺的远景，通过镜头切换，赋予画面一种鲜明的叙事感。提示语：在一个古色古香的海边小屋里，阳光沐浴着房间，镜头缓慢过渡到一个阳台，俯瞰着宁静的大海，最后镜头定格在漂浮着大海、帆船和倒影般的云彩。对于第一人称、延时摄影等镜头语言，Vidu 也能准确理解和表达，用户只需细化提示词，即可大幅提升视频的可控性。提示词：第一人称视角，女友牵着我的手，一起漫步在海边。 Vidu 是一款能够准确理解和生成一些词汇的视频生成器，比如数字。提示词：一块生日蛋糕，上面插着蜡烛，蜡烛是数字 “32”。蛋糕上换成「Happy Birthday」的字样，它也能hold住。 ‍ 提示词：一块蛋糕，上面写着”HAPPY BIRTHDAY”。动漫风格嘎嘎好用目前市面上的 AI 视频工具大多局限于写实风格或源于现实的想象，而 Vidu 除了写实风格外，还支持动漫风格。我们选择动画模型，直接输入提示词即可输出动漫风格视频。例如，提示词：动漫风格，小女孩站在厨房里切菜。说实话，这画风有宫崎骏老爷子的味道。Vidu 读懂了提示词，小女孩切菜动作一气呵成，就是手指和刀具在不经意间仍有变形。提示词：动漫风格，一个戴着耳机的小女孩在跳舞。 Vidu 的想象力还挺丰富，自个儿把背景设置为带有喷泉的公园，这也让视频画面不那么单调。当然，我们还可以上传一张动漫参考图片，再输入提示词，如此一来，图片中的动漫人物就能动起来啦。例如，我们上传一张蜡笔小新的静态图，然后输入提示词：蜡笔小新大笑着举起手里的小花。图片用途选择「用作起始帧」。我们来瞅瞅效果：再上传一张呆萌皮卡丘的图像，输入提示词为「皮卡丘开心地蹦起来」。图片用途选择「用作起始帧」。继续上效果：上传《海贼王》路飞的图像，再喂给它提示词：男孩突然哭起来。效果如下：不得不说， Vidu 的动漫效果相当惊艳，在保持风格一致性的同时，显著提高了画面的稳定性和流畅性，没有出现变形、崩坏或者六指狂魔、左右腿不分等「邪门」画面。梗图、表情包燥起来在「图生视频」板块中，除了支持首帧图上传，Vidu 这次还上新一项功能 —— 角色一致性（Charactor To Video）。所谓角色一致性，就是上传一个角色图像，然后可以指定该角色在任意场景中做出任意动作。我们就拿吴京为例。提示词：在一艘宇宙飞船里，吴京正穿着太空服，对镜头挥手。提示词：吴京穿着唐装，站在一条古街上，向镜头挥手。如果说，首帧图上传适合创作场景一致性的视频，那么，有了角色一致性功能，从科幻角色到现代剧，演员七十二变，信手拈来。此外，有了角色一致性功能，普通用户创作「梗图」、「表情包」可以燥起来了！比如让北美「意难忘」贾斯汀・比伯和赛琳娜再续前缘：《武林外传》中佟湘玉和白展堂嗑着瓜子，聊着同福客栈的八卦：还有《甄嬛传》皇后娘娘委屈大哭：只要脑洞够大，什么地铁老人吃手机、鳌拜和韦小宝打啵、容嬷嬷喂紫薇吃鸡腿，Vidu 都能整出来。就一个字，快！视频生成过程中，用户最烦啥？当然是龟速爬行的进度条。试想，为了一段几秒的视频，愣是趴在电脑前等个十分钟，再慢性子的人也很难不破防。目前，市面上主流 AI 视频工具生成一段 4 秒左右的视频片段，通常需要 1 到 5 分钟，甚至更长。例如，Runway 最新推出的 Gen-3 工具需要 1 分钟来完成 5s 视频生成，可灵需要 2-3 分钟，而 Vidu 将这一等待时间缩短至 30 秒，速度比业内最快水平的 Gen-3 还要再快一倍。基于完全自研的 U-ViT 架构，商用精心布局「Vidu」底层基于完全自研的 U-ViT 架构，该架构由团队在 2022 年 9 月提出，早于 Sora 采用的 DiT 架构，是全球首个 Diffusion 和 Transformer 融合的架构。在 DiT 论文发布两个月前，清华大学的朱军团队提交了一篇论文 ——《All are Worth Words: A ViT Backbone for Diffusion Models》。这篇论文提出了用 Transformer 替代基于 CNN 的 U-Net 的网络架构 U-ViT。这是「Vidu」最重要的技术基础。由于不涉及中间的插帧和拼接等多步骤的处理，文本到视频的转换是直接且连续的，「Vidu」的作品感官上更加一镜到底，视频从头到尾连续生成，没有插帧痕迹。除了底层架构上的创新，「Vidu」也复用了生数科技过往积累下的工程化经验和能力。生数科技曾称，从图任务的统一到融合视频能力，「Vidu」可被视为一款通用视觉模型，能够支持生成更加多样化、更长时长的视频内容。他们也透露，「Vidu」还在加速迭代提升。面向未来，「Vidu」灵活的模型架构也将能够兼容更广泛的多模态能力。生数科技成立于 2023 年 3 月，核心成员来自清华大学人工智能研究院，致力于自主研发世界领先的可控多模态通用大模型。自 2023 年成立以来，团队已获得蚂蚁集团、启明创投、BV 百度风投、字节系锦秋基金等多家知名产业机构的认可，完成数亿元融资。据悉，生数科技是目前国内在多模态大模型赛道估值最高的创业团队。公司首席科学家由清华人工智能研究院副院长朱军担任；CEO 唐家渝本硕就读于清华大学计算机系，是 THUNLP 组成员；CTO 鲍凡是清华大学计算机系博士生、朱军教授的课题组成员，长期关注扩散模型领域研究，U-ViT 和 UniDiffuser 两项工作均是由他主导完成的。今年 1 月，生数科技旗下视觉创意设计平台 PixWeaver 上线了短视频生成功能，支持 4 秒高美学性的短视频内容。2 月份 Sora 推出后，生数科技内部成立攻坚小组，加快了原本视频方向的研发进度，不到一个月的时间，内部就实现了 8 秒的视频生成，紧接着 4 月份就突破了 16 秒生成，生成质量与时长全方面取得突破。如果说 4 月份的模型发布展示了 Vidu 在视频生成能力上的领先，这次正式发布的产品则展示了 Vidu 在商业化方面的精心布局。生数科技目前采取模型层和应用层两条路走路的模式。一方面，构建覆盖文本、图像、视频、3D 模型等多模态能力的底层通用大模型，面向 B 端提供模型服务能力。另一方面，面向图像生成、视频生成等场景打造垂类应用，按照订阅等形式收费，应用方向主要是游戏制作、影视后期等内容创作场景。