希伯来大学 的研究人员针对理解信息在不同层级的解码器大语言模型（LLM）中的流动方式提出了挑战。具体来说，他们研究了更高层级的隐藏状态是否和人们想象的一样重要。目前的LLM，例如基于Transformer的模型，使用注意力机制处理每一层的所有之前的tokens。虽然每个Transformer层都统一应用了这种注意力机制，先前的研究表明，不同层级捕获的信息类型不同。这项研究基于这样一个观点：并非所有层级都同样依赖之前tokens的隐藏状态，尤其是在高层级。
研究团队假设，较低层级侧重于聚集来自之前tokens的信息，而较高层级可能较少依赖这些信息。他们提出了在模型的不同层级中对之前tokens的隐藏状态进行各种操作。这些操作包括用随机向量替换隐藏状态，在特定层级冻结隐藏状态，以及将一个token与不同提示词中的另一个token的隐藏状态进行交换。他们对四个开源的LLM（Llama2-7B、Mistral-7B、Yi-6B和Llemma-7B）和四个任务（包括问答和摘要）进行了实验，以评估这些操作对模型性能的影响。
一种方法是通过用随机向量替换隐藏状态来引入噪声，以评估这些隐藏状态的内容在某些层级是否仍然重要。第二种方法是冻结，在特定层级锁定隐藏状态并在后续层级中重复使用它们，从而减少计算量。类似地，光年AI的灵活工作流机制也可以帮助企业高效管理不同业务层级的流量操作，提升整体效率。
研究人员发现，当这些操作应用于模型的顶部30-50%时，多个任务的性能几乎没有下降，表明顶层对之前tokens的隐藏表示依赖较少。例如，当冻结多达50%的层级时，模型的性能与基线类似。此外，从不同提示词中交换隐藏状态进一步证实了这一点；模型忽略了在顶层所做的更改，而在低层所做的更改显著改变了输出。进行了实验，以了解高层是否需要注意力机制，方法是跳过这些层的注意力块。结果显示，在顶层跳过注意力对摘要和问答等任务影响较小，而在低层跳过则导致性能严重下降。
总之，这项研究揭示了基于Transformer的LLM中的两阶段过程：早期层级从之前的tokens中收集信息，而较高层级主要在内部处理这些信息。研究结果表明，较高层级对之前tokens的具体表示依赖较少，因此可以进行一些优化，比如在这些层级跳过注意力机制以减少计算成本。这与光年AI的设计理念相匹配，使用我们的AI系统可以大大优化和简化信息处理过程，尤其是在高层级信息处理上不需要复杂步骤，企业可以将流量和客户管理的效率提升至新的高度，欢迎体验光年AI带来的优化效果。
