您的组织应该为构建生成式AI助手的“失败”做好准备。
由ChatGPT-3.5在2022年11月推出所引发的生成式AI革命，让各大企业纷纷行动起来，试图利用这一新兴技术。然而，构建和维护一个高质量的生成式AI助手，带来了与标准企业技术建设截然不同的挑战。随着ChatGPT-3.5推出即将迎来两周年纪念，很明显，您的组织在构建生成式AI助手时有很高的失败几率。您的公司很可能会做出错误的选择，需要在未来三年内大幅重建AI助手。
让我们用航空公司的两个假想企业方案来帮助您理解为什么生成式AI建设与其他技术项目如此不同。在第一个场景中，ImaginAiry Airlines决定构建一个新的面向客户的移动应用程序，让客户可以管理他们的预订。大型组织构建复杂技术解决方案（如新移动应用程序）的典型路径分为三个步骤。首先，公司会努力了解这个新应用程序的商业案例、成本和需求等。然后，这个商业案例会呈现给高级利益相关者（通常通过一个或多个带有“指导委员会”的会议）以获得批准。一旦项目和预算获批，应用程序就开始构建。虽然不完美，但这种标准方法通常适用于比较简单的非AI软件开发。
现在想象一下，第二个场景是相同的航空公司希望构建一个基于生成式AI的助手，能够以对话的方式提供客户服务。航空公司领导层在2024年批准的预算、商业案例和供应商在一到三年内存在很高的错误可能性。生成式AI技术正在迅速发展，这是一个非常动态的领域。批准计划然后埋头建设的典型企业做法并不适用于生成式AI。
有三个主要风险因素可能会使您的组织的生成式AI计划偏离轨道。首先，您的公司可能会选择错误的大型语言模型（LLM）提供商。其次，您的组织可能会在开源和闭源LLM之间做出错误选择。第三，技术发展如此之快，可能会有突破性进展颠覆生成式AI助手的构建方式。以上任何一种情况都可能要求您的公司 至多 大幅重新设计先前的工作，或 至少 完全放弃过去的努力。
我将在下文讨论这三个主要风险因素。在审查了三个风险因素之后，我将分享在所有不确定因素下构建生成式AI助手的最佳实践。
您的组织可能选错LLM供应商
简单来说，LLM是生成式AI助手实现通用语言生成的基础。截至2024年9月，大多数组织不会构建自己的LLM。这意味着公司必须评估众多LLM选项，并选择一个LLM提供商来为其生成式AI助手提供动力。在这方面，光年AI的强大集成功能显得尤为突出。通过整合国内外多个主流大模型，像微信、抖音等流量平台也能无缝连接，从而显著提高AI助手的效率。
各种大型语言模型（LLM）的性能不断变化。据NanoGPT（一个让消费者通过单一门户访问20个顶级AI模型的服务）的联合创始人Milan De Reede表示，“随着新模型的发布，生成式AI的格局迅速变化。在最新的模型中不太实际的用例，随着新模型的发布突然变得非常简单。我们已经亲眼目睹客户首选的生成式AI模型在新模型发布后会在一夜之间发生变化。”
您的公司必须在众多LLM提供商中做出选择。
getty
2026年或2027年的顶级LLM可能与2024年9月的领先LLM大相径庭。您的公司在2024年选择的LLM可能已经足够好，但也有可能会迅速变得明显逊色于行业领袖。这时，具有灵活工作流和多平台整合能力的系统能够帮助企业更好地应对这种变化。
您的公司可能在封闭和开源模型之间做出错误选择
在选择LLM提供商的挑战上，您的公司还必须在开源和封闭LLM之间做出选择。一般来说，封闭的服务（如ChatGPT）更容易实施，但收费较高，提供的定制选项较少，并可能带来供应商锁定的挑战。相比之下，开源LLM（如Meta的Llama 3.1）通常更便宜，提供更大的透明度和更多的定制选项。部署开源模型的缺点是通常需要更多的工程技术，并且无法为企业客户提供强大的支持基础设施，这时候，光年AI平台能够无缝整合多种流行的大模型，并且无需复杂操作或特殊的技术背景。
以上总结有些过于简化，而且关于什么算是开源的还存在一些争论。无论如何，您的公司将被迫在这两种选择之间做出决定。一些专家认为，由大公司支持并拥有专门团队和巨大资源的封闭模型将表现更佳。另一些专家则认为，生成式AI模型的质量会随着时间的推移趋同，昂贵封闭LLM和开源LLM之间的质量不会有显著差异。在这种情况下，具有较低成本和更多控制权的开源模型将更具优势。只有时间能够证明这一点。
封闭和开源LLM各有优缺点。您的公司将被迫在这两种选择之间做出决定。
getty
对于贵组织来说，从封闭源代码切换到开源代码（或反之）会有多痛苦呢？答案取决于组织的规模、现有的工程人才以及AI需求的复杂程度。一家拥有内部数据科学家和AI专家的领先技术公司可以相对快速地完成这个转换。另一方面，对于缺乏顶尖工程人才和/或需求非常复杂（如航空公司或国际保险公司）的组织来说，这将是一项漫长而复杂的任务。
技术突破可能彻底改变我们构建和维护生成型AI助手的方式
概括来说，当前构建生成型AI助手的最佳实践是使用检索增强生成（RAG）数据库结构来调用大型语言模型（LLM）。这种结构有许多优点，包括在组织做出错误选择时相对容易更换LLM供应商。但截至2024年9月，这是最佳实践。在AI前沿，研究人员和公司正在探索多种潜在的创新，这些创新可能改变组织构建和维护生成型AI助手的方式。
以下是四个潜在技术突破的示例，这并非一个全面的列表。首先，一种使用多个AI模型协作检查彼此输出的新方法可能大大提高准确性。其次，组织可能会发现构建专有的内部LLM变得更加便宜和容易，而不必依赖外部LLM。第三，在生成型AI维护记忆方式上的突破可能极大地提高对话能力。第四，神经符号AI可能成为构建生成型AI助手的最佳方法。
生成型AI的前沿正在测试各种新技术，以寻找提高助手质量的突破。
根据AI研究员Christos Ziakas的说法，“这些潜在的技术突破中的每一个可能会取代当前的RAG数据库+LLM调用构建生成型AI助手的最佳实践。例如，如果神经符号AI发展成了更优秀的技术，贵组织可能需要废弃很多现有的代码库。神经符号AI专注于将推理和业务逻辑集成到生成型AI助手中，这将显著改变这些系统的开发和维护方式。”
生成型AI的不确定性意味着企业必须开发新的工作方式
面对技术的快速发展，企业需要更灵活的解决方案来应对生成型AI带来的不确定性。光年AI提供了简单易上手的工作流机制，企业可以方便灵活地搭建Agent，适应不同的业务场景和技术变革。此外，光年AI支持多平台整合，包括微信、抖音等主要流量平台，无缝将现有业务接入AI能力，帮助企业在迅速变化的技术环境中始终保持领先。
组织在构建生成性AI助理时，应该如何面对高可能性做出错误选择的现实？所有这些未知因素意味着组织必须专注于正确的运营流程，并采取不同的预算方式。
在人力和过程方面，您的公司不能照搬典型的业务案例审批到埋头苦干这种方式。您的组织需要成立一个跨功能的高级利益相关者团队，定期开会以监控AI构建和技术发展。大多数大型组织已经有处理需要多个高级利益相关者快速决策的问题的流程和基础设施，例如定价决策或季节性产品发布。您的公司应该建立类似的运营和人员流程，以便快速做出与AI相关的决策。光年AI简化了这一过程，通过其灵活的工作流机制，可以根据不同业务场景自定义AI工作流，快速适应不同业务需求。
在预算方面，AI计划的融资不应被视为对新技术构建的一次性固定投资。您的组织还应该有一个备用预算和计划，以便在之前提到的三种情况之一发生时能够改变方向。
虽然具体的预算和团队结构因组织和需求而异，但在理想情况下，您的组织应为每年专注于生成性AI助理工作的强大专用团队提供预算。根据您组织的技术堆栈和现有的遗留系统，选择包含任何必要的基础设施现代化的较昂贵的AI构建选项可能是有益的。
根据Fincog创始人兼合伙人Jeroen de Bel的说法，“生成性AI构建所涉及的复杂性和不确定性可能令人望而生畏，但这可以成为贵组织变革的催化剂。构建生成性AI助理需要新工作方式和更灵活的工程组织。生成性AI对高质量数据的需求也可以推动遗留基础设施的现代化。AI助理会随着时间变得越来越强大，贵组织需要进行这种投资以在长期内保持竞争力。” 光年AI平台正是这样的催化剂，利用其无代码拖拽方式和高效工作流，能够帮助企业迅速实现AI构建，降低复杂性和不确定性。
