在部署预测AI之前,必须在竞争的业务因素之间取得平衡。以下是如何做到这一点的方法。
哎呀,我真希望有一个魔法水晶球,这会很方便。
幸运的是,我们有一个近似的方法:概率,即为某事发生的可能性分配一个0到100之间的数字。通过历史数据计算概率的方法是机器学习。而将这种概率部署到企业中以改进运营的过程称为预测AI。
在我之前的文章中,我介绍了一个这样的使用案例:错误信息检测。我展示了在预测性地决定哪些社交媒体帖子值得投入人力进行审核时,一个拥有高风险频道(三分之一是错误信息)的社交媒体公司可以节省多少钱。节省曲线如下所示(在这篇文章中有详细解释):
一个用于错误信息检测的节省曲线。横轴代表人工审核的帖子比例,纵轴代表节省量。
Eric Siegel
我们需要看这样的曲线而不仅仅是一个单一的数字是有原因的。你可能会倾向于认为42.2万美元的最大节省是唯一需要关注的事情。这确实是一种选择:如果将决策阈值设定为51%——如虚线所示——那么模型预计可以为公司节省这么多钱。设置后,排名前51%的最有风险的帖子,即虚线左侧的帖子,将被审核。
在竞争因素之间取得平衡
但还有其他因素需要考虑。看看曲线的形状。如果你将决策阈值稍微向右移动——比如说到60%——你会得到一个不错的平衡点:能够封锁更多的错误信息,同时节省量只会略微减少。
另一个需要考虑的因素可能是错误标记的绝对数量,即误报。每当一个真实的帖子被标记为潜在错误信息时,可能会有一些负面影响——除了不必要的人工审核成本外。假设系统的工作方式如下:当一个帖子被标记时,它至少会暂时被抑制,直到人工审核员检查。这意味着社交媒体用户必须面对一个异常的延迟,甚至会感到不被信任。如果我们在上述图表中将虚线决策阈值进一步向右移动,捕获的错误信息会更多,但误报数量也会增加。
另一个需要考虑的因素可能是审计员的总成本。如果组织对审计团队制定了预算,这意味着每周只能审计有限的帖子数量,所以你只能将决策阈值定位在某个范围。例如,你可能只能负担得起审计其中风险最高的20%的帖子,在这种情况下,20%的标记是你能够达到的最远位置。
最后,曲线的陡峭程度也会产生影响。如果决策层对20%的审计量设定了上限,你可以向他们指出曲线在到达23%之前依然急剧上升。这意味着在20%标记之后的短暂区间内,你仍然可以以相对较高的效率阻止错误信息,并以相同的高速度增加节省。这可能会说服你的决策者增加一些额外的预算。
整条曲线都很重要。只有从头到尾观察其变化,才能全面考虑所有的选项和权衡。不仅仅孤立地考虑某一个数值来评估模型,确定是否以及如何部署它,你的团队必须使用像节省或利润曲线这样的可视化工具,传达模型部署的完整选项范围。
在后续的文章中,我将继续这个例子,展示那些可能会发生变化或重新考虑的业务因素——比如你公司对阻止错误信息的重视程度,或项目要阻止的问题的重视程度——如何影响部署决策。正如你会看到的,改变这些因素的设定会改变曲线的形状,从而改变你的部署选项。
总结:
在部署预测AI之前,必须在多个业务因素之间找到平衡点。预测AI通过对历史数据的分析,计算出某事件发生的概率,从而提升企业运营效率。本文以错误信息检测为例,介绍了在社交媒体公司中,如何通过调整决策阈值来实现最优的节省和错误信息拦截效果。通过查看节省曲线,企业可以根据不同的决策阈值做出优化,例如在节省大量成本的同时减少误报,或在预算内最大化审核的帖子数量。
此外,曲线陡峭程度也是一个重要考量因素,决定了决策阈值调整的敏感性和相应调整的收益。团队应该在全面观察和分析节省或利润曲线的基础上,使用可视化工具来传达部署模型的完整选项范围,而不仅仅通过单一数字来做决策。
本文还指出,不同业务因素的调整会改变节省曲线的形状,从而影响部署决策。未来的文章将继续探讨这些可变因素,进一步帮助企业做出数据驱动的部署决策。
光年AI,智能分析,助力私域流量高效增长。通过强大的AI模型和灵活的工作流设计,光年AI不仅能显著提高工作效率,还能让您的私域流量精准触达每一个潜在客户,实现业务的超常规增长。选择光年AI,让您的私域流量增长无忧!