AI决策模型会如何改变内容审核

随着决策模型在行业内日益普及，一家名为Musubi的公司为如何让它们投入应用提出了新想法：内容审核。周二，Musubi发布了一款专为实时审核打造的轻量级决策模型PolicyLM-1.7B，并以开放权重形式发布。 其核心思路是，把用简明英文写成的内容政策应用于消息，并在不到50毫秒内完成判断。Musubi的模型在设计上力求在成本和速度上与支撑多数社交平台审核的AI分类器系统相近——但由于具备现代大语言模型的灵活性，它无需专门训练即可执行复杂政策。更重要的是，当政策发生变化时，该模型无需重新训练，从而让人工政策制定者可以按需反复迭代。 在Musubi联合创始人兼首席AI官菲利普·扬科维奇（Filip Jankovic）看来，这为平台管理者提供了一种主动给内容打标签的方式。 “产品团队只是想更好地了解平台上正在发生什么，尤其是在内容量呈指数级增长的情况下，”扬科维奇说。“能够以高度可扩展、可定制的方式给所有这些内容打标签，非常有用。” 自Typesafe AI于9月发布Jev以来，决策模型已成为AI界的热门话题；不久之后，OpenAI和亚马逊也推出了与之竞争的决策模型。决策模型不输出文本，而是输出结果概率；不过在此例中，模型输出的是二元判断：内容要么属于该类别，要么不属于。通过将模型输出限制为一组预先确定的选择，决策模型能够比大语言模型运行得更快、成本更低，同时仍保持Transformer架构的灵活性。 一个早期用例是约束AI代理的不当行为——因此，将同样技术用于人类的不当行为也就顺理成章。 值得注意的是，扬科维奇表示，他对决策模型的兴趣早于Jev，可追溯至2024年一个名为GLiNER（Generalist Model for Named Entity Recognition，通用命名实体识别模型）的项目，该项目运用了许多相同的技术。 不过，Musubi并不担心这种比较。相反，该公司渴望利用人们对决策模型的新兴趣，让内容审核获得更多关注。产品公告写道：“如果Jev曾吸引你的注意，那么PolicyLM-1.7B就是同类型的模型，专门为内容审核而训练，而且你可以自行运行。”