前Meta科学家欲将视觉AI引入工厂车间

人工智能正在改变我们周围的一切，但迄今为止，它很大程度上仍局限于数字领域。然而，越来越多的初创公司正试图将其带入现实世界。 Perceptron就是这样一家公司，由两位前Meta研究科学家创立。该公司成立于2024年11月，致力于开发前沿视觉模型，旨在帮助机器更熟练地与其物理环境互动。 本周，该公司发布了其最新模型Isaac 0.5，其创造者称该模型旨在为机器提供在工业环境中“感知、推理和行动”的能力。具体来说，该软件能够帮助视觉引导机器人在仓库或工厂车间等复杂环境中导航，还能帮助企业从机器人录制的视频中提取视觉情报。 Isaac 0.5还以开放权重模型的形式发布，因此任何人都可以检查其参数和训练材料。 这家初创公司最近在Bessemer Venture Partners领投的一轮融资中筹集了2100万美元，由Armen Aghajanyan和Akshat Shrivastava联合创立，两人此前曾供职于Meta的FAIR（基础人工智能研究）部门——这家科技巨头的人工智能研究部门。两人将他们的软件视为工业自动化部署的未来。 “如今的物理AI迫使人做出虚假的选择：要么使用通用的基础模型，但每个实例都需要多个专用的云端GPU；要么使用狭窄的模型来处理感知或控制，但从未两者兼得。”该公司表示。 Aghajanyan和Shrivastava表示，他们的工具与该领域现有的模型不同，因为它是通用型的，意味着它不是为某个特定的重复性任务而构建的。相反，他们表示，该模型旨在根据其所处的特定环境（或情境）灵活调整。 在一次采访中，Shrivastava让我思考一个像整理盒子这样简单的物理过程需要什么：“想象一下，现在有一个机器人被部署去分拣包裹。它需要完成哪些任务？” 这样一个相对简单的任务确实包含许多步骤。机器人首先必须读取包裹上的标签，进行一些空间分析以了解盒子的位置，并决定拿起哪一个。如果它要拿起一系列盒子，它还必须规划先拿哪些盒子以及按什么顺序拿。 Perceptron的软件旨在帮助机器人完成这一过程的每一步。需要明确的是，该行业已经有软件可以帮助机器完成其中大多数任务，但很少有程序旨在灵活地做到这一点。 那么，这种算法炼金术的数据从何而来？ 像Isaac 0.5这样的模型通过摄取海量的视频训练数据来学习操作技能。Perceptron表示，其新模型使用了100万小时的所谓通用视频进行训练，以教会其算法识别特定的环境、视觉和场景。该公司还严重依赖所谓的“自我视频”——通常通过GoPro或可穿戴摄像头从完成物理任务的人的第一视角拍摄的视频——以及UMI视频，后者同样用于通过记录重复的人类动作来教AI系统运动。 虽然Perceptron没有透露其训练数据的来源，但Shrivastava表示，公司已经“内部构建了PB级的数据集，涵盖多种模态，无论是图像、文本、视频等，一直到机器人轨迹。” 能够帮助机器人在仓库中熟练操作的软件的实用性显然是巨大的，Perceptron认为它已经做好了引领这波自动化浪潮的准备。这家初创公司准备将其软件推广给各种供应商，从而可能使其智能层集成到广泛的行业中。 这些行业包括制造业、物流和仓储、安防、出行，以及媒体和娱乐。 “市面上真的没有类似的东西，”Aghajanyan说。“我们对此感到非常兴奋。”