具身操作大模型RoboFlamingo有能力微调自己的机器人策略。

字节跳动联合清华大学开发的具身操作大模型RoboFlamingo，利用预训练的VLMs进行单步视觉语言理解，使用显式策略头对序 列历史信息进行建模，并且仅在语言条件操作数据集上通过模仿学习进行微调。这种分解为RoboFlamingo提供了开环控制和在 低性能平台上部署的灵活性。通过在测试基准上大大超过了先进的性能，这表明RoboFlamingo可以成为使VLM适应机器人控制的有效和有竞争力的替代方案。广泛的实验结果还揭示了一些关于不同预训练VLM在操作任务上行为的有趣结论。RoboFlamingo有潜力成为机器人操作的具有成本效益的且易于使用的解决方案，使每个人都有能力微调自己的机器人策略。