动态

原帖正文 斯坦福刚公开了一堂新课：《From World Models to World Agents》。讲者 Gordon Wetzstein 是斯坦福 Physical and Spatial AI Lab 负责人，也是机器人公司 Rhoda AI 的联合创始人。整整54分钟，从世界模型是什么，一路讲到怎么拿它训练工厂里的机器人。大语言模型学的是“怎么说话”，世界模型学的是“世界下一秒会变成什么样”。教授给出的定义很直接：一个实时运行、跟着动作走、一帧接一帧生成后续画面的视频生成器。它使用的是扩散模型，不预测下一个词，而是从一片噪点开始，一步步把画面去噪出来。世界模型主要有三种运行方式。第一种是开环，比如游戏，模型把自己生成的画面继续作为下一帧参考，错一点不要紧，但错误会越滚越大；第二种是闭环，比如机器人，真实摄像头会不断提供新画面，把模型拉回现实；第三种是锚定开环，虽然画面仍由模型生成，但会依靠一张地图维持空间的一致性。目前这条路线主要卡在三个地方：记不住长期信息、多人无法共享同一个世界、画面生成得越久越容易跑偏。他们给出的解决方法分别是 FramePack 加 3D 空间记忆、利用共享地图实现多人 Doom，以及把生成失败的视频倒着放，用 BAgger 重新训练模型。机器人现在最缺的还是数据。全网带动作标注的视频大概只有2000小时，普通视频却有约20亿小时。他们的办法是先让世界模型生成一段“成功把活干完”的视频，再通过逆动力学模型，倒推出机器人手臂每一步应该怎样运动。这套思路对机器人训练很重要，因为真人示范既贵又慢，而且很多危险或少见的场景根本采集不到。如果世界模型能先生成大量接近现实的成功案例，机器人就不必每次都在真实工厂里从撞墙开始学。但教授在问答环节也说得很诚实：目前这些模型还不够好。如果是准备卖给客户、真正进工厂干活的机器人，他现在不会使用这些模型来训练。学术演示很漂亮，离可靠部署仍然有距离。我的感受是，世界模型碰到的坎，跟大语言模型几乎一模一样：记不长、会被自己的输出带偏、错误还会不断累积，最后必须靠真实世界把它拉回来。大模型这几年走过的路，世界模型大概率还要重新走一遍。课程原视频：
https://www.youtube.com/watch?v=IfkeGU4bEJI