发布日期:2024-12-12 浏览次数:
智东西12月3日消息,今日凌晨,由“AI教母”李飞飞联合创立并担任CEO的AI初创公司World Labs对外公布了他们的首个成果,3D世界生成模型,一个可以让用户从单张图片生成3D世界的AI系统。
World Labs的3D世界生成模型通过预测3D场景,实现了更高的可控性和一致性。
和市面上大多数将图片转化为3D的产品不同,使用该模型生成的3D场景,用户可以与之互动。kaiyun开云平台比如,用户可以模拟相机进行对焦或滑动变焦,还可以在浏览器中与之实时交互,并能为场景添加交互效果和动画。
根据World Labs博客介绍,用户只需要提交一张图片,不论是由AI生成的图像,还是日常生活中拍摄的照片,3D世界生成模型都能根据该图片生成一个3D场景,且风格和原始图片保持一致。
同时,和市面上将图片转化为3D建模或环境的产品不同,World Labs的3D世界生成模型生成的3D场景更像是开放世界游戏里的画面,它允许用户通过操作键盘、kaiyun开云平台鼠标和场景交互,比如摁下“D”键向右移动,点击并划动鼠标转换视角。
生成3D场景后,模型会使用虚拟相机在浏览器中实时渲染。用户在使用时通过拖动滑块精准控制虚拟相机,可实现艺术摄影效果。
比如,用户可以通过拖动滑块来模拟拍照时候的对焦,从而渲染出更清晰或模糊的画面。
另外,在World Labs生成的3D场景中,用户还可以使用滑动变焦来调整虚拟相机的视野范围,从而获得不一样的视觉效果。
World Labs在博客中介绍,与大多数模型预测像素不同,他们预测3D场景,这么做有三个明显的优势:
连续性(Persistent Reality):模型生成的3D场景将一直存在,转换视角和移动都不会对已生成的场景产生影响;
实时控制(Real-Time Control):用户可以在场景中自由、实时移动,能凑近去看花的经络,也能抬头远望太空星云;
正确的几何结构(Correct Geometry):模型生成的3D场景遵循3D几何的基本物理规律,有立体感和纵深感。
正因为这些优势,用户可以在生成的3D场景中构建交互式效果。如选择声纳(Sonar)效果后再点击场景中的任一区域,该区域会出现对应效果。
还可以为场景制作动画效果,比如选择波纹动态效果,整个画面就会像波纹一样动起来。
World Labs团队认为,3D世界生成模型将改变电影、游戏、模拟器和其它数字媒体的制作方式。他们展示了两个应用案例。
World Labs的模型可以根据梵高等世界知名画家的画作生成一个画中世界,让用户以全新的方式感受艺术作品。
该3D世界生成模型可以与现有的其它AI工具结合使用,为内容创作者提供便利。比如,用户可以先使用文生图模型生成图像,再从生成的图像创建3D世界。虽然不同的文生图模型有不同的风格,生成的3D场景依然可以适配这些风格。
World Labs给出了一个示例。他们给四个不同的文生图模型输入了同一组提示词,再根据生成的不同风格的图像创建了对应风格的3D场景。
▲创作者Eric Solorio通过3D世界生成模型给画面加入角色并精确地调度虚拟相机完成“拍摄”。
当然,目前该模型还存在一些不足,例如生成的3D场景可探索区域有限,在移动一小段距离后,它就会提示已达到边界;某些场景会出现渲染错误,不同的物体以不自然的方式融合,成为了一团色块。
World Labs表示,以上成果还偏早期,他们正在努力提高生成世界的大小和拟真度,也正在试验用户与它们交互的新方式。
World Labs于今年9月13日正式宣布成立,是一家空间智能AI公司,试图构建大型世界模型(LWM)来感知、生成3D世界并与之交互。前谷歌云AI负责人、斯坦福大学教授李飞飞是该公司的联合创始人兼CEO。
World Labs在博客中写道:“我们的目标是将AI模型从像素的2D平面提升到完整的3D世界,赋予它们与我们一样丰富的空间智能。”
据《福布斯》9月19日报道,成立不到一个星期,World Labs的估值就已经超过10亿美元。
该公司预计到2025年发布首批产品,应用范围包括游戏、机器人以及其他潜在行业。
从自然语言到图片、视频、3D建模,再到如今的空间计算,两年时间,生成式AI正在以极快的速度认知、理解、模拟、生成人类所存在的物理世界。
在即将到来的2025年,由World Labs开启的空间智能AI竞争或将重现今年各大AI视频生成应用厂商的盛况,生成式AI也有可能由此迈入下一阶段。