【ITBEAR】近期，极佳科技携手中国科学院自动化研究所、理想汽车、北京大学及慕尼黑工业大学，共同推出了DriveDreamer4D，这一创新成果标志着首次利用世界模型来增强4D驾驶场景的重建效果。DriveDreamer4D不仅显著提升了多种自动驾驶4D重建算法的性能，还在用户调研中获得了超过80%的偏好投票，为空间智能和4D世界模型的发展奠定了坚实基础。
DriveDreamer4D的核心优势在于其能够生成丰富多样的驾驶场景数据，特别是针对复杂操作如变道、加速和减速等，从而增强闭环仿真能力。该技术利用世界模型作为数据引擎，基于真实驾驶数据合成新轨迹视频，如变道场景，进而提升重建算法的效果。
在DriveDreamer4D的总体结构中，轨迹生成模块（NTGM）扮演着关键角色，它负责调整原始轨迹动作，如转向角度和速度，以生成新的轨迹。这些新轨迹为提取结构化信息提供了全新视角，进而合成新轨迹视频，并结合原始轨迹视频优化4DGS模型。
实验结果显示，DriveDreamer4D在复杂驾驶场景下表现出色。在变道场景中，传统算法往往出现模糊和“鬼影”现象，而DriveDreamer4D则能消除这些问题，提升交通元素的渲染质量。在车辆变速场景下，DriveDreamer4D同样能提高渲染的时空一致性。
定量实验和用户调研均证实了DriveDreamer4D的优越性。该技术不仅提升了图像重建渲染质量，还增强了车辆和车道线渲染的时空一致性，获得了用户的高度偏好。
DriveDreamer4D是极佳科技研究团队在DriveDreamer和DriveDreamer-2基础上的又一重要进展，致力于推动空间智能和4D世界模型的发展，为自动驾驶和闭环仿真提供强有力的技术支持。
