【ITBEAR】火山引擎在视频云大会上发布了一项创新成果——基于历史古建三维实景重建的「虚拟直播间」。这一场景利用AI生成3D内容和大场景重建技术，为山西高平金代二郎庙戏台和北京正乙祠戏楼这两座百年建筑创建了3D数字资产，并将其应用于抖音的戏曲直播中，旨在让古建筑在现代生活中焕发新生，同时助力戏曲等非物质文化遗产的传承。
火山引擎视频云负责人Yongyuan强调，随着AI视频时代的到来，用户对沉浸式体验的需求日益增强。如何让历史古建的数字资产真正融入现代人的日常生活，对技术团队提出了严峻挑战。
「虚拟直播间」通过结合3DGS先进技术与自研大场景建模技术，实现了对真实场景的高质量3D几何构建与外观重建渲染。该方案不仅视觉效果出众，还支持美术管线编辑，能够实现复杂的光效和阴影渲染，使直播表演更加真实，为观众带来更加沉浸式的体验。
山西高平市寺庄镇王报村二郎庙内的戏台，作为我国现存时代最早、木构特征及纪年最确切的神庙戏台，成为了「虚拟直播间」的首个场景。火山引擎多媒体实验室团队采用基于视觉的三维重建方式，高效、低成本且高精度地完成了对这座800多年历史的露天戏台的三维重建。
为了丰富场景细节，技术团队还借助AIGC的能力，为戏台生成了“守旧”、石狮子等装饰元素和四季不同的效果。火山引擎的AIG3D方案基于大模型的生成能力，采用创新的图生3D模式，能够快速精准建模，将建模时间缩短至以分钟为单位。
图说：火山引擎视频云负责人Yongyuan在大会发布「虚拟直播间」
另一个「虚拟直播间」场景是北京正乙祠戏楼，这座始建于清康熙6年的木制结构室内剧场，被誉为“中国戏楼活化石”。在三维重建过程中，技术团队注重还原剧场演出的美感，并添加了现实中难以呈现的效果，如复杂的光效和色彩渲染，使这座百年戏楼在手机屏幕上呈现出美轮美奂的效果。
自2024年5月起，「虚拟直播间」邀请了多位抖音上的京剧主播进行体验测试，包括国家二级演员和仍在戏曲学院读书的00后大学生。他们表示，「虚拟直播间」为他们提供了更多选择，使直播更加生动有趣。
北京京剧院老生演员、国家二级演员王宁是首位使用「虚拟直播间」的主播。他表示，「虚拟直播间」让他无需绿幕背景，在相对日常的环境下就能使用虚拟场景进行直播。技术团队还自研了智能运镜算法，配合主播的移动产生专业的运镜效果，并生成了京剧里常见的道具“一桌二椅”，使直播更加专业且富有传统韵味。
Yongyuan表示，项目的初衷是让现代戏曲主播站在虚拟古戏台上表演，观众既可回望古代建筑之美，又能品鉴主播们典雅的曲词、婉转的行腔，足不出户穿越时空，更加生动直观地了解文化遗产的历史和价值。
