【ITBEAR】在OpenAISora项目面临挑战之际,meta公司向公众揭示了其最新的生成式AI研究——metaMovieGen。据meta官方博客介绍,这仅是该技术的“初步亮相”,正式应用尚需时日。
metaMovieGen展现了强大的功能,包括从文本生成视频和音频、编辑现有视频以及创作全新视频内容。经过人类评估,该技术在相关任务上的表现甚至超越了行业内的其他类似模型。
在具体应用上,metaMovieGen在人物动作和动物生成方面取得了显著成效,生成的视频在长时间和大幅度动作的表现上尤为逼真,尽管仍存在一些细微的不足。
meta强调,MovieGen的训练完全基于公开或已获得授权的数据集。作为公司的第三波研究成果,MovieGen融合了多种模态,并为用户提供了更加精细的控制选项。
在技术层面,MovieGen采用了创新的多阶段训练方法,并借助大量的H100GPU进行训练。在推理阶段,meta也引入了新颖的思路。
基于这一基础模型,meta进一步开发出了个性化视频生成和精确视频编辑功能,同时在音频生成方面也取得了令人瞩目的成果。
meta在多个技术领域展现出的创新力和突破性成果无疑引发了业界的广泛关注。然而,关于metaMovieGen是否将免费提供给公众使用,公司尚未给出明确答复。