【ITBEAR】9月24日消息,字节跳动正式宣布进军AI视频生成领域。9月24日,其旗下火山引擎在深圳举办了AI创新巡展活动,并在此活动中推出了两款面向企业市场的大模型:豆包视频生成-PixelDance和豆包视频生成-Seaweed,同时开启了邀测。
在活动现场,豆包视频生成的效果令人印象深刻。无论是语义理解能力,还是处理多个主体复杂交互画面的能力,甚至是多镜头切换下的内容一致性,豆包视频生成大模型都展现了业界领先的水平。
据ITBEAR了解,火山引擎总裁谭待表示,视频生成领域仍有许多技术难关需要攻克。他强调,豆包的两款模型将持续进化,探索解决关键问题的更多可能性,以期加速拓展AI视频的创作空间和应用落地。
创新技术是豆包视频生成模型的核心优势。与以往只能完成简单指令的视频生成模型不同,豆包视频生成模型能够实现自然连贯的多拍动作与多主体复杂交互。有创作者在体验后发现,该模型生成的视频不仅能遵循复杂指令,让不同人物完成多个动作指令的互动,还能确保人物样貌、服装细节甚至头饰在不同运镜下的一致性,效果接近实拍。
豆包视频生成模型基于DiT架构,通过高效的DiT融合计算单元,使视频能在大动态与运镜中自由切换,并拥有变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力。其全新设计的扩散模型训练方法攻克了多镜头切换的一致性难题,能在镜头切换时同时保持主体、风格、氛围的一致性,这是豆包视频生成模型独特的技术创新。
经过剪映、即梦AI等业务场景的打磨和持续迭代,豆包视频生成模型具备了专业级的光影布局和色彩调和能力,画面视觉极具美感和真实感。其深度优化的Transformer结构大幅提升了视频的泛化能力,支持3D动画、2D动画、国画、黑白、厚涂等多种风格,并适配电影、电视、电脑、手机等各种设备的比例。这使得豆包视频生成模型不仅适用于电商营销、动画教育、城市文旅、微剧本等企业场景,也能为专业创作者和艺术家们提供强大的创作辅助。
目前,新款豆包视频生成模型正在即梦AI内测版进行小范围测试,未来将逐步开放给所有用户。剪映和即梦AI市场负责人陈欣然表示,AI能够与创作者深度互动,共同创作,带来许多惊喜和启发。即梦AI希望成为用户最亲密和有智慧的创作伙伴。
在此次活动中,豆包大模型不仅新增了视频生成模型,还发布了豆包音乐模型和同声传译模型,已全面覆盖语言、语音、图像、视频等全模态,全方位满足不同行业和领域的业务场景需求。
随着产品能力的日益完善,豆包大模型的使用量也在迅速增长。据火山引擎披露,截至9月,豆包语言模型的日均tokens使用量已超过1.3万亿,相比5月首次发布时增长了十倍。同时,多模态数据处理量也分别达到每天5000万张图片和85万小时语音。
谭待认为,大模型的价格已不再是阻碍创新的门槛。随着企业的大规模应用,大模型支持更大的并发流量正在成为行业发展的关键因素。他介绍称,业内多家大模型目前最高仅支持300K甚至100K的TPM(每分钟token数),难以承载企业生产环境的流量。而豆包大模型默认支持800K的初始TPM,远超行业平均水平,客户还可根据需求灵活扩容。
“在我们的努力下,大模型的应用成本已经得到很好的解决。大模型的发展应该从价格竞争转向性能和服务的竞争,提供更出色的模型能力和服务。”谭待强调。
关键词:#字节跳动# #AI视频生成# #豆包大模型# #火山引擎# #即梦AI#