吉利汽车集团与其科技生态战略合作伙伴阶跃星辰近日携手宣布,两款革命性的多模态大模型——阶跃Step系列,正式面向全球开发者开放源代码。开发者们即刻起可通过跃问APP探索这一创新技术。
阶跃Step-Video-T2V,作为一款视频生成模型,不仅在参数量上达到了惊人的300亿,更在性能上树立了新的标杆,被誉为全球范围内最顶尖的开源视频生成模型。它能够直接产出204帧、540p高清视频,且在复杂动态场景、人物美感塑造、视觉创意、文字到视频的转化、双语输入处理以及镜头语言运用等方面,均展现出了卓越的能力。其语义理解与指令执行精度同样令人瞩目。
为了科学评估文生视频的质量,阶跃星辰还推出了Step-Video-T2V-eval基准数据集,该数据集包含128条基于真实用户反馈的中文评测问题,覆盖了运动、风景、动物、概念组合、超现实、人物、3D动画、电影摄影等11个内容领域。评测结果显示,阶跃Step-Video-T2V在指令遵循、运动流畅性、物理逻辑合理性及美学表现上,均显著优于当前市场上的其他开源视频模型。
与此同时,阶跃Step-Audio作为行业内首款产品级开源语音交互大模型,其表现同样令人惊艳。它能够根据场景需求,灵活生成包含情绪、方言、语种、歌声及个性化风格的语音表达,实现与用户的高质量自然对话。该模型生成的语音不仅自然流畅,且具备高情商特征,能够进行音色复刻与角色扮演,完美适配影视娱乐、社交、游戏等多个行业的应用场景。
在LlaMA Question、Web Questions等五大主流测试集中,阶跃Step-Audio的表现均位居榜首。特别是在HSK-6(汉语水平考试六级)评测中,其展现出的中文理解与应用能力尤为突出,被誉为最懂中国话的开源语音交互大模型。阶跃星辰还自建了Stepeval-Audio-360基准测试体系,从九个维度对开源语音模型进行全面评估。人工评测结果显示,阶跃Step-Audio在各项能力上均表现出色,均衡且超越了此前市场上的最佳开源语音模型。
阶跃星辰的成就也引起了业界的广泛关注。Hugging Face的联合创始人兼CEO Clement Delangue对阶跃星辰的大模型给予了高度评价,认为其在人工智能领域具有巨大的潜力,有望成为下一个行业领袖。
阶跃星辰公司成立于2023年4月,总部位于上海,由微软前全球副总裁姜大昕领衔。公司致力于推动通用人工智能(AGI)的发展,自2024年下半年以来,其多模态API的调用量实现了超过45倍的增长,彰显了其在人工智能领域的强劲实力与广阔前景。