近日,在2024世界移动通信大会(MWC 2024)期间,慧鲤科技与联发科技再次联袂推出生成式AI在端侧的创新应用。基于联发科技天玑 9300 集成的新一代 AI 处理器和慧鲤科技LoRA 融合的技术整合,用户在端侧设备上录制影像时,可以实时生成不同动画风格的视频。这也是业内首个基于LoRA融合技术在端侧实时生成视频的应用,为端侧生成式AI落地进一步刷新了应用边界。
端侧处理,秒速生成,慧鲤LoRA融合技术实时生成趣味视频
作为联发科技在生成式AI技术领域的重要合作伙伴,慧鲤科技结合联发科技生成式AI模型端侧“技能扩充”技术NeuroPilot Fusion,在基础模型上持续扩展AI应用和功能,并于移动终端装置成功实现多种风格化视频的实时生成能力,开辟出一系列手机AI应用新玩法。
在风格化基础模型以及风格LoRA模型训练过程中,慧鲤通过一致性蒸馏算法大幅减少了扩散模型的运行步数,并依托联发科技NeuroPilot框架,以无分类器指导蒸馏进一步降低扩散模型的单步耗时。在保证输出质量的同时,慧鲤实现了手机端接近1帧/s在线风格化生成效果,使生成体验更加自然流畅。
在现场体验中,用户可以通过该功能在手机拍摄过程中精准识别人物影像,并转化为各种风格的趣味视频。除此之外,模型还可以将画面中的背景、人物手持的物品等,稳定细致地转化为与画风调性相契合的背景和道具,让整体视频效果更自然协调。例如,用户手持圆盘形物品拍摄视频时,在油画风格的视频中,圆盘被识别并再创作为调色盘,而在赛博朋克风格中,圆盘则被定义并展示为一个盾牌。
以往在手机端的应用中,由于LoRA和基础模型绑定,切换不同艺术风格的LoRA时需要替换整个模型才能实现驱动,在实际视频拍摄中难以实时切换及加载。当应用中包含多种风格LoRA时,则需要占用大量内存,导致安装包对内存的要求为GB级别。现在,慧鲤结合NeuroPilot框架的lora fusion功能,将自主训练的多种艺术风格LoRA模型尺寸压缩至10MB级别,不同LoRA配合单个基础大模型使用,可以让用户在极短时间内随意切换,运行处理速度更加快捷,充分满足端侧AI用户的个性化体验需求。
激活生成式AI创作热度,抢滩AI自媒体时代
近年来,生成式AI在内容创作赛道的持续火热,内容创作者和消费者都在迫切呼唤更新颖、更前沿的应用体验。慧鲤端侧LoRA融合的应用成果,在“人人都是自媒体”的时代开启了更具想象力的创作空间。
在抖音、小红书等内容社交平台中,此前的手机拍摄创作玩法,主要以美颜滤镜、添加挂件等为主。端侧LoRA 融合带来的视频生成新玩法,为用户的内容灵感、拍摄风格提供了更多新选项,并极大提升创作效率。基于实时视频生成功能,用户在实时拍摄中可自由选择赛博朋克、水彩、油画、水墨、卡通等多种画风,拍摄结束后视频即时生成,元素丰富、高质高效,体验感极佳。
另外,在文旅等落地场景中,手机拍摄实时生成视频的应用前景更为广泛。创作者打卡过程中,仅需实地录制一个画面,即可通过该功能选项创作不同风格作品,任意穿越各种画风的异次元世界,为用户带来更多充满创意的沉浸式体验。
伴随着端侧生成式AI的发展,移动端AI赛道潜力正在充分显现。LoRA融合等技术的应用升级,将进一步挖掘AI在手机等端侧设备的应用潜力,并赋能各领域赛道选手加速入场,开拓更大的参与空间。作为大模型时代的探索家和建设者,慧鲤科技将继续加码技术赋能,为伙伴和用户带来更多前沿AI应用体验。
