【ITBEAR】彩云科技发布全新AI模型架构DCFormer,颠覆传统Transformer模式
在AI技术日新月异的今天,彩云科技凭借其独创的DCFormer模型架构,成功引领了AI领域的新一轮技术革新。近日,该公司在北京总部盛大发布了基于这一架构的通用大模型——云锦天章,标志着AI技术进入了一个全新的发展阶段。
据悉,云锦天章模型不仅在虚构世界观构建方面表现出色,更赋予了小说人物编程、数学等基础能力。它能够高速处理大量文字,实现扩写、缩写以及文章风格的大容量更换,同时还兼备了问答、数学、编程等多种基础功能。
云锦天章与市面上常规大模型的最大差异在于其底层模型架构。彩云科技通过改进注意力矩阵,使得DCFormer架构在相同训练数据下,能够将算力智能转化率提升至Transformer的1.7到2倍,这一突破性的进展无疑将大大提升AI模型的运行效率。
DCFormer架构并非与现有的Transformer架构互斥,而是在其基础上进行改进,因此所有基于Transformer架构的大模型都能在DCFormer的基础上实现成本降低,这一特性无疑将进一步推动AI技术的普及和应用。
彩云科技在AI领域的创新成果已经得到了国际学术界的高度认可。今年5月,关于DCFormer架构的研究论文在第41届国际机器学习大会ICML 2024上正式发表,该会议是国际机器学习领域的顶尖盛会之一。同时,彩云科技还将DCFormer的模型代码、权重和训练数据集在Github上全部开源,以供全球开发者共同研究和进步。
彩云科技之所以选择另辟蹊径研发DCFormer架构,源于对AI能源消耗问题的深刻认识。公司CEO袁行远在接受采访时表示,改善模型底层架构以提高效率是应对AI能源挑战的最佳策略。通过提升模型效率,不仅可以降低人工智能升级迭代的成本,还能加速AI时代的到来。
尽管DCFormer架构在技术上取得了显著突破,但彩云科技在商业化方面仍保持着谨慎态度。目前,公司旗下已有三款面向C端用户的AI产品在全球市场取得了不俗的业绩,实现了超过1000万美元的年度经常性收入。而最新一轮的融资更是由快手前CEO宿华个人投资,投前估值高达1.2亿美元。
据悉,彩云科技对DCFormer架构的研究及应用开发将主要服务于自身业务。未来,随着技术的不断进步和应用场景的不断拓展,我们有理由期待彩云科技在AI领域创造更多的奇迹。