在AI行业的激烈竞争中,一家名为MiniMax的公司在近期发布了一项引人注目的成果——MiniMax-01系列模型。这款模型在参数规模上突破了4000亿大关,并且采用了创新的线性Attention机制,使其能够高效处理长达400万token的上下文,这一成就让其在全球范围内独树一帜。
然而,这项技术的背后却隐藏着一个与游戏行业紧密相关的故事。MiniMax-01模型的核心架构——Lightning Attention,其理论基础竟源自一位在心动公司TapTap增长和商业化部门(IEM)AI团队工作的算法研究员秦臻。
秦臻的研究在近年来不断取得突破,他的论文从2022年至2024年持续更新,为MiniMax的模型提供了重要的理论支撑。这一成果不仅让AI大模型的“记忆”能力显著提升,而且成本相比GPT-4降低了10倍,引起了海外业界的广泛热议和赞誉。
令人惊讶的是,秦臻并非来自专业的AI创业公司,而是在心动公司的TapTap部门担任算法研究员。这一发现引发了人们对心动公司AI团队的好奇和关注。心动公司虽然并非以AI为主业,但其对AI技术的探索和投入却显得颇为超前和包容。
据秦臻透露,他在上一家公司小组解散后,曾考虑过多家大厂的机会,但最终选择了心动公司。他看中的是心动提供的宽松自由的研发氛围和相对充足的算力资源。尽管与业务关联不大,但心动公司依然支持AI团队的探索性研究,为秦臻提供了宝贵的研发环境。
心动公司TapTap IEM AI算法组的Leader赖鸿昌表示,公司一直抱着长期主义的态度看待AI技术,鼓励团队进行探索性尝试。这种包容和支持的环境最终促成了秦臻在线性Attention方向上的突破。
秦臻的研究成果不仅为MiniMax的模型提供了理论支持,也让他在学术界和工业界获得了广泛的认可。他的多篇论文被发表于顶级期刊,并被持续研究相关技术的团队引用和发扬光大。
通过与秦臻和赖鸿昌的交流,我们深刻感受到,重大的技术突破往往需要耐心、包容的环境和长期主义的坚持。正如秦臻所说:“如果你做的事真的很有价值,最后一定会有它被用上的一天。”
心动公司的AI团队正是这样一个坚持探索、勇于尝试的典范。他们虽然身处游戏行业,但对AI技术的热情和投入却毫不逊色于专业的AI公司。这种跨界融合的精神,或许正是未来技术创新的重要驱动力。