【ITBEAR】科技界迎来一项重大进展，英伟达在AI模型训练领域取得了突破性成就。该公司最新发布的Normalized Transformer（nGPT）架构，在保持模型稳定性和准确性的同时，大幅缩短了训练时间，最高可达原来的二十分之一。
nGPT架构的核心在于“超球面学习”概念，通过将关键组件映射到超球面表面，确保模型各层在训练中的平衡，从而创造更稳定高效的学习过程。
与传统的GPT模型相比，nGPT在速度和效率上均表现出色。在OpenWebText数据集测试中，nGPT对于长达4000个tokens的文本输入，所需训练轮次远少于传统模型。
nGPT还将归一化和表示学习结合成一个统一框架，简化了模型架构，便于扩展和适应更复杂的混合系统。这一创新设计有望为AI系统的发展带来新的突破。
