【ITBEAR科技资讯】07月13日消息，外媒Semianalysis最近对OpenAI于今年3月发布的GPT-4大模型进行了深度揭秘。据他们透露，GPT-4在架构和参数方面有着显著的提升，以及采用了混合专家模型(Mixture of Experts)的构建方式。
据悉，GPT-4采用了混合专家模型，这种模型利用数据进行训练，将多个模型分别训练后，将它们的输出整合为一个单独的任务。为了保持合理的成本，OpenAI选择了这种方式进行构建。GPT-4总共有120层，包含了1.8万亿个参数，相比之下，GPT-3只有约1750亿个参数，可见其在规模上的巨大提升。
GPT-4使用了16个混合专家模型，每个模型拥有1110亿个参数，并且每次前向传递路由都会经过两个专家模型。此外，它还拥有550亿个共享注意力参数。为了进行训练，OpenAI使用了一个包含13万亿个tokens的数据集，这些tokens并非唯一，而是根据迭代次数计算出更多的tokens。
据ITBEAR科技资讯了解，GPT-4在预训练阶段的上下文长度为8k，32k版本则是对8k版本的微调结果。然而，GPT-4的训练成本非常高昂。根据外媒报道，即使使用了8倍H100物理机，也无法以每秒33.33个token的速度提供所需的密集参数模型。据估算，一次GPT-4的训练成本高达6300万美元(约4.51亿元人民币)。
为了降低训练成本，OpenAI选择在云端使用A100 GPU进行模型训练，最终将训练成本降低至大约2150万美元(约1.54亿元人民币)，尽管需要更长的时间来完成训练过程。这一举措在一定程度上减轻了训练成本的压力。
