【ITBEAR科技资讯】3月31日消息，近日，Databricks发布了一款全新的通用大语言模型DBRX，被誉为“当前最强开源AI”。据悉，在各种严格的基准测试中，该模型的表现均超越了“市面上所有的开源模型”。
DBRX是一款基于Transformer架构的大语言模型，它采用了先进的MoE(Mixture of Experts)技术，并配备了惊人的1320亿个参数。更该模型在庞大的12T Token源数据上进行了深入的预训练。
据ITBEAR科技资讯了解，研究人员对DBRX进行了全面的测试。与LLaMA2-70B、Mixtral、Grok-1等市场上主流的开源模型相比，DBRX在语言理解(MMLU)、程式设计(Humaneval)以及数学逻辑(GSM8K)等多个关键基准测试上均展现出了卓越的性能。DBRX在上述三项基准测试中的表现甚至超越了行业巨头OpenAI的GPT-3.5。
Databricks AI部门副总裁Naveen Rao向知名科技媒体TechCrunch透露，DBRX的研发过程历时两个月，并投入了高达1000万美元的成本。虽然DBRX在各项测试中取得了令人瞩目的成绩，但目前该模型仍需要使用四块英伟达H100 GPU才能运行，这意味着在未来仍有进一步的优化空间。
