【ITBEAR】meta公司近日宣布，已正式开源其专为智能手机设计的小语言模型MobileLLM家族。此次发布不仅包含了该模型家族，还新增了600M、1B和1.5B三种参数版本，以满足不同需求。相关项目已在GitHub上公开，供开发者访问与参考。
据meta研究人员介绍，MobileLLM模型采用了创新的精简架构，并引入了“SwiGLU激活函数”和“分组查询注意力机制”，这些技术使其在保持高效运行的同时，也能展现出优异的性能表现。
在训练速度方面，MobileLLM模型同样表现出色。研究人员表示，在配备32颗Nvidia A100 80G GPU的服务器环境下，训练1万亿词的MobileLLM模型时，1.5B版本仅需18天即可完成，而较小的125M版本则只需3天。这一速度相较于同类模型而言，无疑是一个显著的优势。
在实际应用中，MobileLLM模型也展现出了强大的实力。据悉，MobileLLM 125M和350M两款模型在零样本常识理解任务中的准确率，分别比Cerebras、OPT、BLOOM等业界领先的模型高出了2.7%和4.3%。这一成绩充分证明了MobileLLM模型在自然语言处理领域的优异性能。
当将MobileLLM-1.5B与业界其他参数量更大的模型进行比较时，其表现同样令人瞩目。在结果测试方面，MobileLLM-1.5B据称领先了包括GPT-neo-2.7B、OPT-2.7B、BLOOM-3B以及Qwen 1.5-1.8B等在内的多款大型模型。
meta此次开源的MobileLLM模型家族无疑为自然语言处理领域带来了新的突破。其精简的架构、高效的训练速度以及出色的性能表现，都使得该模型在未来有着广阔的应用前景。
