在人工智能领域，一场关于模型规模的变革正在悄然发生。长久以来，科技巨头们竞相追逐庞大语言模型的开发，但如今，小型语言模型（SLM）正逐步崭露头角，挑战着“规模越大越好”的传统观念。
据ITBEAR了解，8月21日，微软和英伟达分别发布了其最新的小型语言模型——Phi-3.5-mini-instruct和Mistral-NeMo-Minitron8B。这两款模型因在计算资源使用和功能表现之间找到了良好的平衡点而备受瞩目，在某些方面的性能甚至能与大型模型相媲美。
人工智能初创公司Hugging Face的首席执行官Clem Delangue指出，高达99%的使用场景都可以通过SLM来解决，并预言2024年将是SLM的崛起之年。据统计，包括meta、微软、谷歌在内的科技巨头今年已经发布了多达9款小型模型。
SLM的兴起并非偶然现象，而是与大模型（LLM）在性能提升与资源消耗方面面临的挑战密切相关。AI初创公司Vellum和Hugging Face今年4月发布的性能比较显示，顶级LLM之间的性能差距正在迅速缩小，特别是在特定任务中，如多项选择题、推理和数学问题，模型之间的差异极小。
Uber AI的前负责人Gary Marcus指出：“尽管普遍认为GPT-4相比GPT-3.5有所进步，但此后的一年多里并未出现质的飞跃。”与有限的性能提升相比，LLM的训练成本却在不断攀升。这些模型需要海量数据和数以亿计甚至万亿个参数，导致了极高的资源消耗。训练和运行LLM所需的计算能力和能源消耗令人咋舌，小型组织或个人难以参与核心LLM的开发。
国际能源署估计，到2026年，数据中心、加密货币和人工智能相关的电力消耗将大致相当于日本全国的用电量。OpenAI首席执行官阿尔特曼曾表示，训练GPT-4的成本至少为1亿美元，而Anthropic首席执行官Dario Amodei预测，未来训练模型的成本可能高达1000亿美元。
此外，使用LLM所需的工具和技术的复杂性也增加了开发人员的学习曲线。从训练到部署，整个过程耗时漫长，减缓了开发速度。剑桥大学的一项研究显示，公司可能需要90天或更长时间才能部署一个机器学习模型。LLM的另一个重大问题是容易产生“幻觉”，即模型生成的输出看似合理，但实际上并不正确。这是由于LLM的训练方式是根据数据中的模式预测下一个最可能的单词，而非真正理解信息。
面对LLM的巨大能源需求以及为企业提供更多样化AI选项的市场机会，科技公司逐渐将注意力转向了SLM。不论是AI初创公司如Arcee、Sakana AI和Hugging Face，还是科技巨头，都在通过SLM和更经济的方式吸引投资者和客户。
此前，谷歌、meta、OpenAI和Anthropic都发布了比旗舰LLM更紧凑、更灵活的小模型。这不仅降低了开发和部署的成本，也为商业客户提供了更便宜的解决方案。鉴于投资者越来越担心AI企业的高成本和不确定的回报，更多的科技公司可能会选择这条道路。即便是微软和英伟达，如今也先后推出了自己的小模型（SLM）。
SLM是LLM的精简版本，具有更少的参数和更简单的设计。它们需要更少的数据和训练时间，只需几分钟或几小时。这使得SLM更高效，更易于在小型设备上部署。例如，它们可以嵌入到手机中，而无需占用超算资源，从而降低成本，并显著提升响应速度。
SLM的另一个主要优势是其针对特定应用的专业化。SLM专注于特定任务或领域，这使它们在实际应用中更加高效。例如，在情绪分析、命名实体识别或特定领域的问答中，SLM的表现往往优于通用模型。这种定制化使得企业能够创建高效满足其特定需求的模型。SLM在特定领域内也不易出现“幻觉”，因为它们通常在更窄、更有针对性的数据集上训练，这有助于模型学习与其任务最相关的模式和信息。
