AMD出手了！首款小语言模型“Llama-135m”亮相

【ITBEAR】9月29日消息，AMD近期在Huggingface平台发布了其首款“小语言模型”AMD-Llama-135m，该模型拥有6700亿个token，并采用了Apache 2.0开源许可。这款模型的核心优势在于其“推测解码”功能，该功能通过小型草稿模型生成候选token，再经由大型目标模型验证，显著提升了效率并降低了RAM占用。

据悉，AMD-Llama-135m模型在四个AMD Instinct MI250节点上进行了六天的训练，而其特定于编程的变体AMD-Llama-135m-code则额外耗费了四天时间进行微调。这种训练方法使得模型能够在保持高性能的同时，每次前向传递生成多个token，从而实现了效率的显著提升。

通过这一创新，AMD展示了其在语言模型领域的实力，为开发者和研究人员提供了更多选择和可能性。