在科技界的瞩目下,meta公司在首届LlamaCon大会上不仅推出了独立的AI应用,还解锁了一项重要资源——Llama API,目前正以免费预览模式面向全球开发者开放。
据悉,Llama API为开发者提供了测试最新模型的机会,包括备受期待的Llama 4 Scout和Llama 4 Maverick。为了简化开发流程,meta公司特别设计了一键API密钥创建功能,并配备了轻量级的Type和Python SDK。这些举措使得开发者能够迅速上手,无需繁琐的配置。
更为贴心的是,Llama API完全兼容OpenAI SDK,为那些计划从OpenAI平台迁移应用的开发者提供了极大的便利。这意味着他们可以在不改变原有开发习惯的前提下,轻松切换至Llama API,享受meta带来的技术红利。
为了进一步提升Llama API的性能,meta携手Cerebras和Groq两大技术巨头展开合作。Cerebras宣称,其Llama 4 Cerebras模型的tokens生成速度高达2600 tokens/s,这一速度远超传统GPU解决方案,如NVIDIA,达到了18倍的领先优势。
根据Artificial Analysis的基准测试数据,Cerebras的这一速度不仅超过了ChatGPT的130 tokens/s,更是DeepSeek的25 tokens/s的数十倍之多。Cerebras的CEO兼联合创始人Andrew Feldman对此表示:“我们非常自豪能够让Llama API成为全球最快的推理API。在构建实时应用时,开发者对速度有着极高的要求,Cerebras的加入使得AI系统的性能达到了GPU云无法比拟的高度。”
而Groq提供的Llama 4 Scout模型虽然速度略逊于Cerebras,但也达到了460 tokens/s,相比其他GPU方案快了4倍。在费用方面,Groq上的Llama 4 Scout每百万tokens输入费用为0.11美元,每百万tokens输出费用为0.34美元;而Llama 4 Maverick的对应费用则分别为0.50美元和0.77美元。这些数据显示出Groq在提供高性能的同时,也保持了较低的成本。
此次meta推出的Llama API及其与Cerebras和Groq的合作,无疑为AI领域注入了新的活力。随着技术的不断进步和成本的进一步降低,AI应用将更加广泛地渗透到各个领域,为人类社会的发展带来前所未有的变革。