在探索人工智能应用的征途中,个人和企业时常面临一系列挑战,如技术壁垒、模型选择局限性、数据处理繁琐、团队协作不畅以及部署周期长等问题。为解决这些难题,一站式解决方案应运而生,它集多模型兼容性、高效数据处理和多用户协作能力于一身,为用户带来前所未有的便捷。基石智算CoresHub,凭借其高度标准化的平台与应用集成,为用户提供了一个灵活且易于使用的开发环境,使他们能够迅速获取所需模型和AI应用。
以青云科技旗下的AI算力云——基石智算大模型服务中的DeepSeek-V3为例,本文将详细介绍如何在AnythingLLM中调用该模型,并成功部署自己的AI应用。AnythingLLM作为一款即用型的一体化AI工具,集成了RAG(检索增强生成)和AI代理等功能,无需编写代码或处理复杂的基础设施,即可快速构建私有知识库和智能问答系统。
AnythingLLM的亮点功能包括:支持云端、本地及自托管等多种部署方式;提供多用户协作功能,适用于企业知识管理和客户支持场景;兼容OpenAI、Anthropic、LocalAI等主流大模型;支持Weaviate等向量数据库;可处理PDF、TXT、DOCX等多种文件格式;以及结合LLM响应缓存和对话标记功能的实时网络搜索,为用户提供高效的文档管理和智能问答体验。
要开始使用DeepSeek-V3模型,首先需要获取API密钥和域名。用户需注册并登录基石智算平台,导航至“产品与服务”>“大模型服务”>“大模型服务平台”,然后在左侧导航栏选择“API密钥管理”创建并获取API密钥。若平台内已有可用密钥,用户可直接复制。接下来,在左侧导航栏选择“在线推理服务”,点击目标模型卡片页中的“API文档”,即可查看预置模型的API服务接口路径,即API域名。
接下来是安装和使用AnythingLLM。用户需访问AnythingLLM官网,下载并安装适用于自己操作系统的客户端。安装完成后,首次启动客户端并点击“开始”。进入LLM偏好配置页面,在“大语言模型供应商(LLM Poviders)”中选择“Generic OpenAI”,并配置各项参数,包括Base URL(使用智算平台上的预置模型API域名,无需修改)、API Key(从获取API密钥中复制的完整密钥)、Chat Model Name(本例中为DeepSeek-V3,如需使用其他模型,可在智算平台的在线推理服务页面复制相应模型名称)。其他参数可根据实际情况调整。完成所有配置后,输入Workspace工作区名称,即可进入主界面开始对话。
在工作区界面中,用户可以通过点击上传按钮,上传文件并将其移动至工作区,从而加载到AnythingLLM的本地知识库中。点击“Save and Embed”完成配置。当提示“Workspace updated successfully”时,表示知识库配置已完成。之后,用户可以在工作区界面中点击“New Thread”开启新的对话,并在聊天区域中提问,AI大模型将根据知识库中的内容进行回答。
对于非首次使用AnythingLLM的用户,如需修改大模型供应商或所使用的模型,可以在工作区界面中点击设置按钮,在设置页面选择“人工智能提供商”>“LLM首选项”,然后修改相应的模型配置参数即可。