ITBear旗下自媒体矩阵:

春节我把DeepSeek装电脑,离线AI虽不完美却乐趣满满

   时间:2025-02-07 17:21:52 来源:ITBEAR编辑:快讯团队 发表评论无障碍通道

在刚刚过去的春节假期,一款名为DeepSeek的科技产品成为了众多家庭热议的焦点,甚至吸引了那些平时对科技新闻不太关注的长辈们的注意。自OpenAI的ChatGPT之后,DeepSeek再次展现了AI大模型深入人心的魅力。

然而,大红大紫的背后,DeepSeek也遭遇了连续且高强度的网络攻击,导致其官网大部分时间无法正常生成内容。即便关闭了联网搜索功能,具备深度推理能力的DeepSeek-R1在线模型也依然难以正常使用。幸运的是,在华为等众多科技公司的支持下,第三方平台纷纷接入了DeepSeek的API,使得稳定在线使用成为可能。

尽管如此,仍有不少科技爱好者追求更高层次的体验,他们希望将DeepSeek大模型部署到本地。小雷便是其中之一,他在春节期间动手实践了这一想法。

想要在个人电脑上部署一个本地大模型,步骤并不多,但难点在于寻找对应的资源和命令。本地大模型虽然已经是训练好的成品,但仍需要一定的硬件基础才能提供良好的体验。小雷选择了DeepSeek-R1模型中的7b版本,即带有70亿参数的DeepSeek-R1模型,占用空间为4.7GB。

他首先到Ollama官网下载了一个桌面端应用,这个应用相当于一个承载本地大模型的“盒子”。在Ollama官网的模型库中,他找到了DeepSeek-R1模型的代码,并复制到PowerShell中执行,从而拉取和安装了模型数据。安装完成后,他就可以在PowerShell窗口中直接调取刚下载的DeepSeek-R1模型,输入问题后,本地大模型便会进行推理并生成答案。

然而,每次开启电脑都需要打开PowerShell界面才能激活大模型,这对于普通用户来说并不方便。于是,小雷为DeepSeek-R1安装了一套更直观的交互界面。他选择在Docker应用上添加一个Open-WebUI组件,使得DeepSeek-R1可以通过浏览器界面进行交互,并赋予了它联系上下文的能力。

经过一番操作,小雷成功地将DeepSeek-R1部署到了本地,并获得了一台带有AI本地大模型的“AI电脑”。他体验了整个部署过程,发现步骤并不复杂,主要是搜索命令行、安装资源和拉取安装组件花费了较多时间。

那么,本地部署大模型的意义何在呢?小雷认为,关键在于两点:一是本地大模型的所有模型数据和对话记录都是完全离线的,存储在本地,本地推理响应时间更快,也避免了敏感内容泄露。同时,在无网络环境下,也可以正常使用大模型;二是本地部署支持各种开源模型,个人用户可以灵活扩展和切换,也可以根据自身需求进行优化和工具集成。

不过,小雷也指出,本地大模型的生成能力并不如云端版。他使用的电脑配置并不在本地部署大模型的推荐范围内,因此DeepSeek-R1 7b模型在这款电脑上需要更多的推理时间和资源占用才能正常生成内容。对于一些复杂的问题,本地大模型可能需要思考几十秒甚至一分钟才能进入答案生成阶段。

尽管如此,小雷仍然对DeepSeek拟人化的思考过程感兴趣。他认为,这种拟人化的推理过程能够激起许多普通用户的兴趣。相比之下,网页端的DeepSeek大模型在密集访问下可能会出现“服务器繁忙”的情况,而本地部署则至少能够保证访问。

然而,小雷也承认,本地大模型并不适合所有人。就现阶段的生成能力来说,本地大模型很难与线上大模型媲美。它更适合动手能力强的电脑用户折腾,深度发掘可能会带来一些功能上的便利。但作为普通用户,部署本身并不容易,大模型的周边配套也并不成熟。

在小雷看来,DeepSeek选择开源道路,主要是为了打响市场影响力,先行占据市场地位。随着DeepSeek在各行业的应用和渗透,个人本地部署的需求可能会变得更加简单。到那个时候,调起PowerShell界面、敲代码等事情甚至都不需要用户来做。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version