继续研究火爆全网的DeepSeek,话说我将使用这个大模型(问答)归纳为几种方法:网络版、本机版以及本地网络版。
(插图由ChatGPT生成)
网络版的好处是随时随地可以,而且部署的是最新最强大的版本,不足之处嘛,据说由于DDoS攻击,现在访问还可以卡。(还有就是API应该是收费的)
本机版好处就是在本机上随时可用,缺点嘛,对电脑配置要求极高,而且没法部署满血的大模型,我在我的11代Intel NUC 上跑deepseek-r1:8b都卡得不得了。为了让我的机器多活几年,还是不在上边折腾了。(不过我打算回头在我的笔记本上折腾一下,毕竟它号称AIPC,看看是否就是个噱头)。
另外一个部署方法就是部署在家庭(或者小公司的)网络中的一台服务器上,然后家庭(或者公司)范围内的所有成员都可以访问,达到局域网共享使用的目的。我觉得相对而言,这种方法最适合不过啦。
所以,我用了两天的时间,终于把deepseek-r1多个版本部署到家里的Linux主机上,并安装了Open WebUI,实现了在任何一台电脑均可以通过web浏览器访问的目的。既方便了家庭成员的使用,又可以解放我工作用机(11代NUC的压力),一举多得。
下边将设置过程分享给大家,有需要的朋友自取哦。
安装
参考ollama Linux系统下手动安装教程:其中使用如下语句下载至本地
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
但是或许由于ollama.com路由的问题,或许是其它原因,下载超慢,预估完成时间要几十个小时,我可等不起。
于是选择在一台德国的VPS上使用如上语句下载,然后再通过scp复制到本地机器,下载搞定。
接下来是安装问题,官网上的代码是使用root权限将程序解压到/usr
目录:
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
不过我想在本地用户权限下运行和使用ollama,所以直接使用如下语句解压缩:
tar xzvf ollama-linux-amd64.tgz
解压完成后,会发现用户目录下多了两个子目录,bin
以及lib
分别是ollama可执行文件以及相关的依赖库。
使用
(执行source ~/.bashrc
或者退出重新登录用户,是bin目录被包含进相应的环境变量。)
安装完成之后,我们就可以使用ollama啦,比如查看帮助之类的都没问题啦。
ollama --help
上述指令返回如下信息:
不过若是直接像在Windows命令行里运行如下指令:
ollama run deepseek-r1:1.5b
就会得到如下错误提示:
Error: could not connect to ollama app, is it running?
我想了一下,它应该是先作为一个服务程序(或者后台程序)运行,然后才能给它发送指令。至于为何Windows下没用到这个步骤呢?我猜想是执行指令的同时启动了后台,看了一下Windows的任务管理器,果然如此。
好,既然知道了缘故,那就好解决了,先在一个窗口执行:
ollama serve
上述指令将启动服务程序,同时屏幕上可以看到一些输出,对我们了解ollama都做了哪些操作还是很有帮助的。
模型与问答
做好上述准备后,就可以开始下载模型,并问它问题啦。
另外一个新窗口中执行:
ollama run deepseek-r1:1.5b
如果系统中没有相应的模型,首先会去下载模型:
下载成功,就可以使用啦,让我先问它一个问题先:
>>> 如何计算圆周率?
最终给我的答复(思考过程过长,就不截屏了),哪位懂数学的大咖,给我看看它有没有在胡说八道?
继续下两个模型,14b回答问题的质量比1.5b要好很多(也不一定),但是反应要慢许多。
ollama run deepseek-r1:14b
再下一个编程助手(不过貌似编程水平还真不能恭维)
ollama pull deepseek-coder-v2
使用Open WebUI
完成上述工作后,就可以使用各种大模型进行问答了。不过实在受不了字符界面,而且还要ssh登录到主机上去。之前在Windows电脑上,我们用了Open WebUI,这里必须也整一个呀。
首先创建Python的虚拟运行环境,然后执行如下指令:
pip install open-webui
结果却提示如下错误:
ERROR: Could not find a version that satisfies the requirement open-webui (from versions: none)
ERROR: No matching distribution found for open-webui
这是怎么回事呢?找了半天,还是在Open WebUI PyPi找到了相关信息:
Open WebUI can be installed using pip, the Python package installer. Before proceeding, ensure you're using Python 3.11 to avoid compatibility issues.
而Ubuntu 22.04 LTS 默认的是Python 3.10,所以要升级一下Python,再重新创建一下虚拟环境,然后再执行上述安装指令,一切OK。
启动open-webui,就可以愉快地使用了:
open-webui serve
远程访问
等等,我好像忘掉了点什么?对呀,我不想登录服务器访问,无论是字符界面还是WebUI。
而open-webui serve
监听127.0.0.1
只能服务器本地访问,这岂不是白忙活了?别急,还有一些魔法,可以搞定这个事情,那就是启动open-webui
时,指定绑定地址和端口。
比如这样:
open-webui serve --host 192.168.1.88 --port 1234
其中192.168.1.88
是我家里服务器地址,这样操作以后,就可以在家里任意一台电脑上,通过如下网址,访问大模型进行问答啦。
http://192.168.1.88:1234
这回才真的可以愉快地使用了呢!
测试问答
我向DeepSeek问了小伙伴们普遍关心的问题,看看它如何回答:
它竟然直接拒绝了我!
不过,我非常有耐心,不回答是吧?不回答我就一直问:
看吧,功夫不负有心人,在我强烈猛攻下,DeepSeek终于给出的答案。怎么样,对于这个答案,小伙伴们满意嘛?有没有从中受到什么启发?
看看服务器资源占用情况,呃,有人累得冒烟,有人闲的长毛
同时问它几个问题,这样就很好,大家一起努力嘛
这样弄完之后,以后再用起来就方便多啦,也方便继续深入地研究和学习使用DeepSeek R1和其它各种模型,比如API调用等等。
哎,其实根本算不上学习和研究,充其量算是瞎折腾吧,AI时代已来,别被小伙伴们甩得太远就好。
哈哈这么多快速发财办法,一个我也做不来🙈🙈🙈🙈
同感😆
robots replacing humans
deepseek确实好用,它不像AI更像是和人在交流,很人性化的各种回复。
最近跟朋友聊天,说自己现在搜索都不用百度,抖音了,而是用AI,顿感自己变得高大上一样(^_^)
涨知识
既然家庭版大模型了!
其实可以考虑一下,搞一个多模态。然后接入家庭视频监控系统,进行长期跟踪学习。
目前,gihub方案很多,传统NLP也有,新一代多模态。也不少。
我已经见过有人用那玩意做房间失物追踪,房间物体摆放规划了。
这简直就是良师益友 棒棒哒😄
AI真的是大势所趋,我的很多朋友也都在用各种AI的APP。
厉害😃👍
好怕它把我取代了
我细细地读了两遍,DeepSeek真的回答得很好👍👍👍
我怎么感觉看后好焦虑呀,生活更难了😂,这ai适合你们高学历,学历越高,机会越多,还是要好好读书
我感觉我会更笨,都不想思考和记东西了
最近ds是我软件里使用时间最长的了 太好也了!我把它当聊天对象 当健身教练 当护肤专家 各种各样的角色扮演哈哈哈哈
👍🏻👍🏻