前言

在AI风潮席卷全球的今天,你是不是也幻想过拥有一个既能读懂你心思又能随时解答难题的超级AI小伙伴?别再羡慕电影中的科技大神了!今天,就让我们一起探索如何在Windows电脑上轻松部署Ollama和DeepSeek R1模型。通过开源神器Anything LLM和内网穿透工具cpolar,打造一个既会聊天又能助你学习的小帮手吧。忘掉那些繁琐的云服务器教程,让AI成为你的私人智能伙伴,开启全新的数字生活!

【视频教程】

本地部署DeepSeek结合Anything LLM打造智能AI知识库并实现远程访问

1. 本地部署Ollama+DeepSeek

如果没有安装Ollama与DeepSeek,可以查看这篇教程进行安装:《Windows本地部署deepseek-r1大模型并使用web界面远程交互》

简单来说就是访问Ollama的官网,下载适配你的操作系统的客户端,安装好之后用cmd打开Windows系统自带的终端界面:

image-20250205154055584

然后回到Ollama的官网,找到你想要下载的各种量级的模型对应的模型下载命令:

image-20250205154929276

比如我这里下载1.5b的轻量级deepseek模型,就在cmd终端中执行这个命令就能安装了:

ollama run deepseek-r1:1.5b

image-20250205155421941

现在我们就已经能够在本地Windows电脑上通过ollama正常使用deepseek-r1模型与AI进行聊天了!

2. 本地安装Anything LLM

下面我们访问Anything LLM的官网下载Windows客户端:

image-20250214175025469

下载后,双击应用程序进行安装:

07f5c4ee765ad2a6c71c509a63a3865

安装完毕后打开软件后,点击get started按钮进入使用界面:

0e95032c8c74b063f257acda4e8aefd

3. 配置与使用演示

第一步选择Ollama:

18e81eb80c92523130f3835a00d81a6

选择好之后,点击右侧的箭头,下方会出现选择使用哪个大模型的下拉框,我们可以在这里看到之前本地部署的deepseek-r1:1.5b模型,如果你本地还有其他模型,也会出现在这里。

e9c8598ef1d90254a2a796f9c3a3c12

下一步确认信息后,点击右侧箭头继续:

68bc9f5ab2f59a7a139b84ab8ce9839

现在我们需要创建一个工作区,并给它取个名字,输入后继续点击右侧箭头:

b064f9709aa4cf5a16c264bda22012a

在Anything LLM中配置好了大模型,并创建了一个工作区后就可以看到欢迎界面了:

8f4fbde1afe4bb0e32fc56c50c6d8ee

点击左下角的扳手(设置),我们可以对界面语言进行修改:

bd30b2c0a9b0cbfdce7c67ccb3120ce

设置好之后,点击同一位置的返回按钮,即可回到工作区,在下方的输入框中,就可以和大模型聊天了!

image-20250214180238948

如果我们需要上传文件或是图片等资料,点击工作区名称标签后的上传按钮即可打开上传界面:

image-20250214180343298

image-20250214180356490

除了支持多种文档类型(PDF、TXT、DOCX等),在上传按钮下方还可以直接粘贴网址,真的是非常方便又全面。勾选你要上传的文件,

image-20250214180627784

点击右下角的保存和嵌入按钮即可上传你的资料。通过Anything LLM管理超大文档时高效、低耗。只需要一次就可以嵌入(Embedding)一个庞大的文档或文字记录,比其他文档聊天机器人解决方案节省超多成本。

4. 远程调用大模型

在设置界面的LLM首选项中,我们能看到刚才选择的LLM提供商是ollama,下方是模型信息,最底部有ollama运行的地址和端口:

image-20250214181418643

如果我们想要在局域网内让其他的小伙伴也能远程使用Anything LLM调用ollama使用大模型进行聊天,那么我们需要进行对ollama进行一下环境变量设置!

打开cmd终端,执行下面两个命令:

setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"

然后点击电脑桌面右下角的ollama图标退出并重启服务:

image-20250214181632755

重新开启ollama服务后,同一局域网下的小伙伴在Anything LLM中将ollama的地址改为你的电脑IP加上端口号11434后,就能使用你在本地部署的大模型进行聊天或者上传文件训练了。

image-20250214181812873

5. 安装内网穿透

不过我们目前只能在本地局域网内多人使用Anything LLM远程访问大模型,如果想让异地好友、让更多人也能使用你在部署的deepseek大模型应该怎么办呢?很简单,只要安装一个cpolar内网穿透工具就能轻松实现远程访问内网主机中部署的服务了,接下来介绍一下如何安装cpolar内网穿透。

首先进入cpolar官网:

cpolar官网地址: https://www.cpolar.com

点击免费使用注册一个账号,并下载最新版本的cpolar:

img

登录成功后,点击下载cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

image-20240319175308664

cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到配置界面,结下来在WebUI管理界面配置即可。

img

接下来配置一下 Ollama 的公网地址,

登录后,点击左侧仪表盘的隧道管理——创建隧道,

  • 隧道名称:ollamads(可自定义命名,注意不要与已有的隧道名称重复)
  • 协议:选择 http
  • 本地地址:11434
  • 域名类型:选择随机域名
  • 地区:选择China Top

image-20250214182337230

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是http 和https:

image-20250214182427726

在Anything LLM的设置界面中使用上面的任意一个公网地址替换刚才IP加端口号的地址,点击右上角的保存按钮后,就可以实现异地远程访问本地部署的deepseek大模型聊天了!使用了cpolar的公网域名,无需自己购买云服务器,轻松搞定远程访问。

PS:如果替换地址后无法使用,退出重新启动一下Anything LLM即可

image-20250214182833710

image-20250214182913449

总结

为了方便演示,我们在上边的操作过程中使用cpolar生成的HTTP公网地址隧道,其公网地址是随机生成的。这种随机地址的优势在于建立速度快,可以立即使用。然而,它的缺点是网址是随机生成,这个地址在24小时内会发生随机变化,更适合于临时使用。

如果有长期使用Anything LLM远程访问本地部署的DeepSeek等大模型,或者异地访问与使用其他本地部署的服务的需求,但又不想每天重新配置公网地址,还想让公网地址好看又好记并体验更多功能与更快的带宽,那我推荐大家选择使用固定的二级子域名方式来配置公网地址。

6. 配置固定公网地址

接下来演示如何为ollama服务配置固定的HTTP公网地址,该地址不会变化,方便分享给别人长期访问你部署的大模型,而无需每天重复修改服务器地址。

登录cpolar官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留,保留成功后复制保留的二级子域名名称:

image-20250214183203609

保留成功后复制保留成功的二级子域名的名称:myolds,大家也可以设置自己喜欢的名称。

image-20250214183235128

返回Cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道:ollamads,点击右侧的编辑:

image-20250214183303391

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名:myolds

点击更新(注意,点击一次更新即可,不需要重复提交)

image-20250214183334129

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名:

image-20250214183411738

最后,我们在Anything LLM的设置界面中使用上面的任意一个固定的二级子域名公网地址替换刚才的随机公网地址,现在开始就不用每天都更换公网地址来远程访问本地部署的大模型了。

image-20250214183726909

现在是不是觉得离拥有自己的超级AI小助手又近了一大步?从安装Ollama到DeepSeek R1模型的部署,再到利用Anything LLM和cpolar实现远程访问与知识库搭建,整个过程不仅简单,还充满惊喜。如果你已经迫不及待想要动手试试了,那就别犹豫了,赶快按照步骤操作起来吧!遇到任何‘小怪兽’,记得在评论区喊我帮忙哦。祝你在这个AI新世界里畅游得更加自在,咱们评论区见!

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐