
DeepSeek+Ollama+Onit,工作效率大幅度提升!
要说近期最火的大模型,肯定非DeepSeek莫属了,有一种当初ChatGPT横空出世时的一种感觉,当初ChatGPT刚火的时候,朋友圈充斥着各种贩卖焦虑,绑定大模型做概念,然后各种卖课割韭菜的。
📝 面试求职: 「面试试题小程序」 ,内容涵盖 测试基础、Linux操作系统、MySQL数据库、Web功能测试、接口测试、APPium移动端测试、Python知识、Selenium自动化测试相关、性能测试、性能测试、计算机网络知识、Jmeter、HR面试,命中率杠杠的。(大家刷起来…)
📝 职场经验干货:
要说近期最火的大模型,肯定非DeepSeek莫属了,有一种当初ChatGPT横空出世时的一种感觉,当初ChatGPT刚火的时候,朋友圈充斥着各种贩卖焦虑,绑定大模型做概念,然后各种卖课割韭菜的。
时间过去几个月后,热度慢慢降下来了一些,近期随着DeepSeek的爆火,朋友圈又出现了很多类似的内容,不得不说,嗅觉真的都挺敏锐的。
至于那些所谓的贩卖焦虑、AI+赚钱方式,我没有丝毫兴趣,我所关注的更多是理解它是什么,以及在自己生活和工作中怎么发挥它的作用,进而提升我的效率。
这两年也算是大模型工具的深度使用者了,对比了很多,不得不说DeepSeek的效果和推理能力真是不错。
可惜的时,每天还没问几个问题就开始“服务器繁忙”,无奈之下,我开始考虑本地化部署一下。
解决了服务不可用问题,也体验了有几天了。怎么说呢?就像当初ChatGPT刚出来时我的判断一样,如果仅仅是把它当成一个单点对话问答工具,它的价值很难被发挥出来,只不过改变了我们传统的获取知识方式。
回到生活和工作场景,单纯的对话问题还是没有形成一个流程的工作链条,这就大大限制了它的价值体现。
这两天在Github上发现一款名为Onit的工具,经过一番体验之后让我有一种惊喜的感觉。
可以这么理解,Onit的核心作用是通过一种友好的方式把大模型能力和我们的工作流串联到一起。
为了方便大家理解,我简单画一个图:
简单来说就是3层:
-
基础模型:例如DeepSeek、通义千问等
-
通用服务工具:用于构建、训练和部署机器学习模型的工具或平台,专注于简化模型开发流程并提高效率
-
工作场景
现在在大模型服务和具体工作场景之间主要还是app、web、api几种方式,需要用户遇到问题时被动的去用对应的方式获取自己想要的信息,这样效率比较低。
而Onit就是解决了这个问题,它以我们日常频繁会触发的动作主动建立大模型和工作流之间的关系,从而提升效率,例如,框选内容、监控活动窗口。
先来看一下效果。
框选内容
框选电脑上任何一款应用内容的文字、代码,它会自动监控高亮部分的内容,然后就可以根据我们的需求进行内容解释、问题解决。
监控活动窗口
它还可以自动监控当前活动的窗口,然后通过OCR能力识别窗口内的关键信息,进而结合大模型的能力给我们需要的信息。
现在已经看到效果了,那该怎么配置呢?下面介绍一下。
第一步:下载安装Ollama
Ollamaollama.com/
前面介绍了,Ollama是一个通用的大模型服务平台和工具,主要用于构建、训练和部署机器学习模型的工具或平台,核心功能是简化模型开发流程并提高效率。
换句话说,以往我们想部署并且使用大模型,需要去Github上克隆代码,然后调整源代码,再经过一些调试之后才能够执行,Ollama把这些问题统统给解决了,我们只需要一行命令就可以自动拉取大模型的参数并且对其进行管理。
安装之后使用也很简单,在Ollama的Models模块,搜索想要的模型,然后选择对应的参数,然后复制命令在终端下执行就行,它就会自动拉取模型参数并且启动服务。
第二步:启动Ollama服务
到这个阶段,Ollama和DeepSeek打通了,下一步就是建立Onit和Ollama之间的关系。
Onit可以通过http服务的方式访问Ollama提供的本地大模型服务能力,上面执行了ollama run命令之后,会启动一个对话界面,我们需要启动一个http服务,我们可以通过下面命令启动一个服务:
ollama serve &
这样的话它就在启动一个11434端口的服务。
第三步:使用Onit
https://www.getonit.ai/www.getonit.ai/
下载安装Onit启动,在Models标签拉到最下面,输入对应的域名和端口,然后选择模型。
接着,在Context里打开「Enable Auto-Context」,这样的话它就可以自动识别工作过程中框选的内容,或者监控活动窗口了。
另外补充一下,Onit是完全开源免费的,所以不用担心收费的问题,不过也有一个不足,目前只适用于Mac电脑。
感兴趣的同学可以试一下~
最后: 下方这份完整的软件测试视频教程已经整理上传完成,需要的朋友们可以自行领取【保证100%免费】
更多推荐
所有评论(0)