前几天在文章中推荐了DeepSeek AI这个大模型. 收到一条有意思的私信, 说有没有可以私有化部署的类似的大模型.

当然有, 其实还挺多. 我在这篇文章中就介绍一些.

繁荣的开源AI

自OpenAI发布其ChatGPT以来, 很长时间一直是专有模型占据主导地位. 当然, 就算到现在, 以OpenAI为首的专有公司的模型仍然是最强大并且占据TOP 1,TOP 2地位. 但这不代表开源没有发展.

事实上, 2024是开源模型大发展的一年, 其中以Meta开源LLama系列为最重要的代表, 开源的大模型迅速发展.

而国内也有类似阿里的QWen, 01万物的YI系列, 以及我上篇文章讲的DeepSeek等一众开源选择.

相比专有的AI大模型, 开源的AI大模型对于那些不信任SAAS服务或有私有化需求的群体来说, 是非常合适的.

编程类开源

同理, 也适应编程类AI大模型.

Github Copilot能力很强, 通义灵码免费, DeepSeek API很便宜. 对, 这些都是事实, 但关键的一个点是: 它不足够安全

总有需要开源的场景, 编程类AI同理. 特别是你的代码或工作的保密级别较高, 又想要一个AI小助手, 那开源类的AI模型就是你的首选了.

这里列一些开源类的编程AI大模型

• Code Llama

• DeepSeek Coder

• StarCode

• YI Coder

• CodeQwen

其实需要说明一下, 所谓的编程类AI大模型, 本质上其实是在一些通用类的大模型的基础之上,用专门的代码类数据进行训练或微调而来的.

所以,你会看到很多类似CodeLlama这种从名字上一看就知道它是基于Llama模型基础之上再训练而来的.

Code Llama

Meta公司开源的. 基于Llama 2之上的编程类AI模型. 理所当然, 能力上也会非常出色.

Code Llama有7B/13B/70B等不同参数级别的模型.你可以按需选择你需要的.

DeepSeek Coder

好吧, 好像又介绍到DeepSeek Coder了, 但此DeepSeek Coder非上篇文章中讲的.

DeepSeek的模型都有开源出来, 它的Coder模型同理. 如果你不喜欢它的API服务, 可以考虑部署使用它的开源模型.

但需要注意的是, 开源的参数与在线API的并不一致. API提供的是236B的模型.而开源的DeepSeek Coder只有1.3B, 6.7B以及33B几个级别.是妥妥的小模型.

StarCode

StarCode是国外的一个模型。它基于最新的Transformer架构，旨在提供高效且准确的代码生成和补全功能。

StarCode的独特之处在于其轻量级的设计，使其能够在资源有限的设备上高效运行，同时保持较高的代码生成质量,

StarCode有StarCode和StartCode2两个不同的模型, 其中最新的StarCode2有3B/7B两个参数级别. 同样都是小模型.

YI Coder

9月份才刚出的新模型,李开复的01万物公司的编程模型. 因为是最新出不久, 所以在同等级参数大小中, 表现可能属于非常优秀的.

有1.5B和9B两个级别的参数.

CodeQwen

CodeQwen这名字一看就知道是基于阿里的QWen的编程AI模型。

CodeQwen的模型参数有7B和14B两个版本，可以看到, 开源版本的参数也同样是比较小的.

选择与考量

相比较专有的API类型的大模型, 选择开源的模型的考量因素主要是:

1. 编程能力

不管开源,还是专有的AI大模型,选择辅助编程的AI大模型,总归首要考虑因素还是得能力. 虽然开源的总体上来说,参数小,能力会比专有的差一些. 但其中也有能力表现较好的.

还是以前所说的,这种能力好坏,除了你自己的使用评价外, 更多的还是要参照LiveCodeBench这样的专业机构的测评.

2. 安全与私有

开源的大模型, 意味着你可以在自己的环境私有化搭建一套, 比如上述编程类AI大模型, 基于安全的考虑, 私有化部署一套是比较好的选择.

3. 参数大小

专有的在线API类型的大模型, 因为其背后强大的硬件资源, 通常都属于参数量大的版本.

比如DeepSeek在线的API后面的模型的参数量是236B, 而上述列举的一些开源类的, 除了CodeLlama有70B的版本, 大多都属于小型参数AI.

参数低, 通常大致可以断定它的能力是比不上高参数的版本的.

4. 成本

部署AI最大的问题可能就是成本. 在国内这个问题更加突出.因为连4090消费级显卡在国内都是禁售. 虽然你可以买到, 但成本相当高.

其实我个人并不主张程序员个人或小团队去选择上述私有化的编程AI大模型, 因为相比较下来,成本非常高.

个人大多没有这个实力去部署私有化的AI模型. 能部署的也是上述中一些类似9B这一类小参数模型.

最后

当然, 我也不认为有多少公司或团队,会愿意为下面的编程人员去专门考虑部署一个私有的,安全的AI编程模型.

所以对大多数程序员来说, 如果不是涉及非常保密或安全性非常高的代码, 选择DeepSeek AI这一类的在线编程模型是最划算也最可取的.

但这并不代表我们不需要去了解有哪些可以选择的开源的版本. 毕竟随着AI的不断发展, 开源的模型能力会越来越强大,部署的成本也会越来越低.

AI大模型学习福利

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

四、AI大模型商业化落地方案

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。