DeepSeek大模型边缘部署与应用——从技术革命到产业落地，重构智能未来

基于RKNN的本地大模型服务实现智能语音问答RKNN，即Rockchip Neural Network，是瑞芯微电子公司推出的一款深度学习模型开发和运行框架。DeepSeek大模型与M-Lab平台的深度融合，标志着AI技术从“云端高塔”走向“边缘战场”。无论是制造企业的实时质检、教育机构的智慧教研，还是基层政务的智能服务，边缘部署正在消除算力、成本、安全三大门槛，让顶尖AI能力成为触手可及的生产力

Python蛋挞

1479人浏览 · 2025-03-28 23:34:05

Python蛋挞 · 2025-03-28 23:34:05 发布

DeepSeek大模型边缘部署与应用——从技术革命到产业落地，重构智能未来

DeepSeek

从“爆火出圈”到“行业重构"

2025年，DeepSeek以“技术普惠+开源战略”双轮驱动，成为全球AI领域现象级标杆。从“爆火出圈”到“行业重构”，其核心在于三大颠覆性突破：

技术代差突破：

自研MoE架构与改造注意力算子、压缩KV缓存等技术，使AI训练成本下降，打造出全球首个推理成本比OpenAI-o1便宜27倍的R1模型（百万token仅0.14美元），让大模型推理从“奢侈品”变为“日用品”。

生态范式重构：

DS-V2/V3/R1全栈开源策略（算法、模型、训练细节）引爆开发者生态，GitHub星标数突破10万+，催生3000余个行业解决方案，覆盖农业、教育、政务等20+领域。

国际格局重塑：

中国超算互联网平台免费开放DeepSeek模型，推动国产算力（华为昇腾/寒武纪）市占率提升15%；而美国联合多国发起的“安全调查”，侧面印证其技术威胁力。

DeepSeek大模型体现的卓越性能、低成本高效推理及开源策略的特点，具备了技术的普惠性，用户可以直接基于DeepSeek模型快速构建大模型智能化应用，享受AI技术进步带来的红利。

DeepSeek大模型版本对比

图片2.png

DeepSeek

大模型的“边缘大脑”：边缘智能应用实验平台

边缘智能应用实验平台1.0

边缘智能应用实验平台2.0

新大陆时代科技推出的边缘智能应用实验平台，不仅面向人工智能等相关专业进行学科基础知识和专业技术教学，通过人工智能技术教学分解与典型行业案例进行实战，而且是DeepSeek大模型落地的核心载体，目前都已支持DeepSeek本地化部署。

通过平台提供的模型接口服务，可以进行视觉、生物特征识别的二次开发实训。基于TensorFlow、Caffe等框架，进行数据预处理、模型构建、模型训练，通过工具链将模型部署至核心开发板。

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

边缘智能应用实验平台对比

图片3.png

边缘智能应用实验平台1.0

由新大陆自研NLE-AI800嵌入式人工智能核心开发板、图像采集模块、语音采集模块、指纹采集模块、执行器等硬件模块组成。开发板基于边缘计算芯片，具有高可扩展性和强大的AI计算能力，支持多sensor输入，集成丰富的硬件接口，内置各类深度学习算法，支持模型重训、模型评估，支持构建算法应用，NLE-AI800开发板的功能强劲表现为算法识别延迟低、可满足端末同时处理多个算法需求、实现人体骨骼检测与可视化显示的性能要求，支撑从教学、应用到科研技术方案支撑。

智能家居案例

智能垃圾分类

智能停车场

趣味明星脸

平台1.0部署DeepSeek流程

0 1

查看RK3399Pro开发板IP

0 2

使用MobaXterm远程登陆到开发板，用户:nle 密码:nle

0 3

停止正在运行的python应用

0 4

安装开源跨平台大模型工具Ollama

0 5

运行模型(如果模型不存在会自动下载)

边缘智能应用实验平台2.0

主要部分由嵌入式人工智能核心开发板、智能摄像头、阵列语音模块、执行器等硬件模块组成。开发板为英伟达 Jetson Orin Nano,搭载32个TensorCore的1024核NVIDIA Ampere架构的GPU，GPU计算性能40 TOPS。提供人脸识别、表情识别、行为分析、车况跟踪、自然语言分析处理、声纹识别、情感分析、人像分割等端上模型推理应用，以知识拆解的方式进行展开；提供项目教学案例，包含智慧课堂学情分析系统、智慧道路车况跟踪监测系统、智能聊天机器人系统、生物特征认证门禁系统、智能情感识别与分析系统、智能视频会议助手系统等多算法复合应用。

生物特征认证

课堂学情分析

智能情感识别

路车况跟踪监测

平台2.0部署DeepSeek流程

0 1

安装Jetson Containers

0 2

安装ollama的GPU版本(dustynv/ollama)

0 3

运行deepseek-r1:1.5B模型

运行deepseek-r1:1.5b模型

\1. 运行deepseek模型(如果模型不存在会自动下载)，命令如下:ollama run deepseek-r1:1.5b

\2. 等待模型下载完成并启动后，可与模型对话

DeepSeek

大模型的“试验田”：M-Lab创新实验平台

M-Lab创新实验平台由北京新大陆时代科技进行模块化的硬件平台设计开发和生产，是DeepSeek大模型落地的核心载体。支持包括高性能处理器、ARM、FPGA多CPU和可扩展的实验模块集成一体化设计，双处理器单元平台架构（AIoT八核芯片平台+ARM嵌入式平台），双CPU都能与可编程逻辑芯片实现硬件总线连接及数据交互，实现数字逻辑电路实验及功能扩展。M-Lab创新实验平台面向高校、企业研发团队，提供从模型部署到应用落地的全链路支持。

AIoT八核芯片平台采用Rockchip RK3588旗舰级高性能处理器，8nm先进制程，面向边缘计算、高端多媒体、AIoT等场景，内核采用四核Cortex-A76（2.4GHz）+ 四核Cortex-A55（1.8GHz），兼顾高性能与低功耗需求，单线程性能较前代提升30%；8nm先进制程，降低功耗的同时提升计算密度，支持多任务并行处理，如AI推理+8K视频编解码+复杂系统调度；根据负载智能分配A76/A55集群资源，平衡性能与能效，动态调频。

M-Lab部署DeepSeek流程

0 1

查看RK3588开发板IP；

0 2

使用MobaXterm远程登陆到开发板，用户:newland 密码:newland；

0 3

将rknn-llm-main.zip上传到开发板并解压；

0 4

修改rknn-llm-main中的

build-linux.sh；

0 5*

编译rknn-llm-main代码；

0 6

上传DeepSeek-R1-Distill-Qwen-1.5B模型到开发板；

0 7

运行模型与查看NPU占用率；

体验知识库问答平台

让企业数据“开口说话”

基于大模型的知识库问答平台搭建

常见通用大模型都是基于公开的知识数据进行训练，若面对私域知识则会表现出意图理解能力下降和产生强烈的生成幻觉，尤其是当应用在教育场景下使用时，教学上更是对内容有严格的内容准确性的要求，几乎无法容忍任何专业知识内容上的杜撰，但常见公开的通用大模型工具虽然支持私域知识上传，但却无法保证私域知识的传播安全，导致原创或敏感私域知识被公开的大模型掌握模仿。

M-Lab平台的知识库问答系统可完成私域知识库内容的处理、存储与检索，既满足师生对知识管理的需求，又通过结构化整理提升模型对专业知识的理解能力。