从零于香橙派（Orange Pi 5 Pro/Plus/Ultra）快速部署DeepSeek1.5B、QWen0.5B两个轻量LLM与QWen3-VL-2B多模态VLM。6T算力，内存最好16GB或以上。
下面是针对5 plus（16GB）。

0、SD卡烧录镜像

去官网下载官方工具与镜像

用户手册最好也下，里面讲得挺清楚。比如怎么中文输入法。

选这个镜像（Ubuntu 22.04）
Orangepi5plus_1.2.0_ubuntu_jammy_desktop_xfce_linux5.10.160.img

用balenaEtcher将官网的镜像拷进SD卡

1、资料下载

终端权限密码：orangepi
先搞定上网。如果没有wifi网卡，就用网线连接网口，上网。

前面官网工具文件夹里面，有个RKLLM工具包，转换后的模型（转换为rkllm的模型库，不用自己麻烦地去把onnx模型转为rkllm了）
（rkllm是适配rk3588芯片推理的模型格式，就是模型能更好地利用rk3588里面的NPU做模型推理）

下载画红线的三个（2个模型文件，1个驱动模型的代码文件）

然后下载RKLLM工具包里面的RKLLM官网文件

准备好里面的
rknn-llm/rkllm-runtime/Linux/librkllm_api/include/rkllm.h
rknn-llm/rkllm-runtime/Linux/librkllm_api/aarch64/librkllmrt.so

2.1 LLM模型部署与推理（Deepseek，QWen）

将上面5个文件都导入板子
建议用一个在线云盘（比如SJTU云盘）传资料。文字资料可以通过微信传输助手网页版。

先检查RKNPU版本
如果镜像下载正确，NPU就是V0.9.6

更新rknn-llm相关文件

按顺序输入上面的终端代码，就是在板子的/usr里面导入这些驱动库

开始推理—QWen

按顺序在终端输入：

ulimit -HSn 102400
chmod 777 llm_demo
./llm_demo ./Qwen.rkllm 256 320

搞定。
推理还是很快的。但是这些模型没有经过Instruct微调，不具备问答能力，目前只是补全句子的功能。不如输入你是谁，他第一个输出是？（补全句子）。

效果比较好的prompt：
请告诉我天空为什么是蓝色？
告诉我最高山峰？
请告诉我一年有多少个季节？
等

开始推理—DeepSeek-R1-Distill-Qwen-1.5B

按顺序在终端输入：

ulimit -HSn 102400
chmod 777 llm_demo
./llm_demo ./DeepSeek-R1-Distill-Qwen-1.5B.rkllm 256 320

同上，搞定。

2.2 VLM模型部署与推理（QWen3-VL-2B）

去RKLLM_model_zoo下载下面的全部文件

还有这俩模型，一个是对图片进行encoding的，一个是文本输出的LLM。两者配合才能实现VQA（vision questioning answering）。

全部文件导入板子

环境配置

将前面lib里面的两个.so，像之前部署LLM一样，都导入/usr里面
类似这个代码，下面只是针对一个so文件的，要做两次
注意：前面部署LLM下载的librkllmrt.so要换成我们在RKLLM_model_zoo最新下载的。就是还得将之前导入的先删掉（rm -rf）

运行下面的代码：

ulimit -HSn 102400
chmod 777 demo
./demo demo.jpg ./qwen3-vl-2b_vision_rk3588.rknn ./qwen3-vl-2b-instruct_w8a8_rk3588.rkllm 2048 4096 3 "<|vision_start|>" "<|vision_end|>" "<|image_pad|>"

搞定！

也可以将demo.jpg换成其他图片.jpg,效果挺好的。
也可以换不同的问题，比如

<image>图中有几个人？