4.5.2运行Qwen2.5-7B模型

请将“软件资料\RK182X-AI-Acceleratorect\model\llm\Qwen2.5-7B\”目录下的所有文件拷贝至评估板文件系统。

备注：请确保用于拷贝Qwen2.5-7B模型的文件系统目录具备充足的剩余存储空间。

Target# cd /userdata/model/llm/Qwen2.5-7B/

图 51

执行如下命令，运行Qwen2.5-7B模型测试程序，该程序在测试过程中，会以随机生成的token序列作为测试样本，重复进行3次提问，最终统计并输出测试的性能。

Target# rknn3_session_test_eval_perf Qwen2.5-7B.rknn Qwen2.5-7B.weight Qwen2.5-7B.tokenizer.gguf Qwen2.5-7B.embed.bin 1024 128 128 0xff

图 52

程序统计性能：

图 53

由打印信息可得：

查看CPU使用率和NPU使用率：

图 54

图 55

由上图可以看到，CPU使用率最高46%，NPU使用率最高94%。

4.5.3运行Qwen3-4B模型

请将“软件资料\RK182X-AI-Acceleratorect\model\llm\Qwen3-4B\”目录下的所有文件拷贝至评估板文件系统。

备注：请确保用于拷贝Qwen3-4B模型的文件系统目录具备充足的剩余存储空间。

Target# cd /userdata/model/llm/Qwen3-4B/

图 56

执行如下命令，运行Qwen3-4B模型测试程序，该程序在测试过程中，会以随机生成的token序列作为测试样本，重复进行3次提问，最终统计并输出测试的性能。

Target# rknn3_session_test_eval_perf Qwen3-4B.rknn Qwen3-4B.weight Qwen3-4B.tokenizer.gguf Qwen3-4B.embed.bin 1024 128 128 0xff

图 57

程序统计性能：

图 58

由打印信息可得：

查看CPU使用率和NPU使用率：

图 59

图 60

由上图可以看到，CPU使用率最高46%，NPU使用率最高92%。

4.5.4运行Qwen3-8B模型

请将“软件资料\RK182X-AI-Acceleratorect\model\llm\Qwen3-8B\”目录下的所有文件拷贝至评估板文件系统。

备注：请确保用于拷贝Qwen3-8B模型的文件系统目录具备充足的剩余存储空间。

Target# cd /userdata/model/llm/Qwen3-8B/

图 61

执行如下命令，运行Qwen3-8B模型测试程序，该程序在测试过程中，会以随机生成的token序列作为测试样本，重复进行3次提问，最终统计并输出测试的性能。

Target# rknn3_session_test_eval_perf Qwen3-8B.rknn Qwen3-8B.weight.ldtmp Qwen3-8B.tokenizer.gguf Qwen3-8B.embed.bin 1024 128 128 0xff

图 62

程序统计性能：

图 63

由打印信息可得：

查看CPU使用率和NPU使用率：

图 64

图 65

由上图可以看到，CPU使用率最高26%，NPU使用率最高95%。

五、案例编译

进行案例编译前，请先参考TL3588-EVM产品资料的《Ubuntu系统使用手册》完成应用交叉编译工具链配置。

5.1编译rknn3_model_test_demo

执行如下命令，进入rknn3_model_test_demo案例目录。

Host# cd /home/tronlong/RK3588/rk182x_sdk/rknn/rknn3-runtime/examples/rknn3_model_test_demo

Host# ls

图 66

执行如下命令，配置交叉编译环境，并运行构建脚本build-linux.sh，编译应用程序。

Host# export GCC_COMPILER=/home/tronlong/RK3588/rk3588_linux_release/ubuntu/sysroots/x86_64-linux/bin/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu

Host# ./build-linux.sh -t rk3588 -a aarch64 -b Release

图 67

编译完成后，将在"install/rknn3_model_test_Linux/"目录下生成可执行文件。

图 68

5.2编译rknn3_llm_test

执行如下命令，进入rknn3_llm_test案例目录。

Host# cd /home/tronlong/RK3588/rk182x_sdk/rknn/rknn3-model-zoo/tools/rknn3_llm_test

Host# ls

图 69

执行如下命令，配置交叉编译环境，并运行构建脚本build-linux.sh，编译应用程序。

Host# export GCC_COMPILER=/home/tronlong/RK3588/rk3588_linux_release/ubuntu/sysroots/x86_64-linux/bin/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu

Host# ./build-linux.sh -t rk3588 -a aarch64 -b Release

图 70

若使用Ubuntu22.04版本资料（基于rk3588_linux6.1_release_v1.4.0）的开发环境，则执行如下命令配置交叉编译环境，再运行构建脚本，编译应用程序。

Host# export GCC_COMPILER=/usr/bin/aarch64-linux-gnu

Host# ./build-linux.sh -t rk3588 -a aarch64 -b Release

图 71

编译完成后，将在"install/rknn3_llm_test_RK3588_Linux/"目录下生成可执行文件。

图 72