-------------------------------------------------------------------------------------------------------------------------------

unsloth/Qwen3-VL-4B-Instruct-GGUF at main

Qwen3-VL-4B-Instruct-Q5_K_M.gguf · unsloth/Qwen3-VL-4B-Instruct-GGUF at main

mmproj-F16.gguf · unsloth/Qwen3-VL-4B-Instruct-GGUF at main



 

1、新开一个cmd命令行窗口(管理员权限)，输入
cd /d D:\soft\orc\llama-b10199-bin-win-cpu-x64

输入以下命令：

llama-server.exe -m "D:\soft\qianwen\models\Qwen3-VL-4B-Instruct-Q5_K_M.gguf" --mmproj "D:\soft\qianwen\models\mmproj-F16.gguf" --host 0.0.0.0 --port 18082 -c 4096 --threads 8 -b 1024 --ubatch-size 512 --no-mmap

GitHub - ggml-org/llama.cpp: LLM inference in C/C++ · GitHub

cd /d D:\soft\orc\llama-b10293-bin-win-cuda-12.4-x64
GPU
llama-server.exe -m "D:\soft\qianwen\models\Qwen3-VL-4B-Instruct-Q5_K_M.gguf" --mmproj "D:\soft\qianwen\models\mmproj-F16.gguf" --host 0.0.0.0 --port 18082 -c 2048 --threads 4 -b 512 --ubatch-size 256 -ngl 999 -lm none --image-min-tokens 1024