Qwen3.8 27B NVFP4 尝鲜DGX Spark上初体验
·

视频链接:https://www.bilibili.com/video/BV1EagM6SEEu/?vd_source=5ba34935b7845cd15c65ef62c64ba82f
11点过后开始下载如下的模型,先下载nvfp4的试试
https://huggingface.co/unsloth/Qwen3.8-27B-NVFP4 unsloth/Qwen3.8-27B-NVFP4

使用vllm,启动参数如下:
CUTE_DSL_ARCH=sm_121a HF_HUB_OFFLINE=1 vllm serve unsloth/Qwen3.8-27B-NVFP4 \
--trust-remote-code \
--quantization compressed-tensors \
--kv-cache-dtype fp8 \
--load-format safetensors \
--gpu-memory-utilization 0.6 \
--max-model-len 262144 \
--max-num-seqs 2 \
--max-num-batched-tokens 8192 \
--safetensors-load-strategy=prefetch \
--enable-prefix-caching \
--enable-chunked-prefill \
--speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 1}' \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder
DGX Spark 一如既往的慢。。。

使用CC,根据REAME.md也就是我mujoco-learning仓库的说明来生成一个介绍网页,完成度还可以,速度目前只有15tps,目前先玩到者,obs一开好卡。。。
后面又试了下其他的任务,看起来表现还可以,plan和调用子agent和tool都比3.6合理且有效。
更多推荐


所有评论(0)