视频链接:https://www.bilibili.com/video/BV1EagM6SEEu/?vd_source=5ba34935b7845cd15c65ef62c64ba82f

11点过后开始下载如下的模型,先下载nvfp4的试试

https://huggingface.co/unsloth/Qwen3.8-27B-NVFP4 unsloth/Qwen3.8-27B-NVFP4

使用vllm,启动参数如下:

CUTE_DSL_ARCH=sm_121a HF_HUB_OFFLINE=1 vllm serve unsloth/Qwen3.8-27B-NVFP4 \
    --trust-remote-code \
    --quantization compressed-tensors \
    --kv-cache-dtype fp8 \
    --load-format safetensors \
    --gpu-memory-utilization 0.6 \
    --max-model-len 262144 \
    --max-num-seqs 2 \
    --max-num-batched-tokens 8192 \
    --safetensors-load-strategy=prefetch \
    --enable-prefix-caching \
    --enable-chunked-prefill \
    --speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 1}' \
    --reasoning-parser qwen3 \
    --enable-auto-tool-choice \
    --tool-call-parser qwen3_coder

DGX Spark 一如既往的慢。。。

使用CC,根据REAME.md也就是我mujoco-learning仓库的说明来生成一个介绍网页,完成度还可以,速度目前只有15tps,目前先玩到者,obs一开好卡。。。

后面又试了下其他的任务,看起来表现还可以,plan和调用子agent和tool都比3.6合理且有效。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐