deepseekv4框架刚出不久。api调用后发现效果不错，于是想在服务器上本地部署一下（Flash版本）。公司服务器的配置是8张A100，算了下FP8+FP4的混合精度部署应该是绰绰有余，于是博主就兴致勃勃的开始了这条不归路。

        其实在下载模型的过程中已经看到了魔搭社区的讨论区有人说Ampere架构不支持，但是秉持着下都下了，不如自己试试....

        果然把该踩的坑都踩了，一开始是由于最新vllm0.2需要cuda13.0，但是服务器上的cuda版本是12.8，所以一步步的去更新，更新好了之后终于遇到了永远无法逾越的大坑。 Deepgemm（图片来源于魔搭社区，当时自己没截图，因为没想到最后可以本地部署成功）

        好吧，似乎进行不下去了，翻遍社会论坛都没大佬给出解决办法，似乎只能等待vllm更新或者v4更新？（似乎vllm不打算更新以支持ampere，no！！！！），不扯了，开始解决方案分享。

        虽然国内暂时:没有佬给出解决方案，但是nisparks大佬在llama.cpp发布了适用于deepseekv4的分支，地址如下:GitHub - nisparks/llama.cpp at wip/deepseek-v4-support · GitHub

        clone下来之后还需要编译（记得cd到下载目录下），命令参考如下：

# 1. 配置编译选项（开启CUDA，并指定为A100架构）
cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES="80" -DLLAMA_CURL=ON

# 2. 开始编译（-j 参数会加速编译）
cmake --build build --config Release -j $(nproc)

     推理框架下载完之后继续下载该框架需要的guff模型，同样也是该大佬分享的，地址如下：
GitHub - nisparks/llama.cpp at wip/deepseek-v4-support · GitHub  

        完事具备之后直接启动！！！！

./build/bin/llama-server \
    -m /data/deepseek/gguf_models/DeepSeek-V4-Flash-FP4-FP8-native.gguf \
    -ngl 99 \
    --host 0.0.0.0 --port 8000 \
    --tensor-split 64,64,64,64,64,64,64,64 \
    --ctx-size 131072 \

        各个参数详解可以问ai，这里不说详解，启动过程个人觉得是非常的漫长.....但是好在是一次成功，没有缺这缺那的。

        展示一下测试对话效果以及内存使用情况 

        有意思的是虽然用的是v4的模型但是输出却自认为是v3，为了验证模型是否确实是v4改来了，用在线api问了同样的问题，结果如下图：

        嗯，看来确实是没有给新的模型输入这种方面的东西，无伤大雅就是了，实际使用中介入其他在线搜索工具就可以了，所有的分享就到此了，希望大家可以用上v4