近日，清华大学MADSys团队正式开源了面向资源受限环境的KTransformers算法框架。基于该框架的技术特性，用户可以在一张4090显卡的设备中部署满血671B的Deepseek。老王看到这个消息非常兴奋，因为这意味着只需要几万块钱就可以实现原本需要百万才能实现的“满血梦”。

老王在工作之余，赶紧找了一台设备，实际操练一下，先实现自己的“满血梦”。 同时，我把我自己的部署过程记录了下来，供大家参考学习。

1、硬件配置

系统	openEuler22.03 (LTS-SP1)
显卡	1*4090
内存	512GB

2、部署ktransformer

a.参考以下文件安装环境

https://kvcache-ai.github.io/ktransformers/en/install.html#id_666

i.编译gcc/g++ ，安装conda环境

# Adding CUDA to PATH
export PATH=/usr/local/cuda/bin:$PATHexportLD\_LIBRARY\_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
export CUDA_PATH=/usr/local/cuda

编译ktransformer

sudo dnf update
sudo dnf install gcc g++ cmake ninja-build

创建conda环境，推荐使用python3.11版本

conda create --name ktransformers python=3.11
conda activate ktransformers
pip install torch packaging ninja cpufeature numpy

ii.遇到服务器拉取github的网络问题，可以先clone到本地，执行init和update后，然后打包上传到服务器

git clone https://github.com/kvcache-ai/ktransformers.git
cd ktransformers
git submodule init
git submodule update

iii.根据linux的服务器配置，主要是内存是否大于1TB，执行不同的安装步骤

内存小于1TB

bash install.sh

内存大于1TB的情况下

export USE_NUMA=1
bash install.sh # or `make dev_install`

iv.ktransformer需要flash atten的支持，必须安装

pip install flash_attn

b.模型下载

推荐使用别人已经量化好的模型（INT4精度/R1全参数量化版本）

（若需执行自定义量化流程，请参考附录A-量化实验记录章节）

i.直接下载

1.在服务器上下载GGUF的模型权重，国内推荐从huggingface镜像网站或者modelscope网站下载

2.https://hf-mirror.com/unsloth/DeepSeek-R1-GGUF

3.https://www.modelscope.cn/models/unsloth/DeepSeek-R1-GGUF/files

pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
export HUGGINGFACE_HUB_TIMEOUT=600

下载量化模型

huggingface-cli download --local-dir /usr/share/ollama/deepseek-R1-GGUF unsloth/DeepSeek-R1-GGUF --include “DeepSeek-R1-Q4_K_M/*”

下载R1的tokenizer.json,config等文件

huggingface-cli download --local-dir /usr/share/ollama/DeepSeek-R1 deepseek-ai/DeepSeek-R1 --exclude “*.msgpack” “*.onnx” “*.bin” “*.ot” “*.h5” “*.safetensors”

下载记录(此处省略一万字)

ii.执行以下命令，启动ktransformer

export CUDA_VISIBLE_DEVICES=6

python -m ktransformers.local_chat --model_path /usr/share/ollama/DeepSeek-R1 --gguf_path /usr/share/ollama/deepseek-R1-GGUF/DeepSeek-R1-Q4_K_M

多GPU

export CUDA_VISIBLE_DEVICES=4,5,6,7
python -m ktransformers.local_chat --model_path /usr/share/ollama/DeepSeek-R1 --gguf_path /usr/share/ollama/deepseek-R1-GGUF/DeepSeek-R1-Q4_K_M --max_new_tokens 4096 --optimize_rule_path ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu-4.yaml

各个参数的中文解释：

–model_path (必需)：模型的名称（例如“deepseek-ai/DeepSeek-V2-Lite-Chat”，它会自动从 Hugging Face 下载配置文件）。如果您已经有本地文件，可以直接使用该路径来初始化模型。注意：目录中不需要.safetensors文件，只需要配置文件即可用来构建模型和分词器。

–gguf_path (必需)：包含 GGUF 文件的目录路径，这些文件可以从 Hugging Face 下载。注意该目录应该只包含当前模型的 GGUF 文件，也就是说，每个模型需要一个独立的目录。

–optimize_rule_path (必需，除了 Qwen2Moe 和 DeepSeek-V2)：包含优化规则的 YAML 文件路径。ktransformers/optimize/optimize_rules 目录下已经预写了两个规则文件，分别用于优化 DeepSeek-V2 和 Qwen2-57B-A14，这两个是当前的最先进 MoE 模型。

–max_new_tokens：整数（默认值=1000）。生成的最大新令牌数。

–cpu_infer：整数（默认值=10）。推理时使用的 CPU 核心数。理想情况下应设置为（总核数 - 2）。

3.测试

a.单GPU，每秒4个token

Chat: 强化学习 会使用gpu吗
嗯，用户问的是强化学习会不会使用GPU。首先，我需要确认强化学习的基本概念，以及GPU在其中的作用。强化学习属于机器学习的一个分支，主要用于训练智能体通过与环境互动来学习策略。传统的机器学习很多都会用到GPU加速，尤其是深度学习，因为GPU在处理矩阵运算上比CPU快很多。

接下来，我需要考虑强化学习的不同应用场景。比如，如果用的是传统的Q-learning或者SARSA这类表格型方法，可能不需要GPU，因为它们的计算量不大，主要依赖CPU处理。但如果是结合了深度学习的强化学习方法，比如深度Q网络（DQN）、策略梯度方法（PPO）或者Actor-Critic框架，这时候神经网络模型训练就需要大量矩阵运算，GPU的优势就显现出来了。

然后，用户可能想知道具体在哪些情况下会用到GPU。例如，当处理高维状态空间（如图像输入）时，使用卷积神经网络来处理这些输入，这时候GPU加速训练过程就非常关键。另外，像模拟环境，比如机器人控制或者游戏AI（如AlphaGo），可能需要大量的并行模拟，这时候GPU甚至TPU可能会有帮助。

还要考虑用户可能的背景。如果用户是刚开始学习强化学习，可能对硬件需求不太清楚，或者担心是否需要投资GPU资源。这时候需要说明，虽然GPU可以加速训练，但入门阶段的小规模问题用CPU就够了，等到处理复杂问题时再考虑GPU。

另外，用户可能想知道是否有替代方案，比如云计算平台或者训练。这时候可以
prompt eval count: 12 token(s)
prompt eval duration: 2.265155792236328s
prompt eval rate: 5.297648859795519 tokens/s
eval count: 300 token(s)
eval duration: 65.83381295204163s
eval rate: 4.556928826506569 tokens/s

b.多GPU，4*4090，每秒4.5个token

Chat: 介绍下思腾合力
好的，用户让我介绍一下思腾合力。首先，我需要确认思腾合力的基本信息，比如公司背景、主营业务、产品服务、市场定位等。可能还需要了解他们的核心技术、合作伙伴、行业地位以及发展历程。

用户可能是想了解这家公司是否可靠，或者考虑合作、求职，或者只是好奇。需要判断用户的需求层次，是表面的概述还是深入的技术细节。如果用户没有特别说明，应该提供全面的信息，涵盖公司介绍、产品服务、技术优势、应用场景等。

接下来，我需要查找思腾合力的相关资料。可能他们的官网、新闻报道、行业报告都是信息来源。需要确保信息的准确性和时效性，比如公司成立时间、最新动态、主要成就等。同时要注意是否有不同来源的信息矛盾，需要交叉验证。

思腾合力可能专注于某个领域，比如人工智能、云计算、大数据等。需要明确他们的核心业务，是否有自主研发的技术，或者主要提供解决方案。例如，他们可能提供AI服务器、云计算平台，或者行业定制化解决方案。

还要考虑他们的客户和合作伙伴，是否有知名企业或政府机构合作案例，这能体现公司的实力和信誉。此外，公司的发展历程中的重要事件，比如融资、上市、重大合作项目，也是值得提及的。

技术优势方面，是否有专利、认证，或者独特的技术架构。例如，是否在AI芯片、算法优化、数据处理等方面有创新。应用场景方面，他们的产品和服务适用于哪些行业，如金融、医疗、教育、智能制造
prompt eval count: 10 token(s)
prompt eval duration: 2.409355401992798s
prompt eval rate: 4.150487716228547 tokens/s
eval count: 300 token(s)
eval duration: 66.46189308166504s
eval rate: 4.513864804172446 tokens/s

附录A：自己转换gguf，然后进行量化的尝试步骤

a.使用llamacpp进行转换https://github.com/ggml-org/llama.cpp/blob/master/examples/quantize/README.md

b.转换满血671B的R1权重失败，即llamacpp不支持满血R1的GGUF转换，所以也没法执行后续的量化步骤，建议直接拉取huggingface上量化好的模型

(llamacpp) [root@localhost llama.cpp]# python3 convert_hf_to_gguf.py /usr/share/ollama/DeepSeek-R1 --outfile /usr/share/ollama/zxy/r1_gguf --outtype bf16
INFO:hf-to-gguf:Loading model: DeepSeek-R1
INFO:gguf.gguf_writer:gguf: This GGUF file is for Little Endian only
INFO:hf-to-gguf:Exporting model…
INFO:hf-to-gguf:gguf: loading model weight map from ‘model.safetensors.index.json’
INFO:hf-to-gguf:gguf: loading model part ‘model-00001-of-000163.safetensors’
INFO:hf-to-gguf:token_embd.weight, torch.bfloat16 --> BF16, shape = {7168, 129280}
INFO:hf-to-gguf:blk.0.attn_norm.weight, torch.bfloat16 --> F32, shape = {7168}
INFO:hf-to-gguf:blk.0.ffn_down.weight, torch.float8_e4m3fn --> BF16, shape = {18432, 7168}
Traceback (most recent call last):
File “/root/llama.cpp/convert_hf_to_gguf.py”, line 5112, in
main()
File “/root/llama.cpp/convert_hf_to_gguf.py”, line 5106, in main
model_instance.write()
File “/root/llama.cpp/convert_hf_to_gguf.py”, line 439, in write
self.prepare_tensors()
File “/root/llama.cpp/convert_hf_to_gguf.py”, line 4142, in prepare_tensors
super().prepare_tensors()
File “/root/llama.cpp/convert_hf_to_gguf.py”, line 298, in prepare_tensors
for new_name, data_torch in (self.modify_tensors(data_torch, name, bid)):
File “/root/llama.cpp/convert_hf_to_gguf.py”, line 4139, in modify_tensors
return [(self.map_tensor_name(name), data_torch)]
File “/root/llama.cpp/convert_hf_to_gguf.py”, line 214, in map_tensor_name
raise ValueError(f"Can not map tensor {name!r}")
ValueError: Can not map tensor ‘model.layers.0.mlp.down_proj.weight_scale_inv’

c.llamacpp转换qwen2_7B为gguf是成功的。

INFO:gguf.vocab:Adding 151387 merge(s).
INFO:gguf.vocab:Setting special token type eos to 151645
INFO:gguf.vocab:Setting special token type pad to 151643
INFO:gguf.vocab:Setting special token type bos to 151643
INFO:gguf.vocab:Setting chat_template to {% for message in messages %}{% if loop.first and messages[0][‘role’] != ‘system’ %}{{ ‘<|im_start|>system
You are a helpful assistant.<|im_end|>
’ }}{% endif %}{{’<|im_start|>’ + message[‘role’] + ’
’ + message[‘content’] + ‘<|im_end|>’ + ’
'}}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant
’ }}{% endif %}
INFO:hf-to-gguf:Set model quantization version
INFO:gguf.gguf_writer:Writing the following files:
INFO:gguf.gguf_writer:/data/share/qwen2_7B_ins_gguf: n_tensors = 339, total_size = 15.2G
Writing: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15.2G/15.2G [04:08<00:00, 61.4Mbyte/s]
INFO:hf-to-gguf:Model successfully exported to /data/share/qwen2_7B_ins_gguf

d.使用昇腾的量化代码，是可以转换r1的权重的

(vllm) [root@localhost NPU_inference]# python fp8_cast_bf16.py --input-fp8-hf-path /usr/share/ollama/DeepSeek-R1 --output-bf16-hf-path /usr/share/ollama/DeepSeek-R1-bf16
9%|███████████████▌ | 15/163 [03:37<31:49, 12.91s/it]

e.unsloth提供一个转成gguf的工具，感兴趣可以尝试

https://docs.unsloth.ai/basics/running-and-saving-models/saving-to-gguf

结论：

KTransformers是为个人准备的；企业级环境需要根据并发数和具体场景确定推理服务器的配置。

那么，如何系统的去学习大模型LLM？

作为一名从业五年的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？我自学没有方向怎么办？这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！