满足个性化需求，手把手教你微调DeepSeek大模型

监督微调（SFT）是在有标签的数据集上对预训练模型进行进一步训练的过程，使其能够专门用于特定任务，如客户支持、医疗问答或电商推荐。

AI-椰子不椰

2040人浏览 · 2025-02-20 11:49:17

AI-椰子不椰 · 2025-02-20 11:49:17 发布

Fine-Tuning Reasoning Models: Chain-of-Thought (CoT) Reasoning Overview | by MB20261 | Jan, 2025 | Medium

1 引言

DeepSeek LLM性能强大，但要在特定场景发挥最大效能，微调是必不可少的。本文详细讲解如何用Hugging Face数据集和监督微调技术（SFT）对其微调，提供代码实操步骤；还会探讨损失函数、数据子集、低秩适应（LoRA）技术等要点。

实操可借助Google Colab平台：colab.research.google.com 。

2 监督微调（SFT）概述

监督微调（SFT）是在有标签的数据集上对预训练模型进行进一步训练的过程，使其能够专门用于特定任务，如客户支持、医疗问答或电商推荐。

2.1 微调原理

微调基于特定任务的有标签数据训练模型，其中：

输入（X）：提供给模型的文本数据。
目标（Y）：根据有标签数据得到的预期输出（例如，情感标签、聊天机器人回复或摘要文本）。
损失函数：衡量模型预测与预期输出的匹配程度。文本生成中最常用的损失函数是交叉熵损失。

例如，在IMDB情感数据集上进行微调时：

输入（X）：像 “这部电影视觉效果很棒，但情节薄弱” 这样的电影评论。
目标（Y）：正确的标签，比如 “正面” 或 “负面” 情感。

对于文本生成任务，输入可以是一个问题，目标则是模型生成的正确回复。

2.2 交叉熵损失：微调语言模型的 “校准器”

微调语言模型时，交叉熵损失用于衡量模型预测的标记分布与实际目标分布的差异：

训练旨在最小化该损失，让模型预测更贴近实际，进而生成更精准的文本输出，提升在各类文本任务中的性能。

3 选用数据子集的理由

在资源有限的硬件上对像DeepSeek LLM这样的大型语言模型进行微调时，若使用完整数据集（例如包含25,000个样本的IMDB数据集）进行训练，会出现训练时间长、GPU内存不足的问题。

为了缓解这些问题，我们：

选数据子集：挑500个样本训练、100个评估，减少数据量，降低硬件负担。
保证代表性：子集保留多样特征，维持模型性能。

小数据集能加快实验，同时有效展示微调概念。但生产环境下，想让模型性能更优，还是应该在更强大的基础设施上使用更大的数据集。

4 加载DeepSeek LLM

在微调之前，需要加载DeepSeek LLM并为训练做好准备。

4.1 安装所需库

首先，安装必要的依赖项：

pip install -U torch transformers datasets accelerate peft bitsandbytes

4.2 以4位量化加载模型

我们使用4位量化，使大型模型能够在有限的GPU内存下运行：

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig   from peft import LoraConfig, get_peft_model      model_name = "deepseek-ai/deepseek-llm-7b-base"   # 配置4位量化   bnb_config = BitsAndBytesConfig(       load_in_4bit=True,       bnb_4bit_compute_dtype=torch.float16  # 使用float16以加快计算速度   )   # 加载分词器和模型   tokenizer = AutoTokenizer.from_pretrained(model_name)   model = AutoModelForCausalLM.from_pretrained(       model_name,        quantization_config=bnb_config,        device_map="auto"   )   # 应用LoRA进行高效内存微调   lora_config = LoraConfig(       r=8,  # 低秩适应大小       lora_alpha=32,       target_modules=["q_proj", "v_proj"],  # 将LoRA应用于注意力层       lora_dropout=0.05,       bias="none"   )   model = get_peft_model(model, lora_config)   model.print_trainable_parameters()   print("✅ DeepSeek LLM已加载LoRA并采用4位精度！")

5 使用Hugging Face数据集进行训练

进行微调需要高质量的数据集。Hugging Face提供了多种数据集的访问途径：

5.1 选择数据集

在这个示例中，我们使用IMDB数据集对DeepSeek LLM进行情感分类的微调：

from datasets import load_dataset      # 加载数据集   dataset = load_dataset("imdb")

5.2 预处理数据集

将文本转换为模型可接受的分词输入：

def tokenize_function(examples):       inputs = tokenizer(           examples["text"],            truncation=True,            padding="max_length",            max_length=512       )       inputs["labels"] = inputs["input_ids"].copy()       return inputs      tokenized_datasets = dataset.map(tokenize_function, batched=True)   # 为加快实验速度，对数据集进行子集划分   small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(500))   small_test_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(100))   # 打印一个分词后的样本条目   print("分词后的样本：")   print(small_train_dataset[0])

6 LoRA（低秩适应）：大模型微调内存优化 “神器”

大型语言模型微调时，内存利用是难题，LoRA（低秩适应）技术来 “救场”。LoRA 主要靠两手 “绝活”：

冻结模型大部分权重，让其在微调时 “按兵不动”；
在关键层（如注意力层）引入低秩可训练矩阵，精准优化模型。

这样能大幅削减可训练参数数量，且不影响模型性能。有了 LoRA，在资源受限的 Colab GPU 这类硬件上微调大模型也没问题，给开发者创造了更多可能。

LoRA的工作原理

1）将参数更新分解为低秩矩阵。

2）仅对分解后的矩阵（如注意力投影）应用更新。

3）与全量微调相比，可减少内存和计算成本。

7 代码讲解：微调DeepSeek LLM

7.1 设置训练参数

from transformers import TrainingArguments, Trainer      training_args = TrainingArguments(       output_dir="./results",       evaluation_strategy="epoch",       learning_rate=3e-4,  # LoRA微调时使用较低的学习率       per_device_train_batch_size=1,  # 为提高内存效率，减小批次大小       gradient_accumulation_steps=8,  # 模拟更大的批次大小       num_train_epochs=0.5,       weight_decay=0.01,       save_strategy="epoch",       logging_dir="./logs",       logging_steps=50,       fp16=True# 混合精度训练   )

7.2 初始化训练器

trainer = Trainer(       model=model,       args=training_args,       train_dataset=small_train_dataset,       eval_dataset=small_test_dataset,   )   print("训练器已初始化！")

7.3 开始微调

print("开始微调...")   trainer.train()

7.4 保存微调后的模型

trainer.save_model("./fine_tuned_deepseek")   tokenizer.save_pretrained("./fine_tuned_deepseek")   print("微调后的模型已成功保存！")

8 大模型训练与优化进阶之路

开展生产级训练：前期实验虽用数据子集完成了概念验证和基础微调，但要让模型在实际生产中泛化能力强、性能卓越，就必须用更大数据集。以智能客服模型为例，小规模数据难以应对用户多样问题，而大规模真实交互记录语料库，能帮模型学习更多，满足高并发、多场景需求。
探索高级LoRA配置：LoRA现有优势明显，但潜力还很大。后续可研究低秩矩阵维度组合，找到降本提效的最优解；也能结合其他优化技术，比如优化学习率，让模型更快收敛，为复杂任务和大规模模型微调打基础。