GLM-4-9B-Chat-1M模型微调指南：使用LoRA适配特定领域

叶宇霖

337人浏览 · 2026-02-25 00:08:11

叶宇霖 · 2026-02-25 00:08:11 发布

GLM-4-9B-Chat-1M模型微调指南：使用LoRA适配特定领域

1. 引言

你是不是遇到过这样的情况：有一个很强大的大语言模型，但在你的专业领域里总是差那么点意思？比如让模型写医疗报告时术语不准确，或者生成法律文书时格式不规范。这就是通用模型在特定领域的局限性。

今天我要跟你分享的，就是用LoRA技术来微调GLM-4-9B-Chat-1M模型，让它成为你所在领域的专家助手。GLM-4-9B-Chat-1M本身已经是个很强大的模型了，支持100万token的上下文，相当于能处理200万字的中文内容。但通过微调，我们可以让它在你的专业领域里表现得更出色。

最好的地方是，LoRA微调不需要训练整个模型，只需要调整一小部分参数，这样既省时间又省资源。即使你只有单张消费级显卡，也能完成微调任务。

接下来，我会手把手带你走完整个微调流程，从数据准备到模型评估，让你能快速上手。

2. 环境准备与快速部署

2.1 硬件和软件要求

开始之前，我们先看看需要准备什么。硬件方面，建议至少有24GB显存的GPU，比如RTX 4090或者A100。内存最好32GB以上，因为要处理模型参数和训练数据。

软件环境需要Python 3.10或更高版本，以及一些必要的库。你可以用下面的命令一键安装：

pip install torch transformers datasets peft accelerate

如果你打算用vLLM来加速推理，还可以安装：

pip install vllm

2.2 下载模型文件

GLM-4-9B-Chat-1M的模型文件可以在Hugging Face或ModelScope上找到。我推荐用下面的命令来下载：

from transformers import AutoModel, AutoTokenizer

model_name = "THUDM/glm-4-9b-chat-1m"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(model_name, trust_remote_code=True)

下载过程可能会有点久，因为模型文件大概有18GB左右。如果中途断线了，可以重新运行命令，它会自动续传。

3. 理解LoRA微调原理

3.1 LoRA是什么

LoRA的全称是Low-Rank Adaptation，中文叫低秩适应。它是一种参数高效微调技术，核心思想不是训练整个模型的所有参数，而是只训练一些额外添加的小矩阵。

想象一下，大模型就像是个知识渊博的老教授，他已经掌握了通用知识，但对你的专业领域可能了解不深。LoRA就像是为老教授准备的专业领域小抄，只需要学习这一小部分内容，他就能在你的领域里表现得像个专家。

3.2 为什么选择LoRA

选择LoRA有几个明显的好处。首先是节省资源，传统的全参数微调需要训练所有90亿参数，而LoRA可能只需要训练几百万参数，减少了99%以上的训练量。

其次是灵活性强，你可以为不同领域训练不同的LoRA适配器，需要哪个就加载哪个，不需要为每个领域都保存完整的模型副本。

还有就是训练稳定，因为大部分参数是冻结的，不容易过拟合，训练过程更加稳定。

4. 数据准备与格式化

4.1 收集领域数据

数据质量直接决定微调效果。你需要收集与目标领域相关的文本数据，比如如果是医疗领域，可以收集病历、诊断报告、医学文献等；如果是法律领域，可以收集合同、判决书、法律条文等。

数据量不需要特别大，通常几千到几万条高质量样本就足够了。重要的是数据的质量和代表性。

4.2 数据格式化

GLM-4-9B-Chat-1M使用特定的对话格式，我们需要把数据转换成这种格式。下面是个例子：

def format_conversation(question, answer):
    conversation = [
        {"role": "user", "content": question},
        {"role": "assistant", "content": answer}
    ]
    return tokenizer.apply_chat_template(conversation, tokenize=False)

对于训练数据，我们可以创建一个简单的数据集：

from datasets import Dataset

def create_training_data(qa_pairs):
    formatted_data = []
    for question, answer in qa_pairs:
        formatted = format_conversation(question, answer)
        formatted_data.append({"text": formatted})
    
    return Dataset.from_list(formatted_data)

4.3 数据预处理

准备好数据后，还需要进行分词和处理：

def preprocess_function(examples):
    # 对文本进行分词
    tokenized = tokenizer(
        examples["text"],
        truncation=True,
        padding=False,
        max_length=2048,
        return_tensors=None
    )
    
    # 对于因果语言模型，标签就是输入本身
    tokenized["labels"] = tokenized["input_ids"].copy()
    return tokenized

5. LoRA微调实战

5.1 配置LoRA参数

现在开始配置LoRA微调。首先设置一些关键参数：

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=16,           # 秩的大小
    lora_alpha=32,  # 缩放参数
    target_modules=["query_key_value", "dense"],  # 要适配的模块
    lora_dropout=0.1,
    bias="none",
    task_type="CAUSAL_LM"
)

这里的r值是秩的大小，控制LoRA适配器的容量。一般来说，r值越大，能力越强，但也会增加训练参数。对于大多数任务，8到32之间的值就足够了。

5.2 创建LoRA模型

用几行代码就可以创建LoRA模型：

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

运行print_trainable_parameters()后，你会看到只有很少比例的参数是可训练的，这就是LoRA节省资源的关键。

5.3 设置训练参数

接下来配置训练参数：

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir="./glm-4-lora",
    per_device_train_batch_size=1,
    gradient_accumulation_steps=8,
    learning_rate=2e-4,
    num_train_epochs=3,
    logging_dir="./logs",
    logging_steps=10,
    save_steps=500,
    fp16=True,
    remove_unused_columns=False
)

这些参数中，learning_rate通常设置在1e-4到3e-4之间，batch_size根据你的显存调整。如果显存不够，可以减小batch_size但增加gradient_accumulation_steps。

5.4 开始训练

一切就绪后，开始训练：

from transformers import Trainer

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_dataset,
    data_collator=lambda data: {'input_ids': torch.stack([d['input_ids'] for d in data]),
                              'attention_mask': torch.stack([d['attention_mask'] for d in data]),
                              'labels': torch.stack([d['labels'] for d in data])}
)

trainer.train()

训练过程中，你可以看到损失值逐渐下降。如果损失不再下降，可能意味着模型已经收敛，可以提前停止训练。

6. 模型评估与使用

6.1 评估微调效果

训练完成后，需要评估模型在目标领域的效果。可以准备一些测试问题，比较微调前后的回答质量。

def evaluate_model(test_questions):
    for question in test_questions:
        inputs = tokenizer.apply_chat_template(
            [{"role": "user", "content": question}],
            add_generation_prompt=True,
            return_tensors="pt"
        ).to(model.device)
        
        outputs = model.generate(
            inputs,
            max_new_tokens=256,
            temperature=0.7,
            do_sample=True
        )
        
        response = tokenizer.decode(outputs[0], skip_special_tokens=True)
        print(f"问题: {question}")
        print(f"回答: {response}")
        print("-" * 50)

6.2 保存和加载LoRA权重

训练好的LoRA权重可以单独保存：

model.save_pretrained("./glm-4-lora-weights")

使用时只需要加载基础模型和LoRA权重：

from peft import PeftModel

# 加载基础模型
base_model = AutoModelForCausalLM.from_pretrained(
    "THUDM/glm-4-9b-chat-1m",
    trust_remote_code=True
)

# 加载LoRA权重
model = PeftModel.from_pretrained(base_model, "./glm-4-lora-weights")

6.3 实际使用示例

下面是一个使用微调后模型的完整示例：

def chat_with_model(question):
    # 格式化输入
    conversation = [{"role": "user", "content": question}]
    inputs = tokenizer.apply_chat_template(
        conversation,
        add_generation_prompt=True,
        return_tensors="pt"
    ).to(model.device)
    
    # 生成回答
    outputs = model.generate(
        inputs,
        max_new_tokens=512,
        temperature=0.7,
        top_p=0.9,
        do_sample=True
    )
    
    # 提取回答部分
    response = outputs[0][inputs.shape[1]:]
    return tokenizer.decode(response, skip_special_tokens=True)

# 使用示例
question = "请解释一下合同法中的不可抗力条款"
answer = chat_with_model(question)
print(answer)