MindSpore Transformers 是昇思生态面向大语言模型（LLM）的一站式开发套件，提供开箱即用的预训练、有监督微调、推理全流程能力，深度适配昇腾 NPU 硬件，支持 Qwen、LLaMA、Baichuan、GLM 等主流大模型。本文围绕预训练与微调的核心原理、流程、配置与可直接运行的实践代码展开，覆盖环境准备、数据处理、任务启动、效果验证全环节，严格遵循昇腾社区技术博客格式。

一、LLM 预训练与微调核心定位

预训练与微调是大语言模型工业化落地的两大核心阶段，共同构成 “通用基础能力→场景专用能力” 的完整链路。

1.1 预训练（Pre-training）

• 基于海量无标注通用语料，从头训练或持续训练基座模型，学习语言规律、世界知识、语义表示与推理能力。
• 目标：获得具备通用理解与生成能力的基座模型。
• 特点：数据规模大、算力消耗高、训练周期长、支持多节点分布式并行。

1.2 有监督微调（Supervised Fine-Tuning, SFT）

• 在预训练基座模型基础上，使用指令类标注数据进行轻量化训练，让模型学会遵循指令、对齐人类偏好。
• 目标：将基座模型转化为可直接落地的对话 / 任务模型。
• 特点：数据量小、训练快、成本低、支持 LoRA/QLoRA 等高效微调。

1.3 MindSpore Transformers 核心优势

• 统一架构：预训练、微调、推理共用一套配置与代码，一键切换。
• 昇腾深度优化：NPU 算子融合、内存复用、多流调度、分布式并行原生支持。
• 轻量化微调：内置 LoRA、QLoRA、Adapter，单卡可跑 7B/13B 模型微调。
• 生态兼容：支持 Hugging Face 权重导入、标准数据集格式、配置文件复用。

二、整体流程与架构

MindSpore Transformers LLM 训练遵循标准化流程，确保可复现、可扩展、可运维。

1. 环境与依赖配置
2. 模型权重准备（Hugging Face → MindSpore 格式）
3. 数据集下载与预处理
4. 编写 / 加载 YAML 配置文件
5. 启动预训练 / 微调任务
6. 日志监控与 checkpoint 保存
7. 模型效果验证与推理

整体采用配置驱动 + 模块化设计，用户只需修改配置，无需修改核心代码即可完成任务。

三、环境准备（可直接执行）

# 配置昇腾PyPI源
pip config set global.index-url https://pypi.mindspore.cn/simple

# 安装基础依赖
pip install mindspore==2.4.0
pip install mindspore-transformers
pip install datasets sentencepiece protojieba

# 克隆项目（获取配置与脚本）
git clone https://gitee.com/mindspore/mindformers.git
cd mindformers

四、LLM 预训练实践

预训练用于基座模型持续学习与增量训练，适合企业级私有语料增强。

4.1 配置文件（pretrain_llama2_7b.yaml）

model_type: llama2
model:
  model_config:
    seq_length: 2048
    vocab_size: 32000
    hidden_size: 4096
    num_layers: 32
    num_heads: 32
processor:
  return_token_type_ids: False
dataset:
  data_loader:
    type: TextDataset
    input_dir: ./data/pretrain_data/
trainer:
  batch_size: 8
  epochs: 2
  sink_mode: True
  sink_size: 2

4.2 启动预训练（单机多卡）

# 8卡分布式预训练
bash scripts/msrun_launcher.sh \
"python run_mindformer.py \
--config configs/llama2/pretrain_llama2_7b.yaml \
--run_mode train \
--use_parallel True" 8

五、LLM 有监督微调（SFT）实践

微调更贴近业务落地，以 Alpaca 指令数据集为例。

5.1 数据集准备

# 下载并加载Alpaca指令数据集
from datasets import load_dataset

dataset = load_dataset("tatsu-lab/alpaca")
dataset = dataset["train"].train_test_split(test_size=0.05)
dataset.save_to_disk("./alpaca_data")

5.2 微调配置（finetune_llama2_7b_lora.yaml）

model_type: llama2
use_peart: True
peart_type: lora
lora_rank: 8
lora_alpha: 32
lora_dropout: 0.05
train_dataset:
  data_loader:
    type: InstructionDataset
    input_dir: ./alpaca_data
trainer:
  batch_size: 4
  lr: 2e-4
  epochs: 3

5.3 启动 LoRA 微调

# 单卡微调
python run_mindformer.py \
--config configs/llama2/finetune_llama2_7b_lora.yaml \
--run_mode finetune \
--load_checkpoint ./ckpt/llama2_7b_pretrain.ckpt

六、模型效果验证

from mindformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("llama2_7b")
model = AutoModel.from_pretrained("llama2_7b", checkpoint_name="./output/ckpt/rank_0/llama2_7b_finetuned.ckpt")

inputs = tokenizer("介绍一下昇腾AI平台")
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs))

七、关键注意事项

• 模型权重必须完成格式转换：PyTorch .bin → MindSpore .ckpt。
• 序列长度seq_length必须与模型训练一致，否则会导致精度下降。
• 开启 LoRA 时，lora_rank一般设置为 4~32，越大显存占用越高。
• 多卡训练必须配置hostfile并指定use_parallel: True。
• 数据集必须为 UTF-8 格式，指令微调必须包含instruction、input、output字段。
• 昇腾环境必须先加载 CANN 环境变量，否则无法识别 NPU 设备。
• 训练过程中定期保存 checkpoint，避免异常中断导致训练成果丢失。
• 微调时学习率不宜过大，通常设置在1e-5 ~ 5e-4之间。
• 显存不足时可开启load_in_4bit量化，显著降低内存占用。

八、总结

MindSpore Transformers 为 LLM 全生命周期提供极简、高效、稳定的开发范式。预训练可基于私有语料构建专属基座模型，微调可快速将通用模型转化为行业可用模型，配合 LoRA、分布式并行、昇腾 NPU 深度优化，大幅降低企业大模型落地门槛。从配置、数据到启动、验证的全流程标准化，让开发者快速完成大模型训练与迭代，真正实现开箱即用。