LM-BFF vs GPT-3：少样本学习谁更胜一筹？ACL 2021论文深度解读

【免费下载链接】LM-BFF [ACL 2021] LM-BFF: Better Few-shot Fine-tuning of Language Models https://arxiv.org/abs/2012.15723 项目地址: https://gitcode.com/gh_mirrors/lm/LM-BFF

LM-BFF（Better Few-shot Fine-tuning of Language Models）是ACL 2021年提出的少样本学习框架，通过提示工程和优化的微调策略，让预训练语言模型在数据稀缺场景下实现高效学习。与依赖海量参数的GPT-3不同，LM-BFF聚焦于通过精巧的方法提升小样本性能，为资源有限的研究者提供了更实用的解决方案。

🧠 少样本学习的核心挑战

在自然语言处理任务中，标注数据往往稀缺且昂贵。传统微调方法在数据量不足时容易过拟合，而GPT-3等模型虽能通过上下文学习实现少样本推理，但需要惊人的1750亿参数支撑，这对普通研究者而言几乎不可企及。

LM-BFF提出了两大创新策略来解决这一困境：

• 基于提示的微调：将分类任务转化为掩码语言模型（MLM）任务，利用自然语言提示引导模型学习
• 优化的演示集成：通过自动模板生成和示例筛选，提升上下文学习效率

📊 LM-BFF的技术原理

LM-BFF的核心架构如图所示，展示了从预训练到微调的完整流程：

1. 提示工程与模板自动生成

传统微调直接将文本输入模型并预测标签，而LM-BFF通过精心设计的模板将任务重构为填空问题。例如情感分析任务中：

原始句子："这是一部精彩的电影"
LM-BFF模板："[CLS] 这是一部[MASK]的电影。[SEP]"

模型需预测[MASK]位置的词（如"精彩"或"糟糕"）来判断情感极性。项目提供了自动模板生成工具tools/generate_template.py，可基于T5模型批量创建高质量模板。

2. 标签词映射优化

标签与词汇的映射直接影响模型性能。LM-BFF通过tools/generate_labels.py自动搜索最优映射关系，例如在情感分析中找到"great"和"terrible"作为正负标签的最佳词汇表达。这种映射关系存储在auto_label_mapping目录中，支持一键加载。

3. 动态演示筛选

在少样本场景下，示例的质量比数量更重要。LM-BFF通过Sentence-BERT计算文本嵌入，筛选与当前输入最相似的示例作为上下文，这一过程通过tools/get_sbert_embedding.py实现，有效提升了演示样本的利用率。

💻 快速上手LM-BFF

环境准备

LM-BFF的依赖项清晰列在requirements.txt中，主要包括：

• PyTorch 1.6.0
• Transformers 3.4.0
• Sentence-transformers 0.4.0
• Scikit-learn 0.24.0

通过以下命令快速安装：

pip install -r requirements.txt

数据准备

项目提供了15个常用NLP数据集的自动下载脚本：

cd data
bash download_dataset.sh
python tools/generate_k_shot_data.py  # 生成少样本数据集

生成的数据将存储在data/k-shot目录，按数据集名称/K-种子值的结构组织。

基础运行示例

以SST-2情感分析任务为例，使用RoBERTa-large模型的命令如下：

python run.py \
    --task_name SST-2 \
    --data_dir data/k-shot/SST-2/16-42 \
    --model_name_or_path roberta-large \
    --few_shot_type prompt-demo \
    --template "*cls**sent_0*_It_was*mask*.*sep+*" \
    --mapping "{'0':'terrible','1':'great'}" \
    --output_dir result/sst2_demo

关键参数--few_shot_type支持三种模式：标准微调（finetune）、提示微调（prompt）和带演示的提示微调（prompt-demo）。

🔍 LM-BFF vs GPT-3：核心差异分析

特性	LM-BFF	GPT-3
参数规模	基于现有模型（如RoBERTa-large约3.5亿参数）	1750亿参数
学习方式	微调适配下游任务	上下文学习（零训练参数）
数据效率	16样本/类即可达到优异性能	需要更多上下文示例
计算成本	普通GPU可运行	需超大规模计算集群
灵活性	支持模板与标签词自定义	依赖固定提示格式

LM-BFF的创新点在于将提示工程与微调结合，既保留了上下文学习的优势，又通过参数更新实现了任务深度适配。在16-shot设置下，LM-BFF在多个任务上超越了GPT-3的少样本性能，证明了方法的有效性。

🚀 高级应用技巧

自动模板搜索

通过T5模型生成高质量模板：

python tools/generate_template.py \
    --output_dir my_templates \
    --task_name SST-2 \
    --t5_model t5-3b \
    --beam 100

生成的模板可通过tools/sort_template.py按性能排序，选择最优模板用于后续实验。

模型集成

组合多个模板的预测结果进一步提升性能：

python tools/ensemble.py \
    --condition "{'tag': 'my_ensemble', 'task_name': 'sst-2'}" \
    --n_models 20

这一方法在论文中被证明能稳定提升1-2%的准确率。

零样本学习

无需训练数据即可进行预测：

TAG=zero-shot TYPE=prompt TASK=SST-2 MODEL=roberta-large bash run_experiment.sh "--no_train"

适合快速验证模型在新任务上的迁移能力。

📈 实验效果与适用场景

LM-BFF在14个NLP任务上进行了全面评估，特别在以下场景表现突出：

• 情感分析（SST-2、MR）：16样本下准确率达90%+
• 自然语言推断（MNLI、RTE）：显著超越传统微调方法
• 问答任务（QNLI）：通过模板工程实现高效迁移

对于资源有限的研究者和中小企业，LM-BFF提供了无需巨额算力即可实现强少样本性能的解决方案。其代码架构清晰，工具链完善，支持快速适配新任务和数据集。

🔖 总结与展望

LM-BFF通过提示工程+优化微调的创新组合，在少样本学习领域树立了新标杆。与GPT-3的"大力出奇迹"不同，LM-BFF展示了精巧方法设计的力量——通过理解语言模型的内在机制，我们可以用更少的资源实现更高效的学习。

项目源码已开源，包含完整的实验复现脚本和预生成的模板文件，欢迎通过以下命令获取：

git clone https://gitcode.com/gh_mirrors/lm/LM-BFF

随着提示学习研究的深入，LM-BFF开创的方法将继续启发更多高效、经济的NLP解决方案，推动自然语言处理技术向更普惠的方向发展。

【免费下载链接】LM-BFF [ACL 2021] LM-BFF: Better Few-shot Fine-tuning of Language Models https://arxiv.org/abs/2012.15723 项目地址: https://gitcode.com/gh_mirrors/lm/LM-BFF