背景

1. 锻炼大模型微调能力，为专业领域赋能。
2. 以医疗知识为背景，进行CoT微调
3. 微调Base模型: DeepSeek-R1-Distill-Qwen-7B
4. 微调数据集: medical-o1-reasoning-SFT
5. 欢迎大家交流微调经验知识，有比较专业的同学可以评论表达自己的看法。

环境：

1. A100 GPU （30%）,72G内存, 24G显存
2. unsloth，一个高效微调工具包，可以大幅度节省内存占用
3. transformers，peft相关包
4. CUDA 12.4, pytorch >= 2.4.0

第一次微调参数：

模型加载：第一次模型加载时： load_in_4bit=True

资源占用: 因为第一次用的是load_in_4bit=True，所以GPU显存占用为7B。lora微调参数大约才4000W，占比整个大模型的参数的0.5%左右。

加载模型

1. 采用中文prompt 整理数据集

微调prompt

2. 微调训练参数设置

lora微调设置

训练参数设置

第一次微调loss

loss/step

备注： 因为中间有训练中断，所以分为了3次进行微调，总训练9500步，3个epochs。

smooth loss

备注：可以比较明显的看出来，每个epoch过后会出现一个明显的loss下降

第二次微调(进行中...)

模型加载：load_in_4bit = False

资源占用: 内存4.75G，显存17G，lora微调参数大约还是在4000w，占比整个大模型的0.5%左右。

微调时资源占用情况

1. 调整prompt为英文模板，主要原因数据集数据主要为英文数据。
2. 训练参数无任何调整。
3. 绿色线 是第二次微调。

备注：可以看出英文版prompt的微调比中文prompt更有优势。

---

prompt:你好。好久不见

备注： 可以看到之前的能力还是有保留，并未出现灾难性遗忘的问题。

第一次微调后的模型

---

第一次微调后的模型，专业问题提问

备注：出现中英文混合，同时回答混乱，该问题是微调数据集中的中文数据集其中一个提问。

---

第二次微调模型评估

中英文混杂

备注：学到了###Response格式，

---

英文prompt

备注：思考过程不太严谨，但是最终结果是正确的，因为该数据存在训练集里。

---

prompt：春天到了，最近这两天突然出现，频繁打喷嚏，眼角痒痒，这是为什么？

第二次微调的模型

备注：这个一条自己写的问题，发现模型输出会出现重复内容，中英文混杂的现象。

prompt: 护肝片有什么作用？

第二次微调的模型输出结果

备注：这是一条自己写的问题，发现模型并未出现<think>过程。

总结：

一、模型效果与发现

1. 能够识别输出模式 ###Response。
2. 回答都会列举ABC等选项，难道是数据集中这种问题占比过多，并未确认？
3. 并未出现灾难性遗忘的状况。
4. 回答问题时会出现中英文混杂现象，我在微调时仅使用了英文数据集。
5. 评估时偶尔会出现没有思考过程的情况。

二、反思与优化

1. train_prompt并未完全遵循模型的chat_tempelete，需要进行调整，可能会导致模型输出的内容格式不标准。
2. 并未尝试不同的 lr、batch_size等，可以通过小规模测试，观察不同lr，batch_size时loss的情况。

 

 

 如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓