在如今的大模型微调领域，数据集的获取常常是技术人员面临的一个重大挑战。

尽管微调工具和软件越来越容易获得，但数据集的收集工作却常常让人头疼，尤其是对那些缺乏时间和资源的团队而言。

今天，我们要分享一个极具价值的中文大模型微调数据集，来自DeepSeek的蒸馏版本，经过精心筛选和清洗，现已开源，供大家直接下载使用。

数据集概述

Chinese-DeepSeek-R1-Distill 是一个包含110K中文样本的数据集，涵盖了数学、考试、STEM（科学、技术、工程和数学）以及通用领域的数据。此数据集的独特之处在于其不仅包含数学领域的样本，还涵盖了逻辑推理、知乎、小红书等多种通用类型的数据，适用于多个领域的大模型微调。

数据集组成：

• Math（数学）：36,987个样本

• Exam（考试）：2,440个样本

• STEM（科学、技术、工程和数学）：12,000个样本

• General（通用）：58,573个样本，包含了从弱智吧、逻辑推理、小红书、知乎到Chat等多个来源

数据来源

这些数据的来源广泛且多样，涵盖了多个不同领域，提供了非常丰富的中文数据资源。数据的prompt源包括：

• Haijian/Advanced-Math

• gavinluo/applied_math

• meta-math/GSM8K_zh

• EduChat-Math

• m-a-p/COIG-CQIA

• m-a-p/neo_sft_phase2

• hfl/stem_zh_instruction

数据蒸馏过程

为了保证数据质量和模型的稳定性，整个数据蒸馏过程严格按照DeepSeek-R1官方提供的细节进行操作。我们在蒸馏过程中未增加额外的系统提示词，设置了合适的temperature为0.6。同时，为了确保数学类任务的有效性，每个数学类型数据的prompt前都添加了“请一步步推理，并把最终答案放到 \boxed{}”的提示词，强制模型按照思路逐步推理，避免跑题或错过关键信息。

此外，为了提升稳定性，蒸馏过程中强制在每个输出的开头增加了换行符“\n”，保证每次生成的数据都在一个合理的格式内。此外，整个蒸馏任务期间，系统保持了300并发，64K的上下文支持和32K的输出长度，确保了长时间运行的稳定性。

数据集获取方式

此数据集已经开源，供广大开发者和研究者下载使用：

点击下方卡片，回复关键词“数据集”获取

这个数据集不仅为中文领域的AI研究提供了丰富的基础数据，也为大模型微调提供了一个极具参考价值的样本。无论是做数学推理、科学技术问题，还是其他各类自然语言处理任务，这些数据都能为你提供强有力的支持。

致谢

我们特别感谢数据集的作者，刘聪NLP同学，他为此数据集的创建和分享做出了巨大贡献。他的工作不仅为中文NLP研究者提供了宝贵的资源，也为整个AI社区的发展做出了积极贡献。

希望大家能够积极参与并充分利用这个数据集，不断推进中文大模型的研究与应用。

通过这个数据集，微调中文大模型的门槛变得更低，更多开发者可以参与进来，推动中文AI技术的进一步发展。
读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓