1. 项目包括

供完整的 MiniMind-LLM 结构代码（Dense + MoE），当前主线结构对齐 Qwen3 / Qwen3-MoE 生态。

提供 Tokenizer 与分词器训练代码，支持 <tool_call>、<tool_response>、<think> 等模板标记。

覆盖 Pretrain、SFT、LoRA、RLHF-DPO、RLAIF（PPO / GRPO / CISPO）、Tool Use、Agentic RL、自适应思考与模型蒸馏等完整训练流程。

提供全阶段开源数据，覆盖收集、蒸馏、清洗与去重后的高质量数据集。

关键训练算法与核心模块均从 0 实现，不依赖第三方框架封装。

兼容 transformers、trl、peft 等主流框架，以及 llama.cpp、vllm、ollama 等常用推理引擎与 Llama-Factory 等训练框架。

支持单机单卡与单机多卡（DDP、DeepSpeed）训练，支持 wandb / swanlab 可视化与动态启停训练。

支持在 C-Eval、C-MMLU、OpenBookQA 等第三方测评集上进行评测，并支持通过 YaRN 实现 RoPE 长文本外推。

提供兼容 OpenAI API 协议的极简服务端，便于接入 FastGPT、Open-WebUI 等第三方 Chat UI，并支持 reasoning_content、tool_calls、open_thinking。

提供基于 Streamlit 的极简聊天 WebUI，支持思考展示、工具选择与多轮 Tool Call。

1. 创建环境

conda create –name minimind python=3.10

conda env list

conda activate minimind

学术加速：

source /etc/network_turbo

可以安装包单独下载，然后上传解压

解压缩：

       unzip .zip

解压之后进入，安装依赖：

安装依赖中：

1. 前置知识

神经网络是什么？

function（）；输入是x输出是y，拟合函数。

attention是什么？3b1b的视频看一下

完形填空的预测词语。根据前面的信息预测出下一个信息是什么。加权求和。

1. minimind架构图

创建一个文件：uv init

将其依赖粘贴过来：

然后继续使用uv sync。创建虚拟环境安装依赖

重启终端，加载环境

创建这几个文件：