从零搭建LLM网关：llm_AIO项目架构全解析

llm_AIO/
├── app/                    # FastAPI应用主体
│   ├── main.py            # 应用入口、路由挂载
│   ├── config.py          # 环境变量配置中心
│   ├── database.py        # 双数据库引擎（用户库 + 文件库）
│   ├── security.py        # JWT认证与密码哈希
│   ├── permissions.py     # 角色权限控制
│   ├── routers/           # 业务路由层（30+接口域）
│   ├── adapters/          # 厂商适配器（阿里、豆包、DeepSeek等）
│   ├── models/            # SQLAlchemy ORM模型
│   ├── services/          # 业务逻辑层
│   │   └── rag/           # 领域RAG子模块
│   └── schemas.py         # Pydantic请求/响应模型
├── convert_url/           # 文件上传与训练任务元数据模块
├── tests/                 # 自动化测试
├── scripts/               # 运维脚本（如RAG PDF批量入库）
├── requirements.txt
├── start.sh / start.bat   # 启动脚本
└── *.md                   # 各类说明文档

📌 工作区并列目录：llmfactory/（封装LlamaFactory后端）、教学/（教学文档）

三、请求如何穿过各层？（核心流程）

text

HTTP请求
  ↓
routers/*.py          # 路由层：校验、鉴权、参数解析
  ↓
services/*.py         # 服务层：业务编排
  ↓
adapters/*.py         # 适配器层：调用外部API或本地推理
  ↓
外部：DashScope / 豆包 / Ollama / LlamaFactory / Chroma
  ↓
models + database     # 持久化

🔐 两种接口模式

类型	路径	鉴权	用途
Playground	`/api/playground/*`	❌ 无需JWT	快速测试对话、图像生成
V1业务接口	`/api/v1/*`	✅ Bearer Token	用户管理、训练、竞赛等

四、关键模块深度解读

1. 适配器层（`app/adapters/`）——厂商统一接入

python

# 适配器基类约定
class BaseAdapter:
    def chat(self, messages, **kwargs): ...
    def generate_image(self, prompt, **kwargs): ...
    def tts(self, text, **kwargs): ...

适配器	对应服务	能力
`aliyun.py`	阿里云DashScope	文本/多模态对话
`aliyun_image.py`	阿里云	图像生成
`doubao.py`	字节豆包	文本对话
`deepseek.py`	DeepSeek	文本对话
`local.py`	Ollama	本地模型推理
`xunfei_audio.py`	讯飞	语音转写

💡 设计亮点：新增厂商只需继承BaseAdapter并注册到services/registry.py，对上层路由透明。

2. LlamaFactory训练微调服务

llm_AIO通过子进程调用llmfactory工程，实现：

python

# app/services/llmfactory_service.py
class LlamaFactoryService:
    def start_train(self, dataset_id, model_name, lora_config):
        # 组装CLI命令，启动subprocess
        # 训练进度通过读取trainer_state.json实时反馈

配套能力：

dataset_validator.py：校验Alpaca/ShareGPT格式
gpu_vram_guard.py：训练前显存预检
qlora_compat.py：检查模型是否支持QLoRA

3. 领域RAG模块（`app/services/rag/`）

采用LangGraph + Chroma实现多阶段检索增强：

text

用户提问
  ↓
rewrite（查询重写）
  ↓
retrieve（向量检索）
  ↓
grade（相关性评分）
  ↓
generate（LLM生成回答）

核心文件：

vector_store.py：Chroma向量库封装
langgraph_agent.py：LangGraph工作流编排
kb_control.py：向量库开关与业务库联动
prompts/*.txt：各阶段提示词模板

4. 双数据库设计

python

# database.py
user_engine    # 用户、角色、权限、竞赛、考试等业务表
convert_engine # 文件上传记录、训练任务元数据

分离原因：文件与训练任务数据量大且独立，与用户业务解耦便于扩展。

五、部署与运维

开发环境

bash

cp .env.example .env
# 填写数据库、云厂商Key等配置
pip install -r requirements.txt
python init_db.py          # 初始化管理员和权限
./start.sh                 # 启动服务（默认8000端口）

生产环境

bash

sudo ./install_systemd.sh  # 安装为systemd服务
sudo systemctl start llm-aio

配置要点（`.env`）

text

# 数据库
USER_DATABASE_URL=postgresql://...
CONVERT_URL_DATABASE_URL=postgresql://...

# 云厂商
DASHSCOPE_API_KEY=sk-xxx
DOUBAO_API_KEY=xxx
DEEPSEEK_API_KEY=xxx

# LlamaFactory
LLMFACTORY_BASE_PATH=/path/to/llmfactory
LLMFACTORY_MODEL_DIR=/path/to/models

# RAG
CHROMA_PERSIST_DIR=./chroma_db
RAG_LLM_MODEL=qwen-max

六、项目亮点总结

亮点	说明
多厂商统一网关	一套API对接阿里、豆包、DeepSeek、Ollama
训练微调一体化	通过LlamaFactory实现数据集上传→训练→推理全链路
双库分离	用户库与文件/任务库解耦，便于横向扩展
RAG工程化	LangGraph+Chroma，提示词模板与向量检索可配置
竞赛/考试业务	不只是网关，还内置了教育场景的完整业务流程
生产就绪	systemd脚本、环境变量模板、API文档齐全