# 聊天越长越贵还越笨？管好你的对话上下文

asd1151155

372人浏览 · 2026-08-21 11:05:45

asd1151155 · 2026-08-21 11:05:45 发布

关键词：聚合 API、多轮对话、上下文窗口、对话压缩、Token 成本、滑动窗口

做带记忆的 AI 助手，新手最容易踩的坑：把每一轮 user/assistant 都无脑 append 到一个 messages 列表里。

问题有三个，而且会同时爆发：

成本飙升：上下文每轮累加，Token 消耗近似线性增长，长聊一天烧掉不少钱。
超窗口：再大的上下文也有上限，聊久了直接报错 context length exceeded。
越聊越笨：堆满历史后，模型被早期无关信息干扰，回答质量反而下降。

解法就两条，本文用 TokenPortal 聚合 API（一个 base_url + 一个 Key 接 150+ 大模型，OpenAI 兼容）给出最小可运行实现：

滑动窗口（只留最近几轮）+ 摘要压缩（把老对话压成一段）。换模型零改动，摘要还能用更便宜的模型跑。

一、滑动窗口：只保留最近 N 轮

最简单也最常用。超过窗口就把最老的几轮"砍掉"，只留 system + 最近 K 轮。

import os
from openai import OpenAI

# 控制台获取：https://tokenportal.ai （BASE_URL / API_KEY 以控制台为准）
BASE_URL = "https://api.tokenportal.ai/v1"          # 发布前替换为你的真实网关地址
API_KEY  = os.getenv("TP_API_KEY", "YOUR_TOKENPORTAL_KEY")

client = OpenAI(base_url=BASE_URL, api_key=API_KEY)

SYSTEM = "你是一个乐于助人的中文助手。"
KEEP_TURNS = 4          # 始终保留的最近对话轮数
CHAT_MODEL = "deepseek-v4-pro"   # 正式回答用强模型（模型 ID 以控制台为准）

history = []  # 仅存 user/assistant 轮次

def chat(user_msg: str) -> str:
    global history
    history.append({"role": "user", "content": user_msg})
    # 超出窗口：丢弃最老的部分
    if len(history) > KEEP_TURNS:
        history = history[len(history) - KEEP_TURNS:]
    resp = client.chat.completions.create(
        model=CHAT_MODEL,
        messages=[{"role": "system", "content": SYSTEM}] + history,
        temperature=0.7
    )
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    return reply

滑动窗口干净、零额外开销，但有个代价：砍掉的历史就彻底丢了，模型会"忘了"前面聊过什么。

二、摘要压缩：把老对话"折叠"起来

要保留长程记忆，就在砍之前先总结。把超出窗口的旧轮次交给模型压成一段摘要，替换进上下文。这样模型既不被旧信息淹没，又不丢关键事实。

context_summary = ""   # 跨轮累积的对话摘要

def summarize(old_turns: list) -> str:
    # 摘要用与主回答相同的模型即可；想更省可换成 deepseek-v4-flash（以控制台模型广场为准）
    resp = client.chat.completions.create(
        model=CHAT_MODEL,
        messages=[
            {"role": "system", "content": "把对话压缩成一段中文摘要，保留关键事实与未决问题，不超过 120 字。"},
            {"role": "user",   "content": str(old_turns)}
        ],
        temperature=0
    )
    return resp.choices[0].message.content

def chat_with_summary(user_msg: str) -> str:
    global history, context_summary
    history.append({"role": "user", "content": user_msg})
    # 超出窗口：把最老的部分摘要掉，再裁剪
    if len(history) > KEEP_TURNS:
        head = history[:len(history) - KEEP_TURNS]
        context_summary = summarize(head)          # 覆盖式压缩，始终是最新摘要
        history = history[len(history) - KEEP_TURNS:]
    sys_msg = SYSTEM + (f"\n（此前对话摘要：{context_summary}）" if context_summary else "")
    resp = client.chat.completions.create(
        model=CHAT_MODEL,
        messages=[{"role": "system", "content": sys_msg}] + history,
        temperature=0.7
    )
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    return reply