Qwen-3(通义千问 3 系列模型) 中两种文本匹配模型训练与架构的讲解,核心是 “表示型文本匹配(Embedding)” 和 “交互型文本匹配(Reranking)” 的训练逻辑,分两部分看:

1. 左图:Qwen3-Embedding(表示型文本匹配)

  • 用途:做 “表示型文本匹配”,核心是把文本转化为 Embedding 向量,通过向量相似度判断文本匹配度(比如检索场景,用向量找相似内容 )。
  • 输入结构{instruction}+{Query} / {Doc} [EOS] ,把指令、查询文本、文档等拼接成一段文本输入模型。
  • 训练逻辑:模型对输入文本编码,输出 “Embedding” 向量,让语义相似的文本向量更接近,实现文本表示与匹配。

2. 右图:Qwen3-Reranker(交互型文本匹配)

  • 用途:做 “交互型文本匹配”,核心是模拟文本 交互过程 重新排序(比如对初筛的候选文档,进一步判断相关性,挑出最匹配的 )。
  • 输入结构{instruction} {Query} + {Doc} Assistant ,把指令、查询、文档、助手角色等信息组合输入,模拟 “交互对话” 场景。
  • 训练逻辑:模型通过 “M head” 输出 p("yes"|(i,q,d)) 概率,判断文本交互后的匹配度,让相关文本的 “yes” 概率更高,实现重排序。

总结

  • 表示型(Embedding):侧重 “静态向量表示”,用向量相似度快速筛文本;
  • 交互型(Reranking):侧重 “动态交互判断”,模拟对话逻辑精细排序。
    两者配合(比如先 Embedding 粗筛,再 Reranking 精排 ),能提升文本匹配的精度和效率,是大模型检索、问答系统里的常见组合思路。
Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐