📌 GLM-5.2 的主分支注意力改用 DeepSeek 风格的 interleaved RoPE,indexer 仍然用非交错的 half-split RoPE(GLM-5 主分支注意力的实现)。
    
🎯 今天来解析 interleaved RoPE 相对 half-split RoPE 的区别。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐