DeepSeek-V3 技术揭秘 | 从[MASK]到万物：解读全新生成模型框架“Discrete Interpolants”

大模型领域的发展日新月异，每天都有许多有趣的论文值得深入品读。下面是本期的论文：1、突破开源语言模型极限，DeepSeek-V3 技术揭秘2、从[MASK]到万物：解读全新生成模型框架“Discrete Interpolants”

Android老皮

1547人浏览 · 2024-12-27 11:04:09

Android老皮 · 2024-12-27 11:04:09 发布

大模型领域的发展日新月异，每天都有许多有趣的论文值得深入品读。下面是本期的论文：

1、突破开源语言模型极限，DeepSeek-V3 技术揭秘
2、从[MASK]到万物：解读全新生成模型框架“Discrete Interpolants”

1、突破开源语言模型极限，DeepSeek-V3 技术揭秘

在这里插入图片描述

1. DeepSeek-V3 的独特之处：参数巨大却高效

DeepSeek-V3 是一款具有 6710 亿参数的大规模专家混合（MoE）模型，其中每个 token 激活 370 亿参数。通过引入多头潜在注意力（MLA）和 DeepSeekMoE 架构，它实现了高效的推理和经济的训练成本。在此基础上，DeepSeek-V3 还开创了一种“无辅助损失”的负载平衡策略，并采用多 token 预测的训练目标，进一步增强模型性能。这些创新使得 DeepSeek-V3 成为一个性能卓越且成本低廉的开源语言模型。

2. 前沿技术实现经济训练

DeepSeek-V3 的训练效率令人瞩目，整个训练仅耗费了 278.8 万 GPU 小时，相当于不到两个月完成预训练。如果按每小时 GPU 租赁价格 557.6 万。其背后的关键技术包括支持 FP8 混合精度训练、DualPipe 高效流水线算法，以及优化的跨节点通信内核，这些技术共同解决了大规模模型的通信瓶颈问题，显著提升了训练效率。

3. 全面评估：挑战闭源模型的表现

在知识、数学、代码等多个基准测试中，DeepSeek-V3 均表现出色。例如，它在数学基准 MATH-500 上超越了部分闭源模型，并在中文问答任务中表现尤为突出。在代码生成任务中，DeepSeek-V3 也是开源领域的佼佼者。其整体性能与 GPT-4o 和 Claude-3.5-Sonnet 等闭源模型相媲美，表明开源模型与闭源模型之间的差距正在逐步缩小。

4. 从设计到应用：未来研究的基石

DeepSeek-V3 不仅通过创新设计和高效训练奠定了开源模型的新标杆，还将CoT能力融入其中，使其在复杂推理任务中表现优异。论文的完整模型和代码已在 GitHub 开源，为学术界和工业界提供了进一步优化和研究的基础。

论文链接：https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf

模型：https://github.com/deepseek-ai/DeepSeek-V3

2、从[MASK]到万物：解读全新生成模型框架“Discrete Interpolants”

在这里插入图片描述

近年来，生成模型领域涌现了两大核心方向：基于掩码预测的Masked Generative Models（MGM）和基于噪声预测的非自回归模型（如Diffusion Models)。尽管二者在视觉生成任务中各显神通，它们之间的联系却少有深入研究。本文介绍了一种名为Discrete Interpolants的新框架，不仅连接了这两种模型，还推动了生成与判别任务的统一。

这项研究的核心在于重新定义了图像分割等判别任务：通过将图像生成视为一个“逐步揭示[MASK]”的过程，Discrete Interpolants框架仅需一次联合训练，就能适配各种判别和生成任务。这种方法大幅提升了条件采样的灵活性，同时在ImageNet256、MS COCO等数据集上取得了当前最优或竞争力的表现，更展示了从图像到视频生成的强大可扩展性。