← 返回文章列表

DeepSeek 论文阅读:结构、推理与多模态

按 V2、V3、R1、VL2 和 OCR 几条路线整理 DeepSeek 论文,区分结构、训练与部署问题。

DeepSeek 的文章越来越多,只记模型名字,过一段时间就容易混起来。这里按几个问题整理阅读入口:模型结构怎么省资源,推理能力怎么训练,多模态又是怎么接进去的。

原有的 DeepSeek 阅读记录

先把几条线分开

方向可以先读什么重点看什么
模型结构与训练DeepSeek-V2、V3MoE、注意力、训练和推理的资源开销
推理与后训练DeepSeek-R1强化学习、冷启动数据、蒸馏
通用视觉语言模型DeepSeek-VL2图像编码、多模态理解、动态分辨率
文档识别DeepSeek-OCR、OCR 2视觉压缩、文字与版面恢复

它们不是同一个模型的几个大小版本。做图文问答和做 PDF 识别,问题不同,评价方式也不同。

DeepSeek-V2:先看结构

V2 可以用来理解两件事:MoE 为什么能让总参数量和每次计算的参数量分开,以及 MLA 为什么要处理注意力中的 KV 缓存开销。

读的时候先画出一层的结构,再分别看专家选择、共享专家和注意力。不要把“激活参数更少”直接理解成“整个模型能放进更小的显存”:权重存储和计算量是两件事。

入口:V2 论文、官方仓库。

DeepSeek-V3:看工程怎么接上结构

V3 继续沿用 MLA 和 MoE 路线,报告中还有辅助损失之外的负载均衡、FP8 训练和多 token 预测等内容。可以先对照 V2,标出哪些是结构变化,哪些是在训练工程上减少成本。

这里的阅读重点是“作者为了什么约束做了什么取舍”。报告里的训练成本有它对应的口径,不能拿一个数字当作整个研发成本,也不能直接推成个人电脑的部署需求。

入口:V3 技术报告、官方仓库。

DeepSeek-R1:看推理能力的训练过程

R1-Zero 和 R1 要分开看。前者探索直接用强化学习推动推理能力,后者加入冷启动和后续训练流程,处理可读性等问题。阅读时可以沿着“数据从哪里来、奖励衡量什么、训练后解决了什么问题”去整理。

还有一个很容易混的地方:R1 的蒸馏模型并不是把完整 R1 的权重简单压缩成小模型,而是用生成的数据去训练其他模型。具体底座和发布版本要看模型卡。R1 论文和官方仓库都有对应说明。

之前的 R1-32B 部署记录可以作为部署入口,但读论文时仍然要区分完整模型和蒸馏版本。

DeepSeek-VL2 和 OCR:视觉任务也要分清

VL2 面向视觉语言理解,适合沿着图像编码器、连接模块、语言模型这条线去读。它和纯文本模型一样有 MoE 设计,也需要考虑图像分辨率与输入 token 的关系。入口是 VL2 论文。

OCR 的阅读问题则更具体:一页文档怎样变成视觉 token,文字能否恢复,表格和版面关系能否保留。DeepSeek-OCR讨论视觉方式压缩文本上下文,OCR 2进一步讨论视觉编码中的阅读顺序。它们的官方实现分别在 OCR 仓库和 OCR 2 仓库。

跑模型的准备与验证方法另放在本地跑模型,这里主要保留论文之间的关系。

阅读时怎么记?

可以给每篇文章固定记五项:要解决的问题、核心方法、训练数据与设置、实验比较的口径、仍然存在的限制。

例如看部署效果时,模型版本、量化方式、输入长度和图像分辨率都要记下来。缺了这些,“这个模型很快”或者“效果不错”就很难比较。

这份索引不是所有 DeepSeek 论文的完整目录,也没有把上游结果写成本地复现成绩;先从上面几条线读,后续的文章就比较容易找到位置。

关于这篇文章的日期

旧日期 2025-01-16 与文章发布记录不符,现按旧站可确认的首次发布日 2026-01-20 整理。实际创作日期尚无法确认。