← 返回文章列表

DeepSeek 論文閱讀:結構、推理與多模態

按 V2、V3、R1、VL2 和 OCR 幾條路線整理 DeepSeek 論文,區分結構、訓練與部署問題。

DeepSeek 的文章越來越多,只記模型名字,過一段時間就容易混起來。這裡按幾個問題整理閱讀入口:模型結構怎麼省資源,推理能力怎麼訓練,多模態又是怎麼接進去的。

原有的 DeepSeek 閱讀記錄

先把幾條線分開

方向可以先讀什麼重點看什麼
模型結構與訓練DeepSeek-V2、V3MoE、注意力、訓練和推理的資源開銷
推理與後訓練DeepSeek-R1強化學習、冷啟動資料、蒸餾
通用視覺語言模型DeepSeek-VL2影象編碼、多模態理解、動態解析度
文件識別DeepSeek-OCR、OCR 2視覺壓縮、文字與版面恢復

它們不是同一個模型的幾個大小版本。做圖文問答和做 PDF 識別,問題不同,評價方式也不同。

DeepSeek-V2:先看結構

V2 可以用來理解兩件事:MoE 為什麼能讓總引數量和每次計算的引數量分開,以及 MLA 為什麼要處理注意力中的 KV 快取開銷。

讀的時候先畫出一層的結構,再分別看專家選擇、共享專家和注意力。不要把“啟用引數更少”直接理解成“整個模型能放進更小的視訊記憶體”:權重儲存和計算量是兩件事。

入口:V2 論文、官方倉庫。

DeepSeek-V3:看工程怎麼接上結構

V3 繼續沿用 MLA 和 MoE 路線,報告中還有輔助損失之外的負載均衡、FP8 訓練和多 token 預測等內容。可以先對照 V2,標出哪些是結構變化,哪些是在訓練工程上減少成本。

這裡的閱讀重點是“作者為了什麼約束做了什麼取捨”。報告裡的訓練成本有它對應的口徑,不能拿一個數字當作整個研發成本,也不能直接推成個人電腦的部署需求。

入口:V3 技術報告、官方倉庫。

DeepSeek-R1:看推理能力的訓練過程

R1-Zero 和 R1 要分開看。前者探索直接用強化學習推動推理能力,後者加入冷啟動和後續訓練流程,處理可讀性等問題。閱讀時可以沿著“資料從哪裡來、獎勵衡量什麼、訓練後解決了什麼問題”去整理。

還有一個很容易混的地方:R1 的蒸餾模型並不是把完整 R1 的權重簡單壓縮成小模型,而是用生成的資料去訓練其他模型。具體底座和發布版本要看模型卡。R1 論文和官方倉庫都有對應說明。

之前的 R1-32B 部署記錄可以作為部署入口,但讀論文時仍然要區分完整模型和蒸餾版本。

DeepSeek-VL2 和 OCR:視覺任務也要分清

VL2 面向視覺語言理解,適合沿著影象編碼器、連線模組、語言模型這條線去讀。它和純文字模型一樣有 MoE 設計,也需要考慮影象解析度與輸入 token 的關係。入口是 VL2 論文。

OCR 的閱讀問題則更具體:一頁文件怎樣變成視覺 token,文字能否恢復,表格和版面關係能否保留。DeepSeek-OCR討論視覺方式壓縮文字上下文,OCR 2進一步討論視覺編碼中的閱讀順序。它們的官方實現分別在 OCR 倉庫和 OCR 2 倉庫。

跑模型的準備與驗證方法另放在本地跑模型,這裡主要保留論文之間的關係。

閱讀時怎麼記?

可以給每篇文章固定記五項:要解決的問題、核心方法、訓練資料與設定、實驗比較的口徑、仍然存在的限制。

例如看部署效果時,模型版本、量化方式、輸入長度和影象解析度都要記下來。缺了這些,“這個模型很快”或者“效果不錯”就很難比較。

這份索引不是所有 DeepSeek 論文的完整目錄,也沒有把上游結果寫成本地復現成績;先從上面幾條線讀,後續的文章就比較容易找到位置。

關於這篇文章的日期

舊日期 2025-01-16 與文章發布記錄不符,現按舊站可確認的首次發布日 2026-01-20 整理。實際創作日期尚無法確認。

原始日期: 2025-01-16 21:15:06 +0800