DeepSeek の論文が増え、モデル名だけ覚えていると混同しやすくなりました。構造でどう資源を節約するか、推論能力をどう学習するか、視覚入力をどうつなぐか、という問いで読む入口を整理します。
研究の方向を分ける
| 方向 | 最初に読むもの | 注目する点 |
|---|---|---|
| 構造と学習 | DeepSeek-V2、V3 | MoE、注意機構、学習と推論の資源コスト |
| 推論と事後学習 | DeepSeek-R1 | 強化学習、コールドスタートのデータ、蒸留 |
| 汎用の視覚言語モデル | DeepSeek-VL2 | 画像の符号化、マルチモーダル理解、動的解像度 |
| 文書認識 | DeepSeek-OCR、OCR 2 | 視覚的な圧縮、文字とレイアウトの復元 |
同じモデルのサイズ違いではありません。画像への質問と PDF 認識では、問題も評価方法も異なります。
DeepSeek-V2：構造から読む
V2 では、MoE によって総パラメータ数と計算時に有効な数を分ける仕組み、MLA によって注意機構の KV キャッシュを削減する仕組みを理解できます。
まず 1 層の構成を描き、専門家の選択、共有専門家、注意機構を分けて読みます。有効なパラメータが少なくても、モデル全体が少ない VRAM に収まるとは限りません。重みの保存と計算量は別です。
DeepSeek-V3：構造と実装技術の接続
V3 は MLA と MoE を引き継ぎ、補助損失に依存しない負荷分散、FP8 学習、複数トークン予測なども扱います。V2 と比較し、構造の変更と学習実装によるコスト削減を区別します。
何の制約に対して、どの取捨選択をしたかを読みます。学習費用の数字には集計範囲があり、研究開発全体の費用や個人 PC の要件と同一視できません。
DeepSeek-R1：推論能力の学習過程
R1-Zero と R1 は分けて読みます。前者は強化学習だけで推論を発達させ、後者はコールドスタートのデータや後続の学習で可読性などを改善します。データの出所、報酬の測定対象、各段階で解決する問題を記録します。
蒸留モデルは、完全な R1 の重みを単純に圧縮したものではありません。生成したデータで別のモデルを学習します。基盤モデルと版はモデルカードで確認します。R1 の論文 と 公式リポジトリ に説明があります。
以前の R1-32B の導入記録 は実行の入口になりますが、論文を読むときは完全なモデルと蒸留版を区別します。
DeepSeek-VL2 と OCR：視覚の用途も区別する
VL2 は視覚言語理解を対象とします。画像エンコーダ、接続部、言語モデルの順に読みます。MoE を使い、画像解像度と入力トークン数の関係も考えます。入口は VL2 の論文。
OCR では、文書のページを視覚トークンに変換し、文字、表、レイアウトの関係を復元できるかを確認します。DeepSeek-OCR はテキストの文脈を視覚的に圧縮する方法を扱い、OCR 2 は視覚符号化での読む順序をさらに検討します。実装は OCR のリポジトリ と OCR 2 のリポジトリ。
実行の準備と検証は ローカルでモデルを動かす にまとめ、ここでは論文同士の関係を残します。
読書メモの取り方
問題、中心となる方法、データと学習設定、実験比較の範囲、残る制約の五つを記録します。
導入を比較する場合は、モデルの版、量子化、入力長、画像解像度も残します。条件がないと「速い」「よい」を比較できません。
これは全論文の目録ではなく、読む入口です。上流の結果を自分の再現結果としては扱いません。研究の方向を分けると、後の論文も位置付けやすくなります。