【Geek Terminal】RTX 5070 Tiで79t/sを叩き出す変態技術！Qwen3.6 MoEの「VRAM不足」を力技で解決する新フラグの衝撃

以前お伝えした4月13日のQwen3.5リリース、および4月16日のllama.cppによる全体的な高速化アップデートの系譜を継ぐ、極めて衝撃的な続報が入ってきました。2026年4月19日、ローカルLLMコミュニティは、最新のMoE（Mixture of Experts）アーキテクチャである「Qwen3.6-35B-A3B」において、VRAM不足を力技で解決し、ミドルレンジGPUで驚異的な推論速度を叩き出す新フラグ『–n-cpu-moe』の発見に沸いています。

【事象の全貌と背景】「アクティブ3B」という甘い罠からの脱却

これまで、MoEモデル（特にQwenシリーズのA3B構成）は、ローカルLLMユーザーにとって「期待と絶望」が入り混じる存在でした。理論上の計算量（FLOPs）はわずか3B（30億パラメータ）分でありながら、推論を高速化するためには35B（350億パラメータ）すべての重みをVRAM上に展開しなければならなかったからです。16GB VRAMしか持たないRTX 4080やRTX 5070 Tiでは、モデルの半分以上がメインメモリ（RAM）へ溢れ出し、PCIeバスを介した低速な通信がボトルネックとなって、推論速度は1.5t/s〜2.0t/sという「実用には程遠いレベル」に沈んでいました。まさに、マーケティング上の「アクティブ3B」という言葉に踊らされたユーザーたちが、VRAMの壁に激突していたのがこれまでの現実でした。

しかし、Qwen3.6の登場と共に、この力学が根本から覆されました。Qwen3.6はエージェントコーディングに特化した最適化が施されており、その疎な構造（Sparsity）を最大限に利用する新しい推論アプローチが、有志の開発者たちによってllama.cppのリポジトリ内で発見されたのです。それが、物議を醸している『–n-cpu-moe』フラグです。

【技術的ディープダイブ】『–n-cpu-moe』が引き起こす「PCIeボトルネックの無効化」

この手法の核心は、2025年のICLRで発表された論文「Fiddler」や、SOSP 2025の「KTransformers」の知見をさらに極端に振ったものです。従来のハイブリッド推論（GPU+CPU）では、GPUに載り切らない「Expert（専門家層）」の重みを、推論のたびにCPUからGPUへ転送していました。これがPCIeバスを詰まらせる原因でした。

対して、今回の『–n-cpu-moe』フラグを有効にすると、推論エンジンは全く逆の挙動を示します。共有層（EmbeddingやAttentionなど、毎トークン必ず使う重い部分）はGPUの高速なVRAMに固定し、膨大なExpert層の計算そのものを「CPU側（メインメモリ上）」で完結させるのです。驚くべきは、GPUからCPUへ送られるのは「重み」ではなく、極めてサイズの小さい「活性化テンソル（Activation）」のみであるという点です。これにより、PCIeバスを流れるデータ量は数GB単位から数MB単位へと劇的に削減されます。

特に、最新のRTX 5070 Ti環境では、PCIe 5.0の帯域とDDR5-8000クラスの高速メモリを組み合わせることで、Expert計算のレイテンシをほぼゼロに抑え込むことに成功しました。ベンチマーク結果では、Q4_K_M量子化（約23GB）のQwen3.6-35B-A3Bが、RTX 5070 Ti（16GB VRAM）単体での1.5t/sから、このフラグ併用によって一気に79t/sまで跳ね上がっています。これはRTX 5090（32GB VRAM）でフルVRAM推論を行った際の75.4t/s（Result 2参照）を上回る、まさに「下克上」とも言える数値です。

【コミュニティの生々しい熱量と議論】「VRAM貧乏の勝利」と「5090不要論」

Redditの r/LocalLLM や Hacker News では、この発見を「VRAM Poverty’s Greatest Victory（VRAM貧乏の偉大なる勝利）」と称える声が溢れています。あるユーザーは、「30万円のRTX 5090を買うために貯金していたが、その金でDDR5メモリを128GB積んで5070 Tiを買う方が賢い選択になった」と投稿し、数千のUpvoteを集めています。

一方で、批判的な意見も存在します。この手法はCPUの演算能力（特にAVX-512やAMX命令セットの有無）に強く依存するため、「IntelのXeonやAMDの最新Ryzenを持っていないユーザーには恩恵が少ない」という指摘です。また、Qwen3.6のアーキテクチャが「あまりにも疎（Sparsityが高い）」であるために成立するハックであり、LlamaシリーズのようなDense（密）なモデルには適用できない「Qwen専用の特効薬」であるという冷めた見方もあります。しかし、エージェント用途においてQwen3.6が現在最強の一角である以上、この「変態的ハック」がローカルLLM勢の標準装備になるのは時間の問題でしょう。

【今後の展望とエコシステムへの影響】24GB VRAM gatekeepingの終焉

この『–n-cpu-moe』フラグの成功は、今後のLLMハードウェアの選び方を根本から変える可能性があります。これまでは「VRAM容量こそが正義」であり、24GB以上のGPU（RTX 3090/4090/5090）を持たない者は、大規模モデルの推論において門前払いされてきました。しかし、MoEのExpertをCPUで叩くというパラダイムが定着すれば、GPUに求められるのは「共有層を維持する最低限のVRAM（8〜12GB）」と「計算をキックする瞬発力」だけになります。

今後、KBVQ-MoE（ICLR 2026）のような「Expert間の冗長性を排除する量子化」が実装されれば、さらにメモリ帯域への負荷は下がり、ノートPCクラスのGPUでも35B〜70BクラスのMoEが100t/s超えで動く時代がすぐそこまで来ています。Qwen3.6が切り拓いたこの「力技の爆速化」は、クラウドAIへの依存を断ち切りたいローカル勢にとって、2026年最大のパラダイムシフトとなることは間違いありません。