Qwen3.6-27BをRTX 4090で動かす設定

👁 112閲覧数

AlibabaのQwenチームが公開しているオープンモデルQwen3.6-27Bを、RTX 4090(24 GB)1枚で動かす場合の現実的な設定をまとめます。ライセンスはApache 2.0で、商用利用、改変、再配布が認められています。最初に断っておくと、編集部はこのモデルの速度を計測していません。以下の数字はモデルカード、設定ファイル、配布ファイルのサイズから導いたもので、速度の数値は出しません。

新モデルではありません:日付の整理

Hugging FaceのリポジトリQwen/Qwen3.6-27Bは2026年4月21日に作成され、最後のファイル更新は4月24日です。10月の新作ではなく、半年前からあるモデルです。モデルカードの下には754のコミュニティ製量子化版が並び、Ollamaにも専用のタグ群があります。最近変わったのは、ローカルのコーディング支援として使う人が増えたことです。

Dense(密)とMoEの違い

Qwen3.6-27Bは27B(BF16で27.8B)パラメータのdenseモデルで、トークンごとに全パラメータが動きます。同じファミリーのQwen3.6-35B-A3BはMoEで、35Bのうち約3Bだけが動きます。こちらのほうが速くなりうる一方、重みを置くためのメモリはより多く必要です。

DeltaNet構造とKVキャッシュが小さい理由

モデルは64層で、16のブロックに分かれています。各ブロックはGated DeltaNet層3つと通常のアテンション層1つで構成されます。DeltaNetは線形アテンションの一種で、トークンを1つずつ記憶する代わりに固定サイズの状態を持ちます。そのため、文脈が長くなるほど膨らむKVキャッシュを持つのは64層中16層だけです。長い文脈を扱っても、VRAMの増え方が緩やかになります。

テキストに加えて画像と動画も読めます。ネイティブの文脈長は262,144トークンで、YaRNを使えば最大1.01Mまで伸ばせますが、Qwenは拡張すると短い文章での結果が悪くなる可能性があると注意しています。また、思考(thinking)の質を保つため、文脈長は最低128Kを推奨しています。

ベンダー公表のベンチマーク

以下はモデルカードに載っている数字で、第三者による再現は確認できていません。スマートフォンでも読みやすいよう2つの表に分けました。

前世代Qwenとの比較

他社モデルとの比較

読み方としては、エージェント型のコーディングで27Bが397Bの前世代に追いつき、Terminal-BenchではClaude Opus 4.5と並んでいます。ただしOpus 4.5は一世代前のモデルで、現行のOpus 5.5は表にありません。一般知識を測るMMLU-Proは3.5からほぼ横ばいです。コードではGemma 4 31Bを大きく上回っています。

VRAMの見積もり(編集部の計算)

ここは計測ではなく計算です。重みはunsloth/Qwen3.6-27B-GGUFの実ファイルサイズ(10進のGB)を使いました。カードの24 GiBは約25.8 GBにあたります。ドライバー、Windowsのデスクトップ、計算用バッファーとして1.5 GBを差し引く前提(仮定)で、使えるのは約24.3 GBとしました。

KVキャッシュは、フルアテンション16層、KVヘッド4つ、ヘッド次元256から、FP16で1トークンあたり64 KiBです。32Kで2.15 GB、128Kで8.59 GB、262Kのフル文脈で17.18 GBになります。q8_0にするとほぼ半分の1.14 GB、4.56 GB、9.13 GBです。DeltaNetの固定状態は約0.15 GBです。

ビジョン用モジュール(mmproj F16)は+0.93 GBで、画像やスクリーンショットを読ませるときだけ必要です。

おすすめの選び方

RTX 4090なら、Q4_K_MかUD-Q4_K_XLを、128Kの文脈とq8_0のKVキャッシュで使うのが本命です。Qwenが思考のために勧める文脈長を満たしつつ、数GBの余裕が残ります。短いタスク中心ならQ5_K_Mも候補です。Q6_Kは長い文脈を諦めることになり、リポジトリ全体を相手にするエージェント作業には向きません。ほかのローカルモデルとの比較はRTX 4090でのローカルAIモデル比較も参考にしてください。

Ollamaとllama.cppの設定

Ollamaの標準タグqwen3.6:27bは18-19 GB、qwen3.6:27b-q4_K_Mは17 GBです。長い文脈を使うときは、Flash Attentionを有効にし、KVキャッシュをq8_0にし、文脈長を環境変数で指定します。

# Ollamaサーバーの環境変数
OLLAMA_FLASH_ATTENTION=1
OLLAMA_KV_CACHE_TYPE=q8_0
OLLAMA_CONTEXT_LENGTH=131072

# モデルの実行
ollama run qwen3.6:27b-q4_K_M

llama.cppでは次のオプションです。

-c 131072 -fa on -ctk q8_0 -ctv q8_0

Ollamaやllama.cppの基本的な使い方はbasalをOllamaとllama.cppで動かす記事でも解説しています。

よくある質問

16 GBのGPUでも動きますか?

強く圧縮したバリアントに限られます。Q3_K_M(13.59 GB)では文脈に回せる余裕がほとんど残りません。UD-IQ2_M(10.85 GB)なら余裕は増えますが、品質は落ちます。

BF16のまま動かせますか?

Ollamaのbf16版は56 GBあり、量子化なしでは一般向けのGPU 1枚には載りません。

商用で使えますか?

Apache 2.0なので、商用利用、改変、再配布が認められています。

速度はどのくらいですか?

編集部は計測していないため、数字は出しません。

MoE版の35B-A3Bとどちらがよいですか?

35B-A3Bは動くパラメータが少ないぶん速くなりうる一方、重みのためのメモリがより多く必要です。本記事のVRAM計算は27Bだけを対象にしており、35B-A3Bの数字は出していません。

出典(2026年11月1日確認)

• Hugging Face: Qwen/Qwen3.6-27B モデルカード (2026年11月1日確認)
• Hugging Face API: Qwen/Qwen3.6-27B リポジトリ情報 (2026年11月1日確認)
• Hugging Face: Qwen3.6-27B config.json (2026年11月1日確認)
• Hugging Face: unsloth/Qwen3.6-27B-GGUF (2026年11月1日確認)
• Ollama: qwen3.6 tags (2026年11月1日確認)
• Gigazine: Qwen3.6-27B (2026年4月23日)

// 続きを読む知名度の低いAIモデル比較：MiMo、Qwen3.8 Max、GLM-5.3、Muse SparkガイドTikTokで100万再生を狙う方法：2026年のアルゴリズム攻略ガイド2026年に買うKindleはどれ？モデルより先に確認したいことガイド