// ハードウェア
お使いのグラフィックカードで動かせるモデル
「このGPUで動くか」という問いには、数値で答えられます。重みの容量はパラメーター数とビット数で決まり、さらにコンテキスト長に応じて増えるアテンションキャッシュも必要です。モデル本体以上に容量を圧迫することもあります。ハードウェアとモデルサイズを選べば、何が収まり、何をシステムメモリに退避する必要があるか、毎秒およそ何トークン生成できるかを表示します。
40種類のGPU
アテンションメモリ
毎秒生成できるトークン数の推定
編集可能なデータ
結果へのリンク
お使いのハードウェア
値はリストから自動入力され、メーカーの公称仕様です。実際に利用できるメモリは、ほかに実行しているものによって異なるため、値は上書きできます。また、AppleのコンピューターではメモリをCPUとGPUで共有するため、すべてをモデルに割り当てることはできません。
実行するモデル
最後の2つの数値はモデルの構造を表します。このモデルサイズで一般的な値を入力しています。モデルの仕様から正確な値がわかる場合は、ご自身の値を入力してください。
判定
-
モデルの重み
Attentionメモリ
オーバーヘッド
空き
モデルの重み
0
この量子化でのGB
アテンションメモリ
0
このコンテキストでのGB数
合計
0
GB
推定速度
0
トークン/秒
このハードウェアで使えるすべての量子化
パラメーター数は同じでも、重みの精度は異なります。4ビットを下回ると、回答の品質に差が出やすく、特に日本語やコードで顕著です。
| 量子化 | 重みあたりのビット数 | 重み | アテンション分を含む | 収まります | トークン/秒 |
|---|
扱えるコンテキスト量
コンテキスト長ごとのアテンションメモリ
意外と見落としがちなポイントです。モデル自体は余裕で収まっても、コンテキストが10万トークンになると、メモリが足りなくなることがあります。
起動方法
生成速度はメモリ帯域幅をもとに推定しています。回答の生成ではメモリがボトルネックになるためです。次のトークンを生成するたびに、モデルの重みをすべて読み込む必要があります。ソフトウェアの処理負荷により実際の速度は十数％低くなることがあり、一部のレイヤーをシステムメモリに移すと、RAMへの転送速度が十数倍遅いため大幅に低下します。この数値は目安としてご覧ください。保証値ではありません。
モデルの料金は毎日OpenRouterから取得しています。最終更新：2026-11-11 06:49:47。
同じデータを使っているページ： AI料金ページ.