Q4_K_M・Q5_K_M・Q8_0の違い｜GGUF量子化はどれを選ぶ？

30秒結論：Q4_K_Mの意味と最初の選び方

Q4_K_Mは4bit系のK-quant量子化表記で、Mはllama.cppで使われるバリアントの目印です。初心者は同じモデル系列のQ4_K_M前後から試し、PCに余裕があり、回答差を確かめたいときにQ5_K_MやQ8_0へ広げます。数字が大きいほど常に速い、賢い、安全という意味ではありません。

• GGUF自体の意味を先に確認する - 形式、モデル規模、量子化を分けて見る

Q4_K_Mとは？表記を分解する

Q4_K_Mは、GGUFファイル名で見る量子化の表記です。Q4は4bit系の目印ですが、ファイル全体が正確に4.0 bits/weightになる意味ではありません。Hugging Face公式の説明ではQ4_Kは約4.5 bits/weight、llama.cppのLlama 3.1 8Bの例ではQ4_K_Mが4.8944 bits/weightです。モデル、メタデータ、方式が変わればファイルサイズも変わります。

Kは、重みをブロック／スーパーブロック単位で扱い、スケールなどの情報も使うK-quant系の目印です。Mはllama.cppのQ4_K_M・Q5_K_Mのようなバリアントを表しますが、単純な「中品質」という評価点ではありません。llama.cppのquantize toolにはK-quantの混合を無効にするpure設定もあるため、細部は量子化ツール、モデルカード、実行環境の説明を優先します。

• llama.cppの量子化方式と例示値 - 方式、混合、importance matrix、固定条件の例を一次情報で確認する

Q4・Q5・Q8の違いを5軸で見る

表は一般的な傾向です。元モデル、量子化方式、Runtime、CPU/GPU、メモリ帯域、入力長が違えば結果も変わります。

同じモデル系列・同じ質問で比較する

モデル名や規模が違うファイル同士を比べると、量子化の差と元モデルの差が混ざります。同じモデル系列でQ4とQ5を1つずつ用意し、同じ短い質問、同じ設定、同じ入力長でロード時間、回答開始までの待ち時間、回答内容を比べます。

トラブル時は同じモデル系列のQ4_K_M前後へ戻して比較する

Q4/Q5/Q8は安全ランクではなく、同じモデル系列で容量・品質・速度の傾向を比較するための表記です。ロード失敗や途中停止の切り分けでは、量子化だけを変え、context、入力、GPU offload、runtimeを固定して結果を記録します。

• 速度・RAM・VRAMを測る方法 - 量子化変更による速度差を条件付きで測る
• LM StudioでGGUFが読み込めない - Q8のロード失敗を形式・容量から確認する
• 症状別トラブル解決ハブ - ロードと停止の段階が不明な場合
• LM Studioの回答が途中で止まる - 出力上限・メモリ・runtimeを分ける
• Ollamaの回答が途中で止まる - done_reasonとログを記録する
• Ollamaが遅い - PROCESSORとusage fieldsを確認する

PC構成は容量だけでなく余白を見る

ファイルが保存できても、ロード時にはOS、LM Studio、会話履歴、コンテキスト、GPU offloadなどの余白が必要です。「16GBなら必ずQ4」「32GBなら必ずQ8」と固定せず、他アプリを含む空きメモリと実際の応答を確認してください。

• モデルサイズとPCメモリを見る - 7B / 8Bなどの規模と量子化を組み合わせる
• GPU offloadを確認する - VRAMとCPU/GPU分担を切り分ける

ファイルサイズ・RAM・VRAM・KV cacheを分けて見る

「GGUFファイルが8GBだからRAMも8GBあれば動く」とは限りません。ファイルサイズは主に保存・ダウンロードの目安で、ロード時にはモデルの重み以外のパラメータやRuntimeの領域も必要です。さらにcontextを長くするとKV cacheなどの実行時メモリが増え、GPU offloadを使えばRAMとVRAMの分担も変わります。

• メモリ8GB・16GB・32GBの見方 - 合計RAM、空き、実行時ピークを分ける
• VRAMとは？ - GPUメモリの役割を確認する
• コンテキスト長と実行負荷 - 長文・KV cacheの影響を量子化と分けて見る

初心者の選択フロー

1. 用途に合う同じモデル系列を1つ決める
2. Q4_K_M前後の候補を1つだけダウンロードする
3. 短い質問でロード可否、待ち時間、回答を確認する
4. 余裕があり比較理由があるときだけQ5やQ8を追加する
5. 重い、止まる、メモリ不足なら一段軽い量子化か小さいモデルへ戻す

量子化方式名の違いを無理に単純化しない

Q4_K_M、Q4_0、IQ系などは同じ「4bit前後」に見えても方式が異なります。対応Runtimeやモデル配布ページの説明を確認し、名前だけで品質順位を決めないでください。初心者は情報が多く、現在のRuntimeで扱える候補から始めるほうが切り分けやすくなります。

Q4・Q5・Q8は安全ランクではない

量子化は軽さや品質に関係する処理で、配布元の信頼性、license、マルウェア安全性を示すランクではありません。モデルを落とす前の確認と、量子化選択は別の手順です。

• 量子化と安全性を分けて確認する - 配布元、Model Card、licenseの確認へ進む

次にすること

• GGUFファイル名を読む - Q4_K_M、Instruct、モデル規模、sidecarを確認する
• Hugging Faceで候補を探す - Model Card、Files、license、量子化候補を見る
• LM Studioへダウンロード・ロードする - 候補を1本に絞って実際に試す
• 最初のモデルを決める - モデル系列、規模、量子化を順に選ぶ
• GGUFモデル選び診断 - メモリ、GPU、用途から候補を絞る
• 重い・止まる問題を直す - 症状から原因を切り分ける