GGUFとは？読み方・GGUF版・ファイル形式を初心者向けに解説

GGUFとは：モデル名ではなく、推論用のファイル形式

GGUFは、GGMLとその実行系でモデルを推論に使うための情報と重みを格納するファイル形式です。PyTorchなどで開発されたモデルをGGUFへ変換し、LM Studioやllama.cpp系の実行環境で読み込む場面があります。

GGUF版とは：元モデルと変換・量子化された配布版を分ける

「GGUF版」は、元モデルをGGUF形式へ変換し、必要に応じて量子化した配布版を指すことが多い表現です。元モデル作者とGGUFの配布者が同じとは限りません。

• GGUF版の確認項目を見る - 元モデル、変換者、量子化、Model Card、licenseを分けて確認する

ファイル名を5つの要素に分ける

例として Model-8B-Instruct-Q4_K_M.gguf を見ると、全部を暗記しなくても選択に必要な情報を分けられます。実際の命名は配布者によって揺れがあるため、ファイル名だけで断定せずModel Cardも確認します。

• GGUFファイル名の読み方 - mmproj、MTP、分割ファイルなども確認する

GGUFとQ4・Q5・Q8は別の情報

GGUFはファイル形式、Q4_K_M・Q5_K_M・Q8_0などは重みの表現を軽くする量子化の目印です。同じモデル系列でも量子化が違えば、ファイルサイズ、必要メモリ、速度、品質の傾向が変わります。数字が大きければ常に実用的とは限りません。

• Q4・Q5・Q8の選び方 - 同じモデル系列で軽さと品質を比較する

LM Studio・llama.cppでGGUFを使う理由

llama.cppはGGUFを扱う代表的なローカル推論実装です。LM Studioでは対応Runtimeを通じてGGUFモデルを探し、ダウンロードし、ロードしてチャットできます。ただし、GGUFならどのファイルでも必ず読み込めるわけではなく、モデル構造、Runtime、メモリ、ファイル状態の影響を受けます。

• LM StudioでGGUFを入れる - 検索、ダウンロード、ロードの順番を見る
• GGUFが読み込めない - 形式、保存場所、破損、Runtime、メモリを切り分ける

初心者が選ぶ順番

1. 用途に合うInstruct / Chat系の候補か確認する
2. モデル規模とファイルサイズをPCメモリ・VRAMに照らす
3. 同じモデル系列でQ4_K_M前後など比較しやすい量子化から試す
4. 配布者、元モデル、Model Card、licenseを確認する
5. 1ファイルだけロードし、短い質問で速度と回答を確かめる

• GGUFモデル選び診断 - メモリ、GPU、用途から最初の候補を絞る

安全性・公式性・商用利用は形式とは別に確認する

GGUFであることは、ウイルス安全性、元モデル作者による公式配布、商用利用可、回答の正確性を保証しません。repo owner、元モデルへのリンク、Model Card、license、Files and versionsを順に確認し、出所が分からないファイルは実行しない判断も必要です。

• Hugging FaceでGGUFを落とす前の安全チェック - 配布元と利用条件を確認する

次に見るページを目的で選ぶ

• GGUF版の出所を確認したい - 元モデル、変換者、配布元、licenseを分ける
• ファイル名の意味を知りたい - 8B、Instruct、Q4_K_M、sidecarを読む
• Q4 / Q5 / Q8を選びたい - 軽さ、品質、速度の傾向を比較する
• Hugging Faceで候補を探したい - Model Card、Files、license、量子化候補を見る
• LM Studioへ入れたい - 検索からロードまで進める
• PCに合う候補を絞りたい - 診断で最初の候補を決める