ローカルAIのモデルサイズ早見表｜7B・8B・13BとQ4/Q5をPCメモリ別に解説

公開日: 2026-04-30
更新日: 2026-08-12
情報確認日: 2026-08-12
編集・運営: Local AI Compass

ローカルAIのモデル選びは、モデルサイズだけでなく、GGUF形式、Q4/Q5などの量子化、PCメモリ、GPU/VRAMをセットで見る必要があります。16GBメモリなら、まず7B〜8B級のQ4/Q5前後から試すのが現実的です。32GB以上なら選択肢は広がりますが、GPUなしでは大きいモデルほど待ち時間が長くなります。

導入前に確認すること

Windowsのバージョン、メモリ容量、GPU/VRAM、空き容量を確認する
最初は軽量モデル、短い質問、少ない同時作業から始める
公式サイトの対応OS、利用規約、モデルのライセンスを確認する

遅い・ロード不能・途中停止をモデル規模から切り分ける

モデルを小さくすることは候補の1つですが、必ず直る方法ではありません。LM Studioではmodel loadとPrompt Processingとgeneration、Ollamaではload_duration・prompt_eval_duration・eval_durationを分け、同じモデル系列と量子化で比較します。

遅い・ロード不能・途中停止をモデル規模から切り分けるの表
症状	モデル記事で記録する	子記事
ロードが長い/失敗する	GGUF容量、RAM/VRAM、空き容量、形式	モデルロード・GGUF記事を確認
入力後の最初の文字が遅い	入力長、履歴、context、TTFT	Prompt Processing記事を確認
生成途中で終わる	ピークRAM/VRAM、出力条件、runtime	LM Studio/Ollamaの途中停止記事を確認
OllamaがCPUへ分割される	PROCESSOR、size_vram、context	Ollama GPU記事を確認

LM StudioでGGUFが読み込めない - アプリは開くがモデルをロードできない場合
症状別トラブル解決ハブ - ロード・入力・生成の段階が不明な場合
LM StudioのPrompt Processingが遅い - 最初の文字までの遅さを分ける
速度・RAM・VRAMを測る方法 - 生成速度を条件付きで測る
LM Studioの回答が途中で止まる - モデル条件と正常終了を分ける
Ollamaが遅い - usage fieldsで段階を測る
Ollamaの回答が途中で止まる - Ollama利用時の停止を確認する

MoEのA3B表記：active parameterとtotal parameterを分ける

Qwen3の公式説明では、Denseモデルは保存される総パラメーター数、MoEモデルは総パラメーター数と1 tokenあたりにactivatedされるパラメーター数を分けて表します。たとえば「30B-A3B」は、30Bを保存するモデルで、各tokenの計算に関わる3Bを示す表記です。これはモデル名の読み方であり、3BのDenseモデルと同じファイル容量・必要メモリ・速度だという意味ではありません。

MoEのA3B表記：active parameterとtotal parameterを分けるの表
表記	何を示すか	PCで先に確認すること
7B / 8B（Dense）	保存されるパラメーター規模。全体が各tokenの計算に使われるモデルの目安	量子化、モデルファイル容量、RAM/VRAM、context、runtime
30B-A3B（MoE）	30Bは保存されるtotal、3Bは1 tokenあたりのactivated parameterの表記	モデルファイル容量、ロード設定、context、MoE対応runtime
35B-A3B（Qwen3.6の例）	公式モデルカード上の35B total・3B activated。expertsや共有expertも別に確認する	モデルカード、形式・量子化、実際のロード結果、context

active parameterだけを見て「3Bモデルと同じVRAMで動く」「必ず高速」とは判断しません。totalの重みを保存・ロードする負荷、量子化形式、expertの構成、runtime、context/KV cache、CPU/GPUへの配置が別に効きます。Qwen3.6-35B-A3Bのように、モデルカードにはtotal/activated以外にもexpert数やcontextが記載されるため、モデル名だけでなくカードと配布ファイルを確認します。

モデルカードでtotal parameter、active parameter、expert数、context、ライセンスを確認する。
GGUF・safetensors・MLXなどの形式、量子化、実ファイル容量を確認する。
使用するLM Studio・Ollama・llama.cppなどが、その形式とモデル構成を扱えるか確認する。
ロード後のRAM/VRAMピーク、context、生成速度を同じ入力・同じruntimeで記録する。

Qwen3のモデル名とA3B表記 - total parametersとactivated parameters per tokenの公式説明
Qwen3.6-35B-A3Bのモデルカード - 35B total・3B activatedとexpert構成を確認する
モデルサイズとメモリ - ファイル容量と実行時ピークを分けて測る
速度・RAM・VRAMの測定 - 同じ条件で速度とメモリを比較する

MoEをPC向けに選ぶときの順番

active parameterは計算量を見るための1つの手掛かりですが、ローカル実行の可否や体感速度を単独で決める数値ではありません。まず配布元のモデルカードと実際に使うruntimeの対応を確認し、その後に自分のPCで測定します。

モデルカードでtotal/active parameter、expert数、context、必要なruntimeや推奨方法を確認する。
配布ファイルで形式、量子化、ファイル容量、ライセンス、必要な追加ファイルを確認する。
LM Studio・Ollama・llama.cppなど、実際に使うruntimeの対応状況とバージョンを確認する。モデル名のA3B表記だけから対応可否を推測しない。
小さな入力でロード時間、ロード後のRAM/VRAM、最初の返答、生成速度、contextを記録する。
DenseとMoEを比べるときは、入力、出力上限、量子化、context、runtimeをそろえ、active parameterだけで優劣を決めない。

MoEをPC向けに選ぶときの順番の表
見る数値	判断に使う	それだけでは判断しない
total parameter	保存・配布されるモデル全体の規模を読む	品質、速度、必要VRAMを単独で決める
active parameter	tokenごとの計算規模を読む手掛かりにする	Dense 3Bと同じファイル容量・速度・VRAMだと決める
量子化・ファイル容量	保存容量とロード時の負荷を比較する	回答品質や安全性を一律に順位付けする
context・KV cache・配置	実行時メモリと速度の条件を記録する	モデル名のB数だけで快適さを保証する

MoEのactive parameterが小さくても、実機でその利点が同じ割合で現れるとは限りません。consumer・edge hardwareを扱う研究は、1モデル・2デバイスの評価で、active parameterの利点が一部しか現れない例を示しています。一般的な速度保証ではなく、同じPC・同じruntime・同じ入力での比較を優先します。

MoEのconsumer・edge実測研究 - active parameterの利点を実機で確認するときの注意
Qwen3MoEの公式ドキュメント - total/active parameterとexpert構成を確認する
DeepSeek-V3のモデルカード - total/activatedとMTP moduleの分け方を確認する
VRAMとは - モデルサイズ以外のVRAM負荷を確認する
速度・RAM・VRAMの測定 - 比較条件を固定して実測する

MoEのruntime対応：モデルカード・形式・backendを分けて確認する

「Transformersで動く」「llama.cppにMoE対応と書いてある」「LM StudioやOllamaでモデル名が検索できる」は、同じ対応保証ではありません。モデルアーキテクチャ、配布形式、runtimeの実装、ビルド済みbackend、アプリのバージョンを分けて確認します。

MoEのruntime対応：モデルカード・形式・backendを分けて確認するの表
経路	まず確認する入力と公式の根拠	PC側の対応判定
Hugging Face Transformers	Qwen3MoEの専用model class / Pipeline例、モデルカードのsafetensors等	Python・PyTorch・Transformersの版とモデルclassでロードする経路。Transformersで動くことだけで、GGUF GUI経路の対応とはみなさない
llama.cpp	GGUFまたはREADMEの`-hf`経路、ビルド済みのCPU/GPU backend	Feature matrixはMoE architectureをCPU・ARM・Metal・CUDA・ROCm・Vulkanで✅、SYCLを❓としている。これはbackend能力の表であり、全モデル・量子化・全バージョンのロード成功を保証しない
LM Studio	アプリのモデル形式・engine・バージョン、モデル単位のload設定	GPU offload、context、Flash Attentionなどの適用済みload設定とロード結果を記録する。モデル名だけでMoE対応を推測しない
Ollama	モデルのformat/family、アプリの対応版、実行中モデルのAPI情報	`GET /api/ps`または`ollama ps`でformat、parameter_size、quantization_level、size_vram、context_lengthを保存し、実際にロードできた経路を判定する

Qwen3MoEのTransformers公式ドキュメントは、Qwen3MoE class / Pipelineと、30.5B total・3.3B active・128 routed experts・8 activated experts per tokenを説明します。一方、llama.cppの公式READMEとFeature matrixは、GGUF/Hugging Face経路やbackendの能力を示します。LM StudioとOllamaはモデル単位のload設定や実行中モデルの情報を確認する入口として使い、汎用ドキュメントから特定MoEモデルの対応を広げません。

モデルカードでarchitecture、total/active parameter、expert数、context、配布形式、必要な追加ファイルを確認する。
使うruntimeのバージョンとbackendを固定し、公式のmodel class・format・対応表にモデルが実際に該当するか確認する。
小さなcontextでロードし、runtime、model key/revision、形式・量子化、backend、GPU offloadまたはCPU/GPU配置、ロード成否を記録する。
LM Studioは適用済みload config、Ollamaは`/api/ps`のformat・size_vram・context_length、llama.cppは実行時backendとログを保存する。
DenseとMoEを比べる場合は、同じruntime・backend・形式の範囲で、ロード時間、ピークRAM/VRAM、TTFT、tokens/s、失敗理由を分けて比較する。

Hugging Face Qwen3MoE - 専用model class、Pipeline、expert構成を確認する
llama.cpp README - GGUF・HF経路、CPU+GPU hybrid、対応backendを確認する
llama.cpp Feature matrix - MoE architectureとbackendごとの現行表を確認する
LM StudioのPer-model Defaults - モデル単位のGPU offload・context・Flash Attentionを確認する
Ollamaの実行中モデルAPI - format・quantization・size_vram・context_lengthを確認する
速度・RAM・VRAMの測定 - runtime条件を固定してロードと生成を測る

agent workloadをチャット負荷と分ける

ファイル検索、tool call、長いcontext、KV cache、embedding、checkpoint、並列処理が加わると、短い一問一答よりPC負荷が増えやすくなります。モデルサイズだけでなく、処理の回数とデータの往復を見ます。

ローカルAIエージェントのPC負荷 - RAM、VRAM、CPU、GPU、SSD別の切り分けを見る

27Bのparameter数とruntime負荷

27Bはモデル規模を表すparameter数で、ファイルサイズや実際の速度・VRAM使用量と同じではありません。Qwen3.6-27Bは別モデルのactive parameterを借りて軽さを説明せず、27BのGGUF、quant、context、offloadを一緒に確認します。

27Bのparameter数とruntime負荷の表
見るもの	意味	Colabで確認するもの
27B	モデルのparameter規模	モデルカードの仕様
Q3/Q4	GGUF量子化とファイルサイズ	Hugging Face配布ページのFiles
VRAM	weights以外も含む実行メモリ	nvidia-smiの空き/peak
context	入力とKV cacheの上限	ctx-sizeと長文時のOOM

Qwen3.6-27B Colab実践 - 27BをQ3系から試す順番を見る

モデルサイズを速度と安定性で決める

7B・8B・13BやQ4/Q5/Q8を選ぶときは、ファイルサイズだけでなくロード時間、ピークRAM/VRAM、TTFT、生成中のtokens/sを測ります。比較するなら同じベースモデル・リビジョン・量子化・変換条件をそろえ、同じモデル系列というだけで同一条件とはみなしません。コンテキストやランタイムが変われば別条件です。

モデルサイズを速度と安定性で決めるの表
選ぶ前	記録	次の判断
ロードできるか	ファイルサイズ、ロード時間、空きRAM/VRAM	ロードできる軽い候補へ戻す
実用に耐えるか	TTFT、tokens/s、入力・出力長	短文・長文・用途を分ける
安定するか	ピークRAM/VRAM、共有メモリ、途中停止	コンテキストと同時起動アプリを調整

モデルサイズを実測する記録テンプレート - 「何tokens/sなら快適」と決めずに比較する

GGUFモデルサイズと量子化を一緒に見る

7B/8B、14B、32Bのようなモデルサイズと、Q4_K_M、Q5_K_M、Q8_0のような量子化は別の軸です。16GBメモリなら7B/8B級Q4_K_M前後、32GB以上ならQ5や少し大きいモデルも比較候補、という程度に一般的な目安として扱ってください。

GGUFモデルサイズと量子化を一緒に見るの表
PC条件	最初に試しやすい候補	注意点
8GB / GPUなし	より小さいモデル、短い質問	7B/8Bでも厳しい場合がある
16GB	7B/8B級 Q4_K_M前後	PDF/RAGや長文は後回し
32GB以上	7B/8B Q5、14B Q4も比較候補	licenseと配布元確認を省かない
十分なVRAMあり	GPU offload込みで比較	VRAMに収まるかを見る

GGUFモデル選び診断 - PC条件から候補を確認する

モデルサイズだけで賢さを判断しない

パラメータ数が大きいほど必ず賢い、とは言えません。量子化、context length、KV cache、fine-tune、日本語性能、PCの余裕が重なって体感が決まります。

モデルサイズだけで賢さを判断しないの表
見るもの	効く場所	初心者向けの確認
パラメータ数	知識量や表現力の目安	大きいほど重い
量子化	メモリと速度	Q4/Q5/Q8を用途で選ぶ
context length	長文保持	長いほどKV cacheが重い
RAM/VRAM	読み込みとGPU offload	OSと他アプリの余裕も見る

小型LLM研究ガイド - 速度・メモリ・精度・電力・プライバシーをまとめて確認する
Q4/Q5/Q8研究ガイド - 量子化の犠牲と選び方を深く読む
GGUFモデル選び診断 - PC条件から最初の量子化モデルを絞る

GGUFファイル名をPCスペックへ落とし込む

GGUFの意味を確認した後は、ファイル名の7B/8B/14B、Q4_K_M/Q5_K_M/Q8_0、ファイルサイズを自分のPCへ当てはめます。形式がGGUFでも、RAMやVRAMが足りなければ快適には動きません。

GGUFファイル名をPCスペックへ落とし込むの表
PC条件	最初に見るGGUF	避けたい選び方	戻る/進む
8GB / GPUなし	小型モデル、Q4以下、短い質問	7B/8B Q8や長文PDFから始める	GGUF記事を確認
16GB / GPUなし	7B/8B級 Q4_K_M前後	13B/14BやQ8から始める	量子化記事を確認
32GB / VRAMあり	7B/8B Q5、13B/14B Q4も比較候補	余裕があるからとlicenseや配布元を見ない	/tools/gguf-model-picker/
VRAM不足が不安	軽いQ4、短いcontext、GPU offload控えめ	GPU使用率だけで判断する	LM Studio GPU記事を確認

Q4/Q5/Q8の選び方 - 量子化とモデル規模の違いを整理する
LM StudioのGPUオフロード - GPU offload、VRAM、処理段階を確認する

GGUFとは？読み方・GGUF版を見る - ファイル形式と配布元確認へ戻る
GGUFモデル選び診断 - メモリ・GPU・用途で最初の候補を絞る

LM Studioが遅い・止まる時は一段軽く戻す

LM Studioが遅い、途中で止まる、モデルが読み込めない時は、いきなり設定を増やさず、モデルサイズを一段軽くして切り分けます。7B/8B級のQ4_K_M前後で短い質問が安定するかを確認してから、Q5、大きいモデル、PDF/RAGへ進んでください。

LM Studio症状別トラブルシュート - 遅い・止まる・起動しない時の全体手順へ戻る
Q4/Q5/Q8の違い - 重い時に戻す量子化の目安を見る

PCメモリ・VRAM別のスタート地点

PCメモリ・VRAM別のスタート地点の表
環境	最初の候補	避けたい開始
メモリ8GB	小規模モデルの軽いQ4、短い会話	7B/8B以上を当然に快適と考える
メモリ16GB	7B/8B級Q4_K_M前後	大規模モデル、長いコンテキスト、複数アプリ併用
メモリ32GB	7B/8Bから13B/14B級を段階比較	最初から最大設定
VRAM 8GB前後	収まる範囲をGPUオフロード	VRAM容量だけでモデル全体を判断
GPUなし	軽いQ4と短い入力	速度をGPU搭載PCと同じに期待

これは安全側の開始目安です。必要量はモデル構造、量子化、コンテキスト長、バックエンド、同時に開くアプリで変わります。動作後に一段ずつ上げてください。

用途別に必要な余裕を考える

短いチャット 軽さ優先

モデル単体と短い履歴なら、基準モデルを作りやすい用途です。

長文・PDF コンテキスト分の余裕

モデルだけでなく入力トークンやRAGの文書断片で負荷が増えます。

Hermes等の連携 複数アプリ分の余裕

モデル実行側とクライアント側を同時に動かすメモリを残します。

新しいローカルAIモデルの確認ポイント

Gemma 4 12Bのような新しいモデルを見るときは、モデル名だけで判断せず、公式情報、対応ツール、GGUF/量子化版、必要メモリ、ライセンスを分けて確認します。通常記事では長く使える基礎を扱い、時点依存の情報は更新メモで整理します。

ローカルAI更新メモ - 新しいモデル・ツール更新を公開時点の情報として確認する
Gemma 4 12Bの更新メモ - 12B級モデルをWindows PCで試す前の確認ポイントを見る

まず結論：あなたのPCならどのモデルから始める？

必要メモリや速度は、モデル、量子化、コンテキスト長、CPU、GPU、VRAM、同時起動アプリによって変わります。この記事の表は、初心者が最初に選ぶための目安であり、「必ず動く」「必ず快適」という保証ではありません。

まず結論：あなたのPCならどのモデルから始める？の表
PC環境	最初の候補	避けたいもの	向いている用途	次に読む記事
8GB / GPUなし	3B前後、軽量Q4、短文チャット	13B以上、Q8、長文PDF	ローカルAIの雰囲気確認、短文の言い換え	GPUなしPCでローカルAIは使えるか
16GB / GPUなし	7B〜8B級のQ4/Q5前後	14B以上、長文PDF、大量同時起動	日本語チャット、短い要約、文章の下書き	Q4/Q5/Q8の違い
16GB / VRAMあり	7B〜8B級、余裕があればQ5	いきなり大容量モデル、VRAM超過	LM Studioでモデル比較、短めの文章作成	LM Studioで最初に選ぶモデル
32GB / GPUなし	7B〜13Bの軽量量子化	速度への期待しすぎ、Q8固定	文章作成、短い資料要約、複数候補の比較	メモリ8GB・16GB・32GBの目安
32GB / VRAM 8GB以上	7B〜14B候補、Q4/Q5比較	保存容量不足、VRAM不足を無視すること	日本語文章作成、少し長めの相談、モデル比較	GGUFとは
64GB以上	大きめモデルも検討可能	CPUだけで大型モデルが快適という思い込み	長めの下書き、比較検証、小規模な文書活用	Janとは

モデルサイズのBとは

7B、8B、13BのBは billion の略で、モデル規模の目安です。数字が大きいほど表現力が上がる場合はありますが、そのぶんメモリ、VRAM、保存容量、回答開始までの待ち時間も増えやすくなります。

Bが大きければ必ず使いやすいわけではありません。日本語性能、用途、量子化、ライセンス、PCスペックとの相性を一緒に見る必要があります。

3B / 7B / 8B / 13B / 14B / 27B / 32Bの違い

モデルサイズは、軽さと回答力のバランスを見る入口です。初心者は、まず「自分のPCで軽く動くか」を確認し、そのあと用途に合わせて上げていくと失敗しにくくなります。

3B / 7B / 8B / 13B / 14B / 27B / 32Bの違いの表
モデルサイズ	重さ	初心者向け度	日本語文章作成	要約	PDF活用	GPUなしPCでの現実性
3B	軽い	高い	短文なら試しやすい	短い要約向け	長文PDFは厳しめ	8GBでも候補になる場合あり
7B/8B	中程度	高い	入門の中心候補	短めなら試しやすい	小さな資料から	16GBの現実的な入口
13B/14B	重め	中程度	品質候補になる場合あり	余裕があれば比較	メモリと処理時間に注意	GPUなしでは待ち時間が長くなりやすい
27B/32B	かなり重い	低め	用途次第で候補	長めにも進める場合あり	PC余裕とアプリ処理が重要	CPUだけでは慎重に見る
70B級以上	非常に重い	低い	検証向け	環境依存が大きい	初心者の最初には不向き	一般的なGPUなしPCでは現実的ではないことが多い

Q4 / Q5 / Q8をセットで見る理由

7Bや13Bはモデル規模、Q4/Q5/Q8は量子化の目安です。同じ7Bでも、Q4とQ8では保存容量や必要メモリ、回答速度が変わります。

Q4 / Q5 / Q8をセットで見る理由の表
量子化	軽さ	品質	保存容量	初心者が最初に選ぶなら
Q4	軽い	入門用途では十分なことが多い	少なめ	16GBやGPUなしなら第一候補
Q5	少し重い	Q4より品質寄りに見やすい	Q4より増えやすい	Q4で余裕があれば比較
Q6	中〜重め	品質寄り	さらに増える	最初の1本より比較候補
Q8	重い	情報量を残しやすい	多い	初心者は慎重に見る

Q4/Q5/Q8の違い - 量子化だけを詳しく確認する

GGUFファイル名の読み方

LM StudioやHugging Faceでファイル名を見ると、モデルサイズ、用途、形式、量子化が混ざって見えます。全部を暗記する必要はありませんが、次の表を分けて見てください。

7B: モデル規模の目安。16GB PCで軽量量子化なら入口になりやすいサイズです。
8B: 7Bに近い入門候補。モデルや量子化によって重さは変わります。
13B: 7B/8Bより重くなりやすく、最初から選ぶと原因を切り分けにくい場合があります。
Q4_K_M: 軽さ寄りの量子化。初心者や16GB、GPUなしPCで最初に見やすい候補です。
Q5_K_M: Q4より少し品質寄りに見やすい候補。余裕があるPCで比較します。
GGUF: LM Studioなどで扱いやすいローカルAIモデルのファイル形式です。
Instruct / Chat: 指示や対話向けに調整されたモデルであることを示すことが多い表記です。

GGUFとは - GGUF、Q4/Q5、ファイルサイズの関係を見る

メモリ8GBの場合

8GBでは、ローカルAIを試せる場合はありますが余裕はかなり少なめです。3B前後や軽量Q4を短文チャットで試し、ブラウザや重いアプリを閉じて確認してください。

13B以上、Q8、長文PDF、大量のモデル比較から始めると、アプリだけでなくWindows全体が重くなることがあります。

メモリ16GBの場合

16GBなら、7B〜8B級のGGUFモデルをQ4/Q5前後から試すのが現実的な入口です。まず短い日本語質問で速度、自然さ、PCの重さを確認してください。

長いPDFや14B以上は、モデル単体が軽く動くことを確認してから検討します。モデルサイズ、量子化、コンテキスト長を一度に欲張ると、重い原因が分かりにくくなります。

メモリ32GBの場合

32GBでは選択肢が広がり、7B/8BのQ5や13B級の軽量量子化も候補になります。ただしGPUなしでは、メモリが多くても回答速度に限界が残ります。

PDFや文書活用に進む場合も、モデルサイズだけでなく、文書量、コンテキスト長、アプリ側の検索処理を合わせて見てください。

メモリ64GB以上の場合

64GB以上なら大きめモデルも検討しやすくなります。ただし、CPUだけで大型モデルが快適に動くとは限りません。

最初は7B/8Bや13Bの軽量量子化で基準を作り、用途に必要な場合だけ27B/32B以上へ進むと判断しやすくなります。

GPUなしPCの場合

GPUなしPCではCPUと通常メモリで処理する場面が多いため、大きいモデルほど待ち時間が長くなりやすいです。軽いモデル、短い入力、Q4前後から始めてください。

GPUなしPCでローカルAIは使えるか - CPU実行や内蔵GPU環境の現実ラインを見る

ノートPC・ミニPC・中古PCの場合

ノートPCやミニPC、中古PCでは、メモリ容量だけでなく増設可否、SSD空き容量、CPU世代、冷却、VRAMの有無も確認してください。8GB固定やストレージ不足は、ローカルAI用途ではすぐ窮屈になることがあります。

中古PCでローカルAIは使える？ - 購入前に見るメモリ、SSD、冷却を確認する
ミニPCでローカルAIは使える？ - 小型PCで注意したい制約を見る
LM Studio用PC購入前チェッカー - 中古PCやミニPCのスペックを入力して確認する

PDFや長文を読ませたい場合

PDFや長文を扱う場合は、モデルサイズだけでなくメモリ、コンテキスト長、アプリ側の文書処理、検索設定も関係します。大きいモデルを選べば必ずPDF回答が良くなるわけではありません。

最初は短い資料1つで、要約、根拠確認、質問への回答を試してください。文書量を増やすのは、モデル単体が安定してからのほうが原因を切り分けやすいです。

AnythingLLMでPDFを読むには - PDFや資料をローカルAIで扱う前の準備を見る
AnythingLLMで期待通りに答えない理由 - PDF回答がずれる原因を確認する

LM Studioでモデルを選ぶ順番

LM Studioで迷ったら、人気順だけで選ばず、自分のPCで無理が少ない順に確認します。

GGUF形式か確認する。
7B/8B級など最初に試しやすいモデルサイズを選ぶ。
16GBならQ4_K_M前後、32GB以上ならQ5も候補にする。
ファイルサイズ、保存容量、ライセンス、日本語利用例を見る。
短い日本語質問で速度と自然さを確認してから、別モデルや長文へ進む。

LM Studioで最初に選ぶモデル - 最初の1本を選ぶ流れを見る
LM Studioの基本情報 - 画面操作でモデルを動かす入口を見る

モデルサイズ選びでよくある失敗

失敗1 大きいほど賢いと思い込む

用途、日本語性能、ライセンス、量子化との相性も見ます。

失敗2 Q8を最初に選ぶ

品質寄りに見えても重くなりやすく、初心者は原因を切り分けにくくなります。

失敗3 GPUなしで大型モデルから始める

待ち時間が長くなりやすいため、7B/8B級の軽量量子化から始めます。

失敗4 PDF用途をモデルサイズだけで判断する

文書量、コンテキスト長、アプリ側の処理も影響します。

失敗5 商用利用を確認しない

モデル、ツール、API、会社や案件のルールを確認してください。

次に読む記事

このページはモデルサイズの中核ハブです。GGUF、量子化、GPUなし、メモリ、中古PC、LM Studioのトラブル、Janとの比較入口へ役割ごとに進んでください。

GGUFとは - LM Studioで見るGGUF、Q4/Q5、ファイル名を整理する
Q4/Q5/Q8の違い - 量子化モデルの選び方を確認する
GPUなしPCでローカルAIは使えるか - GPUなし・CPU実行の現実ラインを見る
メモリ8GB・16GB・32GBで始める前に知ること - PCメモリ別のできることを確認する
LM Studioが途中で止まる原因 - 重い、止まる、固まる原因を確認する
コンテキスト長とは - 長文・PDF・会話履歴が重くなる理由を見る
PDF・文書チャットの使い分け - 長文やPDFを扱う方法を用途別に選ぶ
GPUオフロードとは - LM StudioでCPUばかり使われる時の確認ポイントを見る
ローカルAIをAPIで使う方法 - モデルをアプリやスクリプトから呼び出す前に確認する
中古PCでローカルAIは使える？ - 買う前に見るスペックを確認する
Janとは - LM Studioの次に比較したいデスクトップアプリを見る
Ollamaとは - API連携やコマンド管理向けの入口を見る
AnythingLLMとは - PDFや文書活用向けの入口を見る

よくある質問

16GBメモリならどのモデルサイズから始めればいいですか？

まず7B〜8B級のGGUFモデルをQ4_K_M前後、余裕があればQ5_K_M前後で試すのが現実的です。短い日本語質問で速度とPCの重さを確認してから、長文やPDF活用へ進んでください。

7Bと13Bは何が違いますか？

どちらもモデル規模の目安ですが、13Bは7Bより重くなりやすいです。回答品質が上がる場合もありますが、必要メモリ、保存容量、待ち時間も増えやすいため、初心者は7B/8B級から始めると原因を切り分けやすいです。

Q4とQ5はどちらを選べばいいですか？

初心者やGPUなしPCでは、まずQ4_K_M前後が無難です。Q4で軽く動くことを確認してから、同じ質問でQ5_K_Mを比較すると判断しやすくなります。

GPUなしPCでも13B以上を使えますか？

使える場合もありますが、待ち時間が長くなりやすく、PC全体が重くなることがあります。GPUなしPCでは7B/8B級の軽量量子化から始め、13B以上は余裕がある場合の比較候補として見てください。

PDFや長文を読ませるなら大きいモデルを選ぶべきですか？

モデルサイズだけでは決まりません。メモリ、コンテキスト長、文書量、PDFの文字抽出、アプリ側の検索処理も関係します。最初は短い資料でモデル単体の安定性を確認してください。

Q8は品質が高いなら最初から選んだ方がいいですか？

初心者の最初の1本では慎重に見てください。Q8は重くなりやすく、16GBやGPUなし環境では回答開始が遅い、固まるように見える原因になる場合があります。

ローカルAIモデルは商用利用できますか？

モデルによって異なります。商用利用は、使うモデルのライセンス、ツール、API、会社や案件のルールを確認してください。この記事では商用利用可否を断定しません。

ファイルサイズだけで速度を予測できますか？

予測の手がかりにはなりますが、速度の保証にはなりません。量子化、コンテキスト、GPUオフロード、CPU、入力長、冷却をそろえて実測します。

MoEのA3BのAは何ですか？

Qwen3の公式説明では、MoEモデル名のA3Bは、total parameterとは別に1 tokenあたりにactivatedされるパラメーター数を示します。30B-A3Bなら、30B total・3B activatedという読み方です。モデルごとの定義や構成は、実際のモデルカードを確認してください。

35B-A3Bは3Bモデルと同じメモリで動きますか？

同じとは限りません。active parameterは計算規模の手掛かりで、ファイル容量、totalの重み、量子化、expert構成、runtime、context/KV cache、CPU/GPU配置は別に確認が必要です。ロード後のRAM/VRAMピークを実機で測ってください。

MoEモデルなら必ず高速ですか？

必ずではありません。active parameterは計算量を見る手掛かりですが、実際の速度はモデル、runtime、量子化、context、CPU/GPU、入力長などで変わります。研究結果も限定された機種・モデルの実測なので、同条件のベンチマークを優先します。

MoEモデルを選ぶとき最初に何を見ますか？

モデルカードのtotal/active parameter、expert数、context、形式・量子化・ファイル容量、ライセンス、使用するruntimeの対応を順に確認します。その後、ロード後のRAM/VRAM、最初の返答、生成速度を同じ条件で測ります。

Transformersで動くMoEモデルはLM StudioやOllamaでも動きますか？

動くとは限りません。Transformersの専用model class、GGUFを扱うllama.cpp系経路、LM StudioやOllamaのモデル形式・対応runtimeは別の組み合わせです。モデルカードと使用版の公式情報を確認し、最後は実際のロード結果とruntime/backendを記録してください。

llama.cppのMoE対応表で✅なら、どのMoEモデルでも動きますか？

動作保証ではありません。Feature matrixはbackendのMoE architecture対応を示す表で、モデル実装、変換済み形式、量子化、llama.cppの版、GPU driver、設定は別に確認が必要です。小さなcontextで実ロードし、ログと配置を保存してください。

A3Bの3BだけをruntimeやVRAMの条件にすればよいですか？

よくありません。active parameterはtokenごとの計算規模の手掛かりで、totalの重み、量子化、expert構成、context/KV cache、GPU offload、runtime実装がロード可否と実行時メモリへ影響します。ファイル、load config、ロード後のRAM/VRAMを別々に確認します。

次に読むおすすめルート

GPUなし・低スペックPCの人

軽量モデル、メモリ別の目安、重いときの確認ポイントを先に見ます。

あなたはどのタイプ？

初めてローカルAIを触る人 - まず全体像をつかみ、LM StudioとOllamaの違い、モデルサイズの考え方を順番に確認します。
LM Studio・Ollamaの症状別トラブルを解決したい人 - 起動、モデルロード、Prompt Processing、generation、API接続、GPU確認をツール別に分けて読みます。
GPUなし・低スペックPCの人 - 軽量モデル、メモリ別の目安、重いときの確認ポイントを先に見ます。
PDFや資料を読ませたい人 - 先に基本を押さえ、モデル単体の確認後にAnythingLLMへ進みます。
ローカルAIエージェントを試したい人 - Bionic、Ollama、AnythingLLM、Hermesを役割別に分け、local/cloud、tool、保存、PC負荷を順番に確認します。
開発・API連携したい人 - LM StudioとOllamaの違いを確認し、API、長文処理、RAGまで段階的に進みます。