LM Studioで画像を読み込む方法｜VLM・GGUF・mmprojの確認ポイント

先に結論：画像入力にはVLMと対応する構成が必要

文章用のLLMをロードしただけでは、画像を見て答える機能は使えません。LM Studio公式は、画像を受け取るモデルとしてVLM（Vision-Language Model）を案内しています。まずモデル名やmodel cardでvision/image input対応を確認し、テキスト用GGUFだけを画像対応だと思わないことが出発点です。

「GGUFなら画像も読める」「mmprojという名前ならどのモデルにも使える」とは限りません。モデルの対応表、ファイルの組み合わせ、実際の短い画像テストを分けて確認します。

• LM Studioで最初のモデルを選ぶ - 最初のモデル選びと短い動作確認の順番を見る
• GGUFファイル名の読み方 - モデル系列、quant、mmproj表記の読み方を確認する
• LM StudioのGPUオフロード - 画像入力でPC負荷が増えた時の分け方を見る

文章用GGUFとvision対応モデルを見分ける

保存済みモデルの一覧はlms lsで確認できますが、一覧に出ることと画像入力に対応することは別です。公式REST APIのモデル一覧には、モデル形式、サイズ、パラメータ、ロード状態に加えて、vision/image input対応を表すcapabilities.visionが含まれます。

1. LM StudioのDiscoverまたは公式model cardで、VLM・vision・画像入力の記載を確認する。
2. lms ls --detailedで、モデル名、architecture、parameters、サイズを記録する。
3. LM Studioのlocal serverを使う構成なら、GET /api/v1/modelsの対象modelにcapabilities.visionがあるか確認する。
4. lms psで対象モデルが実際にロードされているかを確認し、テキスト用モデルと混同しない。

lms ls --detailed
lms ps

GET http://localhost:1234/api/v1/models

"capabilities": { "vision": true }

APIの一覧でvisionがtrueでも、画像を送るmodel IDが別のモデルなら期待どおりに動きません。対象のmodel key、ロード状態、対応する画像形式を一緒に見ます。

• LM StudioでGGUFを入れて読み込む方法 - ダウンロードとロードの基本を確認する
• GGUFが読み込めない時 - ファイル形式、メモリ、runtimeの分岐を見る

mmprojとは：GGUF本体と無関係に組み合わせない

llama.cpp公式のmultimodal資料では、画像をembeddingへ変換する別コンポーネントとしてmultimodal projector（mmproj）が説明されています。対応モデルでは、通常の言語モデルファイルと、それに対応するmmprojの2つのGGUFを使う構成があります。

1. 使いたいvision modelのmodel cardや公式配布元で、必要ファイルを確認する。
2. 本体GGUFとmmprojが別ファイルなら、同じモデル系列・アーキテクチャ・配布説明にそろえる。
3. LM StudioのDiscoverやimportで認識させ、ファイル名が似ているだけのprojectorを追加しない。
4. 一度に複数のquantやprojectorを試さず、1構成だけで短い画像テストをする。

mmprojの扱いはモデルアーキテクチャごとに異なります。LM Studioで自動的に組み合わされるか、別途ファイルが必要かを一般化せず、配布元の説明と現在のLM Studio表示を優先してください。

• Hugging FaceでGGUFを探す方法 - model cardとFilesを読む順番を確認する
• GGUFを落とす前の安全チェック - 配布元、license、元モデルを確認する

LM Studioアプリで最初の画像テストをする

最初から高解像度の写真やPDF全体を渡さず、対応が明記された小さなJPEG・PNG・WebPを1枚だけ使います。画像を添付できる画面で、短い質問を送り、モデルが画像の内容に触れて答えられるかを確認します。

1. Discoverまたは公式model cardで、画像入力対応のVLMを1つ選ぶ。
2. Chatで対象モデルをロードし、テキストだけの短い質問が返ることを確認する。
3. JPEG、PNG、WebPの小さな画像を1枚添付し、「この画像に写っているものを短く説明して」と送る。
4. 画像を見た回答になっているか、単なる一般論や「画像がありません」になっていないかを確認する。
5. 1枚で動いた後に、画像サイズ、複数画像、OCRに近い用途へ段階的に進む。

• LM Studioの最初のモデル - 小さいモデルから動作を確認する
• LM Studioが起動しない時 - アプリ・runtimeの問題を別に切り分ける

APIから画像を送る場合はinput形式を確認する

LM Studioのlocal serverをAPIから使う場合、公式REST APIではテキストと画像をinputの要素として分けます。画像はdata URLとして送る形式が案内されているため、OpenAI互換のテキスト専用リクエストをそのまま画像用途に流用せず、現在の公式API仕様を確認してください。

{
  "model": "vision-model-id",
  "input": [
    { "type": "message", "content": "この画像を短く説明して" },
    { "type": "image", "data_url": "data:image/jpeg;base64,..." }
  ]
}

APIが400を返す場合は、local serverの起動、model ID、認証設定、inputの配列、data URLの形式、vision対応を順番に確認します。実際のtokenや個人画像を記事のコマンド例へ入れないでください。

• LM Studio Image Input公式ガイド - Python SDKで画像を渡す場合の形式を見る
• LM Studio REST APIでチャットする方法 - 画像inputとlocal serverの仕様を確認する
• LM StudioのAPIサーバーガイド - localhostとOpenAI互換APIの境界を確認する

画像を読み込めない時の分岐

画像入力の失敗を、すぐに保存先や量子化のせいにしないでください。vision対応、ファイルの組み合わせ、画像形式、ロード状態、メモリ・VRAMを一つずつ固定すると原因を絞れます。

• LM StudioのGGUF読み込みトラブル - GGUF本体やruntimeの問題を切り分ける
• モデルサイズとメモリ - 本体・OS・contextの余裕を考える
• LM StudioのGPUオフロード - RAM/VRAM負荷の確認へ進む

VLM・OCR・RAG・通信を同じものにしない

VLMは画像を入力して説明や質問応答をするモデルです。画像内の文字を正確に抽出するOCR、抽出文を検索するRAG、PDF全体を参照する仕組みとは重なりますが同じものではありません。文字の正確さが必要なら、抽出結果と元画像を照合します。

LM StudioでローカルのVLMを使っていても、外部API、provider、MCP、同期、モデル取得を組み合わせれば通信経路は別に発生します。画像の保存場所、履歴、送信先、削除方法を、モデル本体とは分けて確認してください。

• PDF・画像PDF・OCRの問題 - VLMだけでPDF/RAGの精度を保証しない理由を見る
• AnythingLLMでPDFを読めない時 - 画像PDF、embedding、RAGの分岐へ進む
• ローカルAIの通信とプライバシー - local modelと外部providerを分けて確認する