ローカルAI入門記事一覧

Windows初心者向けに、始め方、PCスペック、GPUなし、LM Studio、Ollama、モデル用語、中古PC・ミニPCの記事をカテゴリ別に整理しています。

新しいモデルやツール更新は、通常記事とは別にローカルAI更新メモで公開時点の情報として整理しています。

検索クラスターから読む

目的ごとの順番で、迷わず次の記事へ

全体像、設定、失敗対策の順に進める読み方です。

伸びている検索クラスター

GGUFを選んで最初のモデルを動かす

GGUFの意味、Q4/Q5/Q8、PCメモリ別サイズ、Hugging Faceでの探し方を一つの順番にまとめます。

  1. 1. GGUFとはLM Studioで見るファイル形式・GGUF版・ライセンスを理解する
  2. 2. 量子化を選ぶまずQ4_K_M、余裕があればQ5_K_Mを検討する
  3. 3. PCに合わせる8GB・16GB・32GBとVRAM別の目安を見る
  4. 4. 1本目を決めるInstructモデルを軽い設定から試す
  5. 5. モデル診断メモリ・GPU・用途から最初の1本を決める
  6. 6. Hermesへ接続選んだモデルをLM Studio Local Server経由でつなぐ
研究と現実ライン

小型LLM・量子化・オンデバイスAIを現実的に読む

Raspberry PiやJetsonの研究、Q4/Q5/Q8、電力効率、プライバシー、エージェント用途を、Windows初心者が過剰期待せず読める順番にまとめます。

  1. 1. 親ガイド速度・メモリ・精度・電力・プライバシーの地図を確認する
  2. 2. 量子化の犠牲Q4/Q5/Q8を上下関係ではなく用途で読む
  3. 3. 低スペックの現実SBC研究をWindows PCへ雑に一般化しない
  4. 4. 電力とGPU効率CPU/GPU、Jetson、冷却、長時間負荷を見る
  5. 5. 実用ライン小型LLMでできること・できないことを決める
  6. 6. 診断PC条件から最初のGGUFモデルを選ぶ
安全と次世代RAG

GGUF量子化安全とオンデバイスRAG/NPUを読む

知らないGGUFを動かす前の配布元確認、Q4/Q5/Q8の安全誤解、Hugging Faceチェック、RAGの重さとNPU研究を一つの順番にまとめます。

  1. 1. 親ガイドGGUF量子化安全とRAG/NPUの全体像を確認する
  2. 2. GGUF安全入門GGUF・量子化・安全性を別軸で読む
  3. 3. Hugging Face確認Model Card、license、配布者を見る
  4. 4. 知らないGGUFLM Studio/Ollamaで動かす前の確認
  5. 5. Q4/Q5/Q8の誤解安全ランクとして読まない
  6. 6. RAG/NPU研究NPUの可能性と限界を読む
  7. 7. RAG負荷分解CPU/GPU/NPU/RAM/APIで重さを切り分ける
新しい伸び筋

PDFをローカルAIで読む

ツール比較から始め、AnythingLLMのPDF設定、RAG、埋め込み、引用確認、検索漏れへ必要な分だけ進みます。

  1. 1. 方法を比較LM Studio単体・AnythingLLM・RAGの違いを選ぶ
  2. 2. PDFを設定文書追加から回答確認までの流れをつかむ
  3. 3. 精度を直す検索されない・根拠が弱い原因を確認する
  4. 4. 仕組みを理解RAG・埋め込み・ベクトルDBの役割を分ける
  5. 5. 間違う理由を読む抽出・検索・引用・生成のどこでずれるか確認する
  6. 6. 検証する公開PDFで根拠確認の手順を作る
研究と検証

PDF・RAG・引用確認を現実的に読む

PDFを入れれば正確に答えるという誤解を避け、抽出、チャンク、検索、引用、プライバシーを分けて確認します。

  1. 1. 親ガイドPDF回答が間違う場所を全体で確認する
  2. 2. PDF抽出の失敗画像PDF・OCR・表・段組みを切り分ける
  3. 3. チャンクと検索漏れ必要な情報が見つからない理由を読む
  4. 4. 引用faithfulness引用がある回答を元PDFで照合する
  5. 5. 日本語PDFと埋め込み表記ゆれ・専門語・埋め込みを確認する
  6. 6. ローカルRAGのプライバシー外部API・保存先・ログを見る
  7. 7. AnythingLLM検証公開PDFで検証手順を作る
  8. 8. 仕事PDFの前提機密情報・外部送信・社内ルールを確認する
接続クラスター

Hermes Desktopを理解して接続する

Hermes Desktopの役割を先に理解し、LM Studio・Ollama・OpenRouterなどのproviderを目的別に選び、最後に接続トラブルを切り分けます。

  1. 1. Hermes DesktopとはLM Studio・Ollamaとの役割の違いを先に整理する
  2. 2. LM Studio接続Local Server、Base URL、Model IDを合わせる
  3. 3. Ollama接続CLI/API寄りの接続と11434系endpointを分ける
  4. 4. 症状別ハブconnection refused・model not found・timeoutを入口に切り分ける
  5. 5. model ID確認モデル名・/v1/models・slugの違いを確認する
  6. 6. GGUF・負荷確認モデル形式、量子化、PC負荷の前提へ戻る
重い・止まるを解決

LM Studioの速度と安定性を直す

CPU 100%やGPU使用率の見え方を理解し、VRAM、モデルサイズ、コンテキスト長の順に負荷を下げます。

  1. 1. GPUオフロードGPUにどこまで処理を載せるか理解する
  2. 2. 症状を切り分け停止・固まり・極端な遅さを順番に確認する
  3. 3. サイズを下げるモデル規模と量子化をPCに合わせる
  4. 4. PC条件を確認メモリ・VRAM・ストレージの不足を見直す

まず読む入門

ローカルAIとローカルLLMの全体像、ChatGPTとの違い、始め方をつかむ入口です。

LM Studio・GGUF

GGUFとは何か、LM Studioで最初に見るモデルサイズ・量子化・診断ツールまで、モデル選びの順番をまとめています。

PCスペック・GPUなし

手元のWindows PCでどこまで試せるか、メモリやVRAMから判断します。

LM Studio/Ollama

Hermes DesktopからLM Studio/Ollamaへ接続する順番、base URL、model ID、エラー時の切り分けを整理します。

API・長文・RAG

ローカルAIをAPI、長文処理、PDF/RAG、外部API、provider切り替えまで広げるための技術入口です。

実用化・ツール連携

安全性、JSON出力、埋め込み、文書チャット、MCPを理解して、ローカルAIを道具として使う入口です。

モデル・用語

モデルサイズ、量子化、VRAMなど、最初につまずきやすい言葉を整理します。

PDF・文書活用

LM StudioやOllamaでモデルを動かし、AnythingLLMやRAGでPDF・資料を扱う前提を整理します。

中古PC・ミニPC

購入前に、メモリ、GPU、ストレージ、冷却の見落としを減らします。

記事選びに迷ったら診断へ

診断フォームで、PCスペック、GPUの有無、目的、コマンド操作への抵抗感から最初に試す環境の目安を確認できます。