Windowsでブラウザ内ローカルAIを試す方法｜WebLLMとWebGPUの条件

先に結論：ブラウザだけで試せるが、初回downloadとWebGPUが必要

WebLLMはLLM推論をブラウザ内で実行するengineです。公式のWebLLM Chatは、WebGPU対応browserで試せるサンプルとして案内されています。Windows PCへOllamaやLM Studioを入れる前の短い動作確認に向きます。

「ブラウザだけ」は、ネット接続やGPUが不要という意味ではありません。初回に選んだmodelと実行用artifactを取得し、対応するGPU adapterで読み込む必要があります。使いたいmodelを既に持っていれば何でも開ける方式ではなく、WebLLMの事前ビルド済みmodel一覧が入口です。

• WebLLM公式のmodel一覧と形式 - 事前ビルドmodelとGGUFの違いを確認する
• ローカルAI用PCスペックの見方 - Windowsのmemory、GPU、VRAMを確認する

WindowsのChromeでWebGPUを先に確認する

WebLLMを開く前に、Chromeを更新し、対象ページがHTTPSで開いていることを確認します。WebGPUはsecure contextで使うAPIです。ローカル開発中の`localhost`もsecure contextとして扱われますが、`file:`でHTMLを直接開く方法は確認経路にしません。

1. 最新の安定版ChromeでWebLLM Chatを開く。会社や学校の管理browserでは、GPU機能がpolicyで無効化されていないか管理者へ確認する。
2. Chromeのアドレス欄で`chrome://gpu`を開き、Graphics Feature Statusの`WebGPU`が`Hardware accelerated`か確認する。
3. Chromeの設定でgraphics accelerationが有効かを確認し、GPU driverとbrowserを更新した後にもう一度見る。
4. WebLLM Chatのmodel選択で、現在のprebuilt一覧にある小さめのmodelから選ぶ。日本語用途はmodel cardを読み、機密でない短文で出力を試す。
5. model loadingのprogress表示が完了してから短い質問を送り、返答が終わるか確認する。初回ロードは時間がかかる場合がある。

ChromeのWindows版は、Chrome内の他の処理と同じGPU adapterを使います。ノートPCでは省電力側の内蔵GPUが選ばれることが一般的で、Chromeが複数GPUを同時に使う仕組みではありません。タスクマネージャーで専用GPUが見えても、このbrowser tabが同じGPUを使うとは限らないため、PCのGPU名だけから動作を断定しません。

• Chrome WebGPU troubleshooting - `chrome://gpu`、secure context、WindowsのGPU選択を確認する
• WebGPU APIの対応条件 - browserとHTTPSの条件を確認する
• 同じPCの複数GPUでローカルLLMを動かす - GPU memoryの扱いをruntime別に確認する

初回model取得・日本語・保存容量の確認

WebLLMのmodel loadingにはdownloadが含まれ、公式guideはcacheがない最初の実行にかなり時間がかかる場合があると説明しています。progress表示が進んでいる間は、通信が終わる前にtabを閉じたり、modelを何度も切り替えたりせず、選択したmodelのdownloadと初期化を一度完了させます。

model一覧にはWebLLM用の事前ビルド済みmodelだけが表示されます。GGUFや別runtime用のmodel fileを指定するだけでは動きません。独自modelを扱うにはMLC LLMのmodel artifactと対応するWebAssembly libraryの準備が必要になるため、一般利用では現在の一覧から選ぶ方法が簡単です。

日本語の品質はmodelごとに異なります。最初は個人情報や社内文書を使わず、同じ短い日本語質問で回答の自然さと指示への追従を確認します。対応modelの名前や必要memoryだけで、日本語能力や応答速度を保証することはできません。

WebLLMは既定でbrowser Cache APIを使い、2回目以降のmodel loadingを短縮します。ただしブラウザ保存領域はorigin単位のquotaや端末の空き容量に左右され、best-effortのdataはbrowser settingsから消去されたり、storage pressure時に退避されたりする場合があります。modelを常に残せる、または初回download後なら必ずofflineで使えると決めつけないでください。

• WebLLM model loading guide - 初回downloadと非同期loadの説明を見る
• WebLLM cacheの設定 - Cache APIなどの保存方式を見る
• MDN browser storage quotaとeviction - browserが保存dataを消去する条件を確認する

ローカル推論と通信・privacyを分けて考える

WebLLM engineがmodel推論をbrowser内で行うことと、WebLLM Chatというhosted appのすべての通信が端末内に留まることは同じ主張ではありません。ページ本体、JavaScript、model artifactはネットから取得します。app側のanalytics、保存、外部送信については、使うsiteのprivacy policyと通信先を別に確認してください。

初回は架空の短文だけを入力します。機密文書や個人情報を試す前に、network通信、会話の保存先、browser profileの同期、model download元を確認します。ブラウザ内推論だけでは、WebGPUの利用可否、hosted pageの挙動、端末の保存設定まで自動的に保証されません。

• ローカルAIのプライバシー mythと実態 - inference、通信、log、storageを分けて確認する
• ChatGPTとローカルAIの使い分け - 送信先とaccount側のdata controlを比較する

動かない・遅い時の切り分け

ブラウザ対応がない、長い作業で保存やmodel管理に困る、WebLLMのprebuilt modelが用途に合わない場合は、Windows desktop runtimeのmodel形式・GPU対応・保存先を確認して選び直します。GPUなしPCでbrowser推論を行う方法が必ずある、あるいは専用GPUがあれば必ず動くとは案内できません。

• WindowsでGPUなしのローカルAIを使う - CPU中心のdesktop実行で期待できる範囲を見る
• WindowsでローカルAIを入れる前に確認すること - 専用appを選ぶ場合のmemory・GPU・storageを確認する
• ローカルAIの症状別トラブル解決 - desktop runtime側の起動・memory問題を調べる