Windowsでローカル音声認識を始める方法｜Whisper・whisper.cppの選び方

先に結論：音声→Whisper→テキストの流れを小さく試す

Windowsでローカル音声認識を始めるときは、音声ファイルをローカルのWhisper実装へ渡し、文字起こし結果と区間情報を保存する構成から始めます。Whisperは音声認識、言語識別、音声翻訳に使えるモデルですが、チャット用のLLMとは役割が違います。

Windows 11の音声アクセスは、言語ファイルの取得後はインターネットへ接続せずにPC操作とテキスト入力に使えます。一方、Win+Hの音声入力はオンライン音声認識を使います。Windows Speech Recognition（WSR）は2024年9月にWindows 11 22H2以降で音声アクセスへ置き換わったため、現在のWindows 11向け手順として混同しないでください。音声アクセスはOS機能で、録音済みファイルをSRT/VTTへ書き出すWhisper runnerとは用途が異なります。

• 音声アクセスのセットアップと日本語対応 - 端末内認識と初回ダウンロードの条件を確認する
• Windows音声入力（Win+H）の公式手順 - オンライン音声認識と接続要件を確認する
• Windows Speech Recognition（WSR）の案内 - Windows 11 22H2以降の置き換え案内を見る

ローカル実行とは、モデルと依存関係を準備した後の推論経路をPC内に置く考え方です。初回のパッケージ、ffmpeg、モデル取得、更新、外部APIや同期機能まで自動的に無通信になるわけではありません。

• ローカルLLMの安全性とプライバシー - local処理と外部送信を分けて確認する
• ローカルAIのプライバシーは本当に安全？ - 「ローカルなら安全」と決めつけない確認項目を見る
• ローカルAI用PCスペックの見方 - CPU、メモリ、GPU、ストレージを先に確認する
• WindowsでローカルAI議事録を作る - 会議音声の録音から文字起こし・要約までの全体像を見る

OpenAI Whisperとwhisper.cppをどう分けるか

OpenAIのWhisper公式リポジトリは、PythonパッケージとCLIで音声ファイルを処理する流れを案内しています。Python環境やffmpegを扱える人は、モデル選択と出力形式を確認しながら始めやすい経路です。

ggml-orgのwhisper.cppはWhisperをC/C++で動かすプロジェクトで、READMEにはwhisper-cli、whisper-server、whisper-streamなどのツールが案内されています。CMakeでビルドする手順や音声形式の条件を自分で確認できる人向けの選択肢です。

「どちらが常に簡単・高速」とは言い切れません。Pythonの準備が済んでいるか、Windowsでビルドを許容できるか、CLI/APIへ広げたいかで選び、同じ短い音声を使って結果と処理時間を比較します。

• OpenAI Whisper公式リポジトリ - Python、ffmpeg、モデル、CLIの原資料を見る
• whisper.cpp公式README - CMake、whisper-cli、対応ツールを確認する
• ローカルAIをAPIで使う方法 - ローカルrunnerを別アプリから呼ぶ前の確認へ進む

Windows AI Speech Recognition・Foundry Local・Whisperの役割を分ける

同じ「Windowsで音声を文字起こし」でも、選ぶ層が違います。Windows AI Speech RecognitionはWindows AI APIsをアプリへ組み込むためのAPI、OpenAI Whisperとwhisper.cppはモデルを動かすrunner、Foundry Localはローカルモデルをアプリから呼び出すruntimeです。名前にWhisperが出てきても、セットアップ、対応ハードウェア、モデル準備、検証経路は同じではありません。

Windows AI Speech Recognitionは録音ファイルを一括処理するbatch recognitionと、マイクやaudio streamを継続処理するstreaming recognitionを提供します。Copilot+ PCにNPUがあれば自動的にNPUで動き、CPUを選ぶ設定を利用者が追加する仕組みではありません。非Copilot+ PCではCPUが使われ、GPUは対応対象外です。

CPUでリアルタイム性を重視する場合、Microsoftの推奨は4つ以上の物理コア、3GHz以上のbase clock、32MB以上のL3 cacheです。これは良好なCPU体験の目安であり、動作のハード最小要件や速度保証ではありません。低い構成ではbatchを優先するなど、実音声で待ち時間を確認します。

CPU-only端末では、音声認識モデルが最初から入っていない場合があります。まず`GetReadyState`で状態を確認し、`EnsureReadyAsync`が必要なら、Windows Update経由のバックグラウンド取得と同意を説明してから準備します。モデルはSettings > System > AI Componentsから後で削除できるため、「一度動いたから常にオフラインで準備不要」とは考えません。モデル準備後の認識は端末内でも、初回取得、アプリ更新、外部連携の通信経路は別に記録します。

アプリ実装で`Not declared by app`が出る場合は、Windows buildやWinAppSDKだけでなく、MSIX packageとmanifestも確認します。Microsoftは`Package.appxmanifest`への`systemAIModels` capability宣言と、`TargetDeviceFamily`の`MaxVersionTested`に新しいWindows versionを設定するよう案内しています。公式例の`10.0.26226.0`より古い値は、model読み込み時にこのエラーへつながる場合があります。source manifestだけでなく、build後にpackageへ入ったmanifestも照合してください。

Foundry Localでは、公式REST APIに`POST /v1/audio/transcriptions`があり、MP3、WAV、FLAC、OGG、WebMなどの音声と、ロード済みWhisperモデルのIDを渡します。portは固定値と決めつけず、実行中サービスからendpointを取得します。Foundry Localの起動・モデルロード・Open WebUI接続を含む手順は専用記事へ分け、ここでは「アプリ組み込みAPIか、Python/C++ runnerか、OpenAI互換endpointか」を選ぶ判断に集中します。

• Windows AI Speech Recognition公式資料 - batch、streaming、NPU・CPU・GPU、モデル準備の原資料を見る
• Foundry Local REST API公式資料 - audio transcriptions、形式、モデルID、動的endpointを確認する
• Foundry Localで音声を文字起こしする手順 - SDKでWhisperモデルをロードする公式例を見る
• Foundry LocalをWindowsで使う方法 - CLI、server、cache、Open WebUIの役割を分けて確認する
• Copilot+ PCとNPUの判断 - NPUが必要なWindows AI APIと一般runnerを分ける

モデルサイズは日本語対応とPC負荷を分けて選ぶ

日本語の文字起こしでは、英語専用の`.en`モデルだけを選ばず、multilingualモデルを候補にします。OpenAIのREADMEにはtiny、base、small、medium、large、turboなどの比較が掲載されていますが、表の速度やVRAMは特定環境での目安であり、Windowsの手元PCで同じ結果になる保証ではありません。

モデルを大きくすれば日本語のすべての音声が正しくなるわけではありません。Whisper model cardは、言語ごとの性能差、hallucination、話者分離などの限界を説明しています。モデル名ではなく、実際に使う音声で検証してください。

• OpenAI Whisper model card - 精度差、hallucination、用途上の注意を確認する
• メモリ8GB・16GB・32GBの目安 - モデルを大きくする前にメモリの余裕を見る
• GPUなしPCでローカルAIは使える？ - CPU中心で試す場合の現実的な期待値を確認する

Windowsで最初の1本を動かす

最初は個人情報や機密会議ではなく、短い音声ファイルで経路を固定します。下記は公式資料を読むための例であり、このサイトの作業環境へPythonパッケージを追加する手順ではありません。

1. Python版を試す場合は、分離したPython環境を用意し、公式のopenai-whisperパッケージを入れる。
2. Whisper公式が前提にしているffmpegをWindowsへ用意し、コマンドから呼び出せるか確認する。
3. 日本語を含むmultilingualモデルを1つ選び、短いWAVまたは音声ファイルで言語指定を明示して処理する。
4. 出力されたテキスト、区間、処理時間、エラーを記録し、モデルだけを変えて比較する。

py -m pip install -U openai-whisper
whisper "C:/audio/sample.wav" --language Japanese --model base

OpenAI Whisper公式READMEはffmpegを必要な依存として案内し、WindowsではChocolateyやScoopを使う例も示しています。インストール方法は環境の管理方針と公式資料を確認し、作業PCへ未知のスクリプトを貼り付けないでください。

1. whisper.cppを試す場合は、公式リポジトリを取得し、WindowsのCMake手順に合わせてReleaseビルドを作る。
2. 公式READMEが案内するggmlモデルを1つ取得し、モデルファイルと実行ファイルの場所を確認する。
3. whisper-cliへ短い16-bit WAVを渡し、結果が出ることを確認してから入力形式やモデルを変える。

git clone https://github.com/ggml-org/whisper.cpp.git
cd whisper.cpp
cmake -B build
cmake --build build --config Release
./build/bin/Release/whisper-cli.exe -m models/ggml-base.bin -f audio/sample.wav

whisper.cpp公式の現在のCLI例は16-bit WAVを入力にしています。MP3などをそのまま渡して失敗した場合は、まずffmpegで単純なWAVへ変換します。

ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le output.wav

• OpenAI WhisperのWindows導入情報 - ffmpeg、モデル一覧、CLIの最新版を確認する
• whisper.cppのビルドとCLI - CMake、モデル、16-bit WAVの条件を見る

SRT・WebVTT字幕として保存する

文字起こし結果を字幕ファイルにする場合、OpenAI WhisperのCLIはSRTまたはVTTを選び、保存先も指定できます。下の例は字幕用フォルダーへSRTを書き出します。

whisper "C:/audio/sample.wav" --language Japanese --model base --output_format srt --output_dir "C:/audio/subtitles"

WebVTTにする場合は`--output_format srt`を`--output_format vtt`へ変えます。whisper.cppは`-osrt`または`-ovtt`で形式を選び、`-of`には拡張子を付けない出力名を渡します。

./build/bin/Release/whisper-cli.exe -m models/ggml-base.bin -f audio/sample.wav -osrt -of audio/sample

このwhisper.cpp例は`audio/sample.srt`を出力します。VTTでは`-osrt`を`-ovtt`に置き換えます。自動字幕は完成稿ではないため、原音と照合し、区間のずれ、固有名詞、数字、抜けた発話を確認してから共有してください。話者ラベルが必要なら、話者分離の記事の手順を別途確認します。

• OpenAI Whisper CLIの出力オプション - SRT・VTT・保存先の公式引数を見る
• whisper.cpp CLIの出力オプション - SRT・VTTと出力ファイル名の指定を見る
• Windowsで話者分離を始める - 文字起こしへ話者区間・話者IDを割り当てる方法を見る
• WindowsでローカルAI翻訳を始める - 字幕を翻訳する場合の別工程を確認する

音声形式・区間・タイムスタンプを先に整える

音声形式の問題と認識精度の問題を混ぜないため、最初の比較では同じ音声を使い、変換後のファイルを別名で残します。whisper.cppのCLI例は16-bit WAVを前提にしているため、まずmono、16kHz、PCMのWAVへ変換すると確認しやすくなります。

タイムスタンプやセグメントは聞き直す場所を絞るのに役立ちますが、話者を自動で正確に分離することや、会議記録を無検証で完成させることを意味しません。話者名、数字、製品名、否定表現は音声と照合します。

無音区間が長い録音では、VAD（Voice Activity Detection）が使える実装もあります。ただし、VADは「誰が話したか」や内容の正しさを保証する機能ではないため、まず通常の短い音声で文字起こし経路を確認します。

• whisper.cppの音声形式・VAD資料 - CLI、16-bit WAV、VADの現在の説明を見る
• PDF・文書チャットの使い分け - 文字起こし後の文書活用へ進む前に役割を分ける
• ローカルAIが重い・動かない時 - 処理が遅い、止まる、メモリが足りない時の分岐を見る

Windowsで詰まりやすい症状を切り分ける

「文字が間違った」だけでモデルを大きくする前に、入力音声、language指定、音量、無音、パス、メモリを一つずつ固定します。リアルタイム処理は別の性能条件があり、ファイル文字起こしが動いたことだけでは保証できません。

• ローカルAIの症状別トラブル解決ハブ - 重い・動かない原因を段階別に確認する
• agentのPC負荷とKV cache - 複数アプリや長時間処理のPC負荷を見る
• ローカルAIの速度・RAM・VRAMを測る方法 - 「動く」と「実用速度」を分けて測る

プライバシーと精度を両立する確認ルール

Whisper model cardは、出力のhallucination、言語による性能差、リアルタイム利用を前提にしていないことなどを説明しています。医療、法務、人事、本人確認などの高リスク用途や、同意のない録音を「ローカルだから問題ない」と扱わず、用途・権限・確認者を決めてください。

• 最初は本人が権利を持つ短い非機密音声で、入力、モデル、出力先を記録する。
• 音声ファイル、変換後WAV、一時ファイル、文字起こし結果、ログを別々の保存対象として確認する。
• 外部API、クラウド同期、翻訳サービス、共有フォルダへ送る経路がないかを処理ごとに確認する。
• 固有名詞、日付、金額、否定、専門用語、話者の交代を原音と照合し、重要な文章は人が承認する。
• 不要になった音声と中間ファイルを、保存期間と削除方法に沿って個別に整理する。

最初の到達点は、長い会議を自動処理することではありません。短い音声を同じ条件で再現し、どのモデル・形式・保存先・確認手順なら自分のPCと用途に合うかを把握することです。

• OpenAI Whisper model card - モデルの限界と高リスク用途の注意を見る
• ローカルAIのプライバシー確認 - ローカル処理、ログ、外部連携の境界を整理する
• LM Studioで画像を読み込む方法 - 音声・画像・テキストのモデル役割を混同しない