WindowsでローカルAIと音声会話する方法｜Whisper・Ollama・VOICEVOX

最初は短い1往復を通す

音声会話では、マイクに声が入ったか、文字起こしが合っているか、LLMが返答したか、TTSがWAVを作ったかを別々に確かめます。最初から常時マイク、割り込み、長い会話履歴を加えると、どの工程で止まったのか分かりにくくなります。

まず自分の声だけを含む短い非機密音声でSTTを確認し、そのテキストをLLMへ渡し、完成した返答を一度だけ読み上げます。各段階の出力を見てから次へ進むと、誤認識、接続失敗、音声再生の問題を切り分けられます。

• Windowsでローカル音声認識を始める - Whisper、Windows AI Speech Recognition、音声ファイルの準備を確認する
• WindowsでローカルTTSを始める - 日本語voice、Windows標準音声、Kokoro、Piperの違いを見る

公式サンプルと別API構成を選ぶ

すでに動く構成を試すなら、whisper.cppの`whisper-talk-llama`がマイクからWhisper、LLaMA系model、TTSへ進む公式サンプルです。OllamaやVOICEVOXを自動で使う完成アプリではなく、SDL2を使うビルドとllama.cpp用modelの準備が必要です。READMEはWhisperの`base`または`small`をリアルタイム体験の候補とし、応答音声には編集可能な`speak` scriptを使います。WindowsではSpeechSynthesizerが既定例です。

Ollamaと日本語TTSを別々に選びたい場合は、WhisperのHTTP endpoint、Ollamaのchat API、VOICEVOX Engineをアプリから順に呼びます。この構成ではマイク録音、ターンの終了判定、APIエラー、会話履歴、読み上げ中断をつなぐコードが別途必要です。公式APIがあることだけで、3つを結ぶ完成アプリや同じ互換性が保証されるわけではありません。

• whisper.cpp talk-llama公式README - マイク会話、SDL2、model、session、Windowsの既定TTSを確認する
• ローカルAIをAPIで使う方法 - runtimeのendpointをアプリから呼び出す考え方を見る
• llama.cppをWindowsで使う方法 - talk-llamaで使うllama.cpp側のmodel・backend確認へ進む

APIを工程ごとに試す

別API構成は各engineを単独で確認してから接続します。Whisper側は短い日本語音声の文字起こし、Ollama側はローカルmodelへのchat、VOICEVOX側は固定文のWAV生成を先に成功させてください。

Whisper serverは音声認識endpoint、OllamaはLLM chat endpoint、VOICEVOXは音声合成engineです。modelやportを固定値として思い込まず、現在起動しているserverの設定と応答を確認します。VOICEVOXの音声はサンプリングレートや読み方が再生環境に合わないことがあるため、短文で出力まで試します。

• whisper.cpp公式README - whisper-serverのWindows build、HTTP inference、stream exampleを見る
• Ollama chat API公式資料 - ローカルchat endpointとmessages/streamの仕様を確認する
• VOICEVOX Engine公式README - HTTP synthesisとspeaker IDの現行説明を見る

ターン制御と読み上げを分ける

「音声を連続で取り込める」ことと「会話が自然に交代する」ことは別です。whisper.cppの`whisper-stream`はREADMEがnaive exampleと説明するマイク処理例で、音声の区切り方やLLM・TTSの連結を完成させるものではありません。初回は押して話す方式か録音ファイルで発話の終わりを明示します。

Ollama APIのstreaming responseをそのまま小分けでTTSへ送ると、文の途中を読んだり同じ語を重ねたりする実装になり得ます。最初は完成した返答を1回合成します。VOICEVOXの`streaming_synthesis`は音声を少しずつ返すAPIですが、LLMの文字chunkを自動で文章境界に整える機能とは分けて扱います。

• Whisperで音声認識・字幕を作る - 録音形式、認識結果、誤認識の確認へ戻る
• 日本語ローカルTTSの選び方 - 生成音声、voice、ライセンスを選ぶ

ローカル処理と保存先を確認する

「ローカル」と書かれた部品が一つあっても、音声会話全体の通信が止まるとは限りません。アプリ設定、modelの種類、APIのbase URL、download、同期、履歴・ログを一工程ずつ確認します。Ollama chatへ`localhost`で接続する構成と、Ollama cloud modelや別のAPIへ接続する構成は同じ通信経路ではありません。

同意のない録音、会議相手の音声、機密情報を常時取り込まないでください。長期保存や自動実行は後回しにし、まず利用者が開始・停止できる入力方法と、音声・文字・履歴を消せる場所を決めます。VOICEVOXのvoiceごとの利用条件はTTS記事と公式資料で確認します。

• ローカルAIの安全性とプライバシー - 音声・文字・model通信の境界を確認する
• ローカルAIのプライバシー確認 - 同期、ログ、外部APIを含む通信を点検する
• WindowsでローカルTTSを始める - voiceごとのlicenseとクレジット表記を確認する

止まった工程から切り分ける

最初に「入力が取れない」「認識が違う」「chatが失敗」「WAVが作れない」「再生に失敗」のどこで止まったか記録します。一度に複数modelやbackendを変えず、同じ短い音声と同じpromptで工程ごとに比較してください。

• ローカルAIが重い・動かない時 - runtimeとWindowsの症状を段階別に確認する
• ローカルAIの速度を測る方法 - 「実行できる」と「会話に使える待ち時間」を分けて測る