Windowsでローカル話者分離を始める方法｜WhisperX・pyannote.audioの選び方

先に結論：文字起こしと話者分離は別工程

話者分離（speaker diarization）は、音声を「話者Aが話した区間」「話者Bが話した区間」のように分ける処理です。人名を自動で当てる本人識別とは別で、最初は`SPEAKER_00`のような匿名ラベルが出るものとして扱います。

まず短い音声ファイルで、音声→文字→話者区間→ラベル付きテキストの順番を確認します。Whisperだけで話者名が付く、話者分離で本人が特定できる、文字起こしが自動的に正確になる、とは考えません。

• Windowsでローカル音声認識を始める - まずWhisper単体の入力・モデル・精度確認を見る
• ローカルAI用PCスペックの見方 - CPU・メモリ・GPUの条件を整理する
• ローカルLLMの安全性とプライバシー - 音声、token、ログ、外部送信の境界を見る

Whisperだけで話者名が付かない理由

OpenAI Whisperは音声認識、言語識別、音声翻訳のモデルです。Whisperの出力に区間時刻があっても、それは誰が話したかを判定する話者ダイアライゼーションとは別です。whisper.cppのCLI、server、stream関連機能を使っても、実装しただけで話者ラベルが追加されるわけではありません。

会議の発言録を作る場合は、Whisper単体の結果を話者別議事録と呼ばず、まず原音・区間・文字を見ます。話者が重なる、マイクが遠い、雑音が多い場合は、ASRと話者区間の両方が崩れる可能性があります。

• OpenAI Whisper公式リポジトリ - Whisperのモデル、CLI、音声認識の原資料を見る
• whisper.cpp公式README - Windows CLI、server、streamの役割を確認する
• Whisper単体のWindows手順 - 話者分離を足す前のbaselineを作る

WhisperX + pyannote.audioで文字と話者を結び付ける

WhisperX公式READMEは、Whisperの文字起こしにword-level timestamps、VAD、pyannote-audioによるspeaker diarizationを組み合わせる構成を案内しています。話者分離を有効にするには、Hugging Face access tokenとspeaker-diarization-community-1の利用条件への同意が必要です。

1. 本人が扱う権利のある短い音声をコピーし、元ファイルを上書きしない作業フォルダを作る。
2. ffmpegで入力形式をそろえ、音声の長さ、言語、話者数の目安を記録する。
3. 分離したPython環境へWhisperXを準備し、Hugging Faceでtokenとモデル利用条件を確認する。
4. まず`--diarize`なしで文字起こしを確認し、次に話者分離を加えて結果を比較する。
5. SPEAKER_00などのラベル、区間、文字、重なり発話を原音と照合する。

ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le input.wav
whisperx input.wav --model large-v2 --diarize --hf_token <HUGGINGFACE_TOKEN>

上記は公式READMEの流れをWindows向けに読むための例で、このサイトの環境へインストールやモデル取得を行うコマンドではありません。tokenをソースコード、記事、共有ログへ書き込まず、利用するshellの安全なsecret管理方法を確認してください。

WhisperXはASR、alignment、diarizationを一度に扱える反面、すべての言語で同じalignmentモデルが自動選択されるわけではありません。日本語のword-level時刻を必要とする場合は、対象言語のalignmentモデルが現行手順で使えるかを小さい音声で検証します。

• WhisperX公式README - diarize、HF token、CPU実行、alignmentと制約を見る
• pyannote community-1 model card - モデル利用条件とローカル実行の原資料を見る

pyannote.audio単体で話者区間を出す

文字起こしが不要で「いつ話者が切り替わったか」だけ欲しい場合は、pyannote.audioの話者ダイアライゼーションパイプラインを単体で試せます。community-1のmodel cardは、音声を入力して話者区間とspeaker IDを出力する例、話者数の指定、CPU/GPU、オフライン利用を案内しています。

from pyannote.audio import Pipeline

pipeline = Pipeline.from_pretrained(
    "pyannote/speaker-diarization-community-1",
    token="HUGGINGFACE_TOKEN"
)
output = pipeline("audio.wav")

for turn, speaker in output.speaker_diarization:
    print(f"{speaker}: {turn.start:.1f}s - {turn.end:.1f}s")

community-1は音声をmono・16kHzとして扱い、入力時にdownmixやresampleが行われます。それでも、最初の比較ではffmpegで入力をそろえ、元音声のチャンネル、サンプルレート、無音、重なりを記録すると原因を追いやすくなります。

1. Hugging Faceでモデルの利用条件、license、access tokenの扱いを確認する。
2. pyannote.audioとffmpegを分離環境へ準備し、公開または低リスクの音声で実行する。
3. CPUで動くことを確認し、待ち時間が用途に合わない場合だけGPU・batch・音声長を別々に検討する。
4. outputの話者区間を、音声を聞き直しながらSPEAKER_00などの匿名ラベルとして検証する。

モデルの取得後にローカルファイルから推論する構成は作れますが、初回のモデル・Python依存関係・token認証・更新は別の通信工程です。pyannoteAIのクラウドサービスを選ぶ経路とも混同せず、処理音声がどこへ送られるかを構成ごとに確認します。

• pyannote.audio公式GitHub - community-1、CPU/GPU、ffmpeg、local inferenceを確認する
• community-1 model card - 話者数、offline、license、token条件を見る
• GPUなしPCで使える範囲 - CPU処理の待ち時間を現実的に見積もる

日本語・話者数・重なり発話を先に検証する

pyannoteのmodel cardは、既知の話者数を`num_speakers`、範囲を`min_speakers`・`max_speakers`で渡す例を示しています。ただし、人数を指定しても話者の実名や会話内容の正しさが保証されるわけではありません。

• まず1人の短い音声で、ASRと話者区間の出力形式を確認する。
• 次に2人の重なりの少ない音声で、話者切り替えと無音区間を見る。
• 最後に実際の会議条件へ近づけ、固有名詞、数字、同時発話、遠いマイクを別に評価する。
• モデル、GPU、batch、前処理を同時に変更せず、1回の比較で変える条件を限定する。

• ローカルAIの速度・RAM・VRAMを測る方法 - 処理時間とメモリを条件付きで記録する
• ローカルAIが重い・動かない時 - CPU・RAM・GPU・入力を切り分ける
• メモリ8GB・16GB・32GBの目安 - 複数モデルを重ねる前の余裕を見る

token・license・ログを分けてローカル範囲を確認する

話者分離は「ローカルで推論できるか」だけでなく、モデルへのアクセス、token、キャッシュ、ログ、共有フォルダを分けて考えます。community-1のmodel cardには利用条件への同意、連絡先の共有条件、CC-BY-4.0 license、ローカルでのoffline利用方法が記載されています。

音声には個人情報や機密会話が含まれる可能性があるため、最初は公開音声または権利を確認できる短い素材で試します。処理後の文字起こしや話者ラベルも音声から派生したデータとして保存期間と削除方法を確認します。

• pyannote community-1 model card - 利用条件、license、offline手順を確認する
• ローカルAIのプライバシーは本当に安全？ - local処理と外部連携の境界を整理する
• ローカルAIをAPIで使う方法 - 後段のAPI・provider送信を別に確認する

ラベル付き文字起こしを確定する前の確認手順

1. 元音声、変換WAV、ASR結果、話者区間、ラベル付きテキストを別ファイルで保存する。
2. 数十秒の区間を選び、文字、開始・終了時刻、SPEAKERラベルを原音と照合する。
3. 同時発話、固有名詞、数字、否定、話者切り替え、無音区間を確認する。
4. 本人の名前を割り当てる場合は、人が音声と文脈を確認してから手動で対応表を作る。
5. 重要な議事録や法務・医療・人事用途では、自動出力を最終記録とせず人が承認する。

話者分離の到達点は、全会話を自動で完璧な議事録に変えることではありません。どの音声条件で、どの処理段階が、どの程度の誤りを出すかを再現し、聞き直す場所を絞れる状態を作ることです。

• Whisper単体の文字起こし - 音声形式・モデル・原音照合の基礎へ戻る
• PDF・文書チャットの使い分け - 確認済みテキストを文書活用へつなぐ
• ローカルAIの安全性とプライバシー - 保存・共有・外部送信を最終確認する