transcribe関数の確認def transcribe( model: "Whisper", audio: Union, *, verbose: Optional = None, temperature: Union = (0.0, 0.2, 0.4, 0.6, 0.8, 1.0), compression_ratio_threshold: Optional = 2.4, logprob_threshold: Optional = -1.0, no_speech_threshold: Optional = 0.6, condition_on_previous_text: bool = True, initial_prompt: Optional = None, word_timestamps: bool = False, prepend_punctuations: str = "\"'“¿([{-", appen
whisperコマンド実行時のエントリーポイントの確認whisperはpipでインストールする設計なので、whisperのsetup.pyファイル内のentry_pointsを確認する。コマンドラインからwhisperコマンドを実行すると、whisper.transcribe:cliが呼び出されることが確認できる。setup(・・・ entry_points={ "console_scripts": , },・・・)エントリポイント whisper.transcribe:cli のコード確認def cli(): from . import available_models def valid_model_name(name): if name in available_models() or os.path.exists(name): return name raise ValueError(
whisperとは？Whisperは汎用音声認識モデルです。多様なオーディオの大規模なデータセットで訓練されており、マルチタスクモデルでもあり、多言語音声認識、音声翻訳、言語識別などの機能を実行できます。ChatGPTで有名なOpenAIがMITライセンスの下にオープンソースとして公開しています。「Whisperアーキテクチャは、エンコーダーデコーダーTransformerとして実装されたシンプルなエンドツーエンドのアプローチです。入力オーディオは30秒のチャンクに分割され、対数メルスペクトログラムに変換され、それからエンコーダーに渡されます。デコーダーは、特殊トークンと組み合わされた対応するテキストキャプションを予測するようにトレーニングされ、この特殊トークンは、単一モデルが言語識別、フレーズレベルのタイムスタンプ、多言語音声の転記、および英語への音声翻訳などのタスクを実行するように導きます。他の既存のアプローチは、より小規模で、より密にペアされた音声テキストのトレーニングデータセットを使用したり、広範囲ながら非監視の音声事前トレーニングを使用したりすること