このコンテンツには閲覧パスワードが必要です。
【科学・数学 ✕ Python = ∞】#6 「3-1 ステレオ音声動画の「音源方向」を可視化する」
平林 純著「なんでもPythonプログラミング 平林万能IT技術研究所の奇妙な実験」で紹介されている実験をなぞっています。
3-1 ステレオ音声動画の「音源方向」を可視化する
サンプルファイルはこちらです。
https://gihyo.jp/assets/files/book/2020/978-4-297-11637-8/download/3-1.zip
このプログラムでは動画から音声信号を抽出して音声波形を作成します。
そして、各時間の音声から周波数(音の高さ)ごとの強度推移を算出し、各時間の周波数ごとの左右チャンネル強度比で、音源方向を定めています。そして、その結果を可視化して動画ファイルに可視化した音源推定位置を重ねています。
ツイッターに実験結果を載せておきます。
場所は京都のトロッコ嵐山駅の近くの踏切ですね。
https://twitter.com/y2_sesshu/status/1464927005120483332?s=20
ツイートする前のアップロード時点では音声が出るのですが、ツイートしてしまうとなぜか音声が再生できません。また、GoPro(内蔵マイク)で撮影したものなので、きれいなステレオ音源ではないと思われ、波形がきちんと音源方向で再現できている感じはしないですね。
とはいえ、今回のコードは必要なライブラリをインストールすれば無修正でそのまま動きました。