前回の記事 で紹介したこちらの360°対応の音MADの作り方の解説です。
VIDEO
かなり長くなってしまったので細かい部分は適当に読み飛ばしてください。
全体の流れは以下のような感じです。
はじめに
360°動画について
普段はあまり目にする機会が少ないと思いますが、Youtube で「360° VR 」とかで調べるといろんな参考動画が出てきます。夜のピエロの360°版とかは見たことある人も多いかも。
VIDEO www.youtube.com
VIDEO www.youtube.com
最初に挙げた動画もそうですが、視聴者が映像内を上下左右あらゆる方向に見回すことができるような動画が360°動画です。PCのブラウザだとマウスやWASDキーで視点が動かせて、スマホ やVR 機器だとジャイロセンサー の傾きに合わせて視点が変わります。
※見る側が変えられるのは視点の向きだけで場所を移動することはできません（それをやろうとしたら動画というよりはゲームみたいなコンテンツになりそう）
これに加えて、視線の向きに合わせて音の聴こえ方が変わる空間音声が使われている動画もあります。
VIDEO www.youtube.com
VIDEO www.youtube.com
空間音声の再生に対応している環境じゃないと音の変化が分からないのが難点ですが、右から聞こえていた音が反対を向いたときには左から聞こえてくるようになる、という体験ができると思います。
この記事で解説するのは、空間音声にも対応した360°音MADの作り方になります。
実写映像であれば360°カメラで撮影した映像に360°録音の出来るマイクで録った音声を載せればいいので比較的簡単ですが、音MADはそうもいかないので、音声と映像それぞれで360°形式にするための方法を解説しています。
投稿できるサイト
360°動画を投稿できる動画サイトは基本的にYoutube のみです。
当然ですが360°動画と音声の再生に対応していないと視点を変えて視聴することはできないので、ニコニコにはデモバージョン みたいな形でしか投稿できません。
bilibiliでも360°映像には対応しているようですが、空間音声は対応していないみたいです。
www.bilibili.com
360°動画もYoutube からダウンロードして普通に転載できることに驚きました。
編集ソフト
360°形式の動画と音声を作成できるソフトが必要になります。
この記事では、音声はReaper（v6.81）で映像はAfterEffects（24.1.0）で作る例を解説します。バージョンによってUIが異なる部分は適宜読み替えてください。
360°動画にするためには、こんな感じで3D空間を正距円筒変換という処理にかけた映像を用意する必要があります。
今回の動画ではAffterEffectsを使っていますが、Blender やその他3DCG制作用ソフトウェアでもこの変換機能があるようなので同じように作成できると思います。
AviUtlでもプラグイン が作られているみたいなので頑張れば作れるかもしれませんが自分は試していません。
また、後述しますがかなり大きな動画サイズで作らないと画質が落ちるのでそれなりのPCスペックも求められます。
空間音声の制作
Youtube で空間音声を使用するためには、1次アンビソニック スという形式で音声を作る必要があります。
参考：
Use spatial audio in 360-degree and VR videos - YouTube Help
一般的な動画で使われる音声はLとRのステレオ2チャンネルのものがほとんどですが、1次アンビソニック スの音声はMID、x-y方向SIDE、y-z方向SIDE、z-x方向SIDEの全4チャンネルで構成されている音声です。
空間音声の波形
Reaperに読み込むとこんな感じになります。あまり見慣れない波形ですね。
空間音声の作り方をネットで調べてみると、都合のいいことにReaperを使った例がたくさん出てきたのでそれに倣った方法で作っていきます。
空間音声を作る前にまずは普通の2ch ステレオ音声で音MADを作ります。
VIDEO
初めから全部3D空間上で作ろうとすると大変なので、2ch で作った音声をトラックごとに出力してから空間上に配置するという方法を取ります。
注意点としては、3D空間に配置するときには一旦モノラルに変換されるため、この時点で左右のパン振りをしていても効果はありません。MAutopanやOzoneImagerなどの音を広げるVST も使えないので注意が必要です。
とはいえ、モニタリング用の音声としてはパンが振ってあった方が聞き心地が良いのでこの動画でもパン振りはしています。
音声が完成したら、トラックごとに分けて出力します。
今回の動画では全部で16トラックになりました。
1次アンビソニック ス音声を作るためにはIEMプラグイン というものが必要になります。
以下のサイトからプラグイン 一式がダウンロードできるので、自分の環境に合ったものをインストールします。
plugins.iem.at
Reaperで以下のVST が使えるようになっていたらインストール成功です。これらのVST を使って360°空間上の聴こえ方を制御していきます。
空間音声用のプロジェクトを作成
通常のReaperプロジェクトではデフォルトだと2ch 音声しか出力できないので、新規にReaperのプロジェクトを立ち上げて、空間音声に対応したトラック構成を組んでいきます。
参考：
synthaxjapan.blogspot.com
ここに書いた全ての設定が必須というわけではないですが、個人的にいろいろ試してやりやすかった構成を載せています。
マスタートラックのチャンネル数を4チャンネルに変更
マスタートラックのパネルの「Route」をクリックすると出力設定のウィンドウが出てきます。「トラックのチャンネル数」はデフォルトでは2になっていると思うので、ここを4に変更します。
バストラックとソーストラックを作成
ソーストラックは先ほど出力したstem音声を配置するトラックで、バストラックはソーストラックからの出力を仲介するトラックになります。
ソーストラックはパート音声の数だけ必要になりますが、まずはトラックの設定が必要なのでこの時点では1つだけ作成しておきます。
バストラックの設定
マスタートラックと同様に「Route」をクリックしてルーティング設定を開き、チャンネル数を4に変更します。チャンネル数を変えると、上にあるマスターへのセンドも「1-2」になっているのが自動的に「1-4」に変わると思います。もしここが「1-2」のままだったら手動で「1-4」に変更します。
次に、先ほどインストールしたIEMプラグイン の中から「SceneRotator」「EnergyVisualizer」「BinauralDecoder」を適用します。BinauralDecoderが一番最後に来るようにします。
これらはモニタリング用のVST なので、空間音声を作るだけであれば必須ではありません。編集中は有効にしておいて音声をレンダリング するときだけ無効にする必要があります。
ソーストラックの設定
こちらもマスタートラックと同様にルーティング設定からチャンネル数を4に変更します。
また、バストラックを経由するためにマスターへのセンドは無効化して、バストラックへのセンドを追加します。
センドを追加したら、画像の「1/2」となっているところを「1/4」になるように変更します。
IEMプラグイン の「StereoEncoder」を適用します。このエフェクトを使って空間上での音の位置を制御します。
ソーストラックの複製
ソーストラックを必要な数だけ複製して、事前に出力したパートごとの音声を全て配置します。これで事前準備は完了です。
空間上の音源の配置
今の状態で再生すると、全部のパートがモノラルになった音声だけが聞こえてきます。
通常の2mixであればLRのパンを振って定位を調整するところですが、空間音声ではStereoEncoderなどのエフェクトを使って音の方向を調整していきます。
StereoEncoderの使い方
使い方は実際に触ってみるのが一番分かりやすいと思います。
VIDEO
StereoEncoderは自分から見た音源の方向を制御します。
試しに音源の位置をマウスでドラッグしてみると聞こえ方が変わると思います。
パラメータとしてはAzimuthが左右方向の回転、Elevationが上下方向の回転に対応しています。
元の音源が2ch のステレオ音声の場合は、widthでLRの広がりを調整したり、RotationでLRの回転ができたりもします。（音の方向と映像を対応付けたい場合はこれを使うと逆にややこしくなるのであまり使わない方がいいかも）
また、このパラメータにオートメーションをかけることで、空間上を音が移動する様子を表現できたりもします。
StereoEncoderの他にもIEMプラグイン の中には音の聴こえ方を変えられるエフェクトがあります。全部を試してはいないのであまり詳しく説明はできないですが、例えばRoomEncoderを使うと自分と音源の相対的な位置関係が制御できます。
音源が前から後ろに直線的に移動するような表現をしたいときはこっちを使うのが良いかもしれません。
空間音声のミックス
空間上での聞こえ方を確認する上で役に立つのが、バストラックに掛けたEnergyVisualizerとSceneRotatorになります。
EnergyVisualizerはこんな感じで空間上の音のバランスを可視化してくれます。
ミックス前
ミックス後
SceneRotatorは空間全体を回転させることができるプラグイン です。これによって視点を変えたときの聞こえ方をReaper上で確認することができます。
※自分が回転するわけではなく、空間自体を回転させることに注意。
これらのプラグイン を使ってミックスしていくんですが、トラックごとの定位をVST で制御しないといけないので画面はこんな感じになります。全部のトラックを空間音声にしようとしたことを後悔しかけてました。
4ch音声の出力
ミックスが完了したら音声をレンダリング します。出力設定のチャンネル数が「Stereo」になっている場合は「4」に変更します。
レンダリング する前にバストラックに適用したモニタリング用のエフェクトは全てオフにしておきます。BinauralDecoderをオフにした状態で再生するとやや左側に寄った聞こえ方になるかもしれませんが、気にせず出力します。
レンダリング 完了画面で波形が4チャンネル分ちゃんと出ていたら問題ないです。
これで空間音声は完成です。
次は映像制作ですが、ここで作成した4chの音声をそのまま動画編集ソフトで読み込むと正常に再生されない可能性があるので、映像制作用に2ch 音声も用意しておくのがおすすめです。
映像の制作
AfterEffectsではVR 用の映像を作るためのスクリプト やエフェクトが標準で用意されているので、その機能を使って360°映像を作ります。
処理の中身は、3Dレイヤーで配置したカメラの位置から見える前後左右上下の映像を合成して360°用の映像に変換してくれるといった感じのようです。（ざっくりとした理解）
音声だけ配置したコンポジション を作成します。このコンポジション は尺を確保するだけなので細かい設定は特に気にしなくてOKです。
VR Comp Editorを使って動画を作成作成したコンポジション をもとに動画を作っていきます。
メニューの「ウィンドウ」を下の方までスクロールしていくと、「VR Comp Editor.jsx」というものがあるのでこれをクリックします。
クリックすると、このようなVR Comp Editorのパネルが出てきます。今回作りたい動画は3Dレイヤーを使った3D空間なので、「3D 編集を追加」をクリックします。
出てくる画面で3Dコンポジション の設定を行います。ここは特にこだわりがなければ下の画像の通りに設定すれば問題ないと思います。
360度フッテージ を持つコンポジション を選択：先に作成した音声だけのコンポジション を選択します。
コンポジション の幅：デフォルトでは1920くらいになっているかもしれませんが、1920x1080で作ると360°で視聴した時にかなり画質が下がってしまうので、4Kサイズ（3840x2160）で作成しています。（そのせいでプロジェクトファイルはかなり重くなります。）
3Dプラグイン を使用：今回の動画ではElement3Dを使いたかったので有効にしています。3Dレイヤーだけで作るなら不要かも。
「3D編集を追加」をクリックすると、自動的に360°動画用のコンポジション が作成されます。
プロジェクトパネルを確認すると（VR2 出力）がついたフォルダが新規に作成されていて、その中にいくつかコンポジション が入っていると思います。
主に使うのは（VR2 編集1）と（VR2 出力）がついたコンポジション の2つです。
3D空間の動画作成
（VR2 編集1）のコンポジション には初めからカメラレイヤーが作られているので、このカメラを使って3Dの動画を作っていきます。
3DレイヤーやElement3Dなどのプラグイン を使って3D空間を作っていきます。普段3Dの動画を作るときはカメラに写っている部分だけを作りこめばよいですが、360°動画ではカメラから見える方向全部がレンダリング されるので注意が必要です。
3D空間ができたらVR Comp Editorのパネルの「改方向」にチェックを入れて「出力を開く/レンダリング 」をクリックします。
編集コンポジション
編集したコンポジション の映像が360°映像用に変換された（VR2 出力）のコンポジション が開かれます。このコンポジション を通常通りレンダリング すれば360°映像は完成です。
出力コンポジション
（VR2 編集1）の内容は自動的に反映されているようにも見えますが、たまに変な出力結果になるので編集コンポジション の方で変更を加えたら都度「出力を開く/レンダリング 」を実行するのがおすすめです。
音声の差し替え
360°映像が出来上がったら、ffmpeg を使って動画の音声を空間音声に差し替えます。ffmpeg の導入手順や音声差し替えの方法は以下記事を参照ください。
ytpmv.info
ytpmv.info
以下のコマンドで、各ファイルのパスをそれぞれ指定して実行すると音声の差し替えができます。
ffmpeg -i <動画ファイルのパス> -i <音声ファイルのパス> -c:v copy -c:a aac -strict experimental -map 0:v -map 1:a <出力動画ファイルのパス>
XMedia Recordなどのソフトを使っても同じことができると思います。
作成した動画を360°動画として再生するためには、この動画には360°動画と音声が含まれるということを示すメタデータ を埋め込む必要があります。
Google が配布している「Spatial Media Metadata Injector」というツールを使ってメタデータ を埋め込んでいきます。
github.com
上記リンクから「360.Video.Metadata.Tool.win.zip」（Win環境の場合）をダウンロードします。
適当な場所に展開すると、中に「Spatial Media Metadata Injector.exe」というファイルがあるのでこれを実行します。
実行するとこんな画面が出てきます。「Open」をクリックして動画ファイルを選択します。
動画が読み込まれるので、次に「My video is spherical (360)」と「My video has spatial audio (ambiX ACN/SN3D format)」にチェックを入れて「Inject metadata」をクリックします。
適当な名前をつけて保存したらこれで360°音声対応の動画が完成です。お疲れ様でした。
Youtube に投稿すると特に何も設定せずとも360°動画として再生できるようになっています。
ローカルで再生したい場合は、VLC Media Player を使うと同じように360°再生ができますが、Youtube で再生した時と比べると聴こえ方がかなり変わります（Youtube だと後ろの音も聞こえるけどVLC だとほとんど聞こえなくなる）。
なので、最終的な聴こえ方の確認のためにはYoutube に限定公開でアップロードして確認するのがおすすめです。
作ってみた感想
ミックス難易度が高い
当たり前なんですが空間音声のミックス難しいですね。ただでさえ普段やらない原曲不使用でやろうとしてるのに、聴こえ方の変化が分かりやすいようにしないといけないので、文字通り次元の違う難易度でした。
CD音源とライブ音源の違いみたいな感じで、向きによって変な聴こえ方になるのは仕方ないこととしてある程度割り切ってしまうのがいいのかもしれません。
プロジェクトファイルが重すぎる
最初3D空間の映像は1080pのコンポジション で編集してたんですが、試しに出力してみた映像の画質が悪く、最終的に4Kで作り直すことになりました。
（360°の映像が1080pだったら1方向の映像はそれより小さくなるってのは言われてみれば確かにそう）
その結果、AEは頻繁に落ちるしレンダリング には時間がかかるしで、かなりストレスフルなプロジェクトファイルが出来上がりました。というか3Dメインの動画を作るならBlender みたいな専用ソフトを使うのが正解かもしれないですね。
Youtube の仕様に振り回された件
360°動画を作ってみようと思ったきっかけがこの動画で、これを初めて見たとき（2018年くらい）には埋め込みプレイヤーとかを使わなくても普通に空間音声が再生できたような記憶があります。
VIDEO www.youtube.com
今回改めて360°動画を作ろうと思って見返してみたところ、何故か視点を変えても音が変わらない……？
コメント欄でも特に指摘されてないので自分の環境に問題があるのかと思い、再生するブラウザを変えたりスマホ やタブレット などいろんな再生環境を試してみましたがどうもうまくいかない。
いろいろと調べてみたらTwitter とReddit のスレッドでこの問題が指摘されているのが見つかりました。
https://www.reddit.com/r/SpatialAudio/comments/18r5tfj/spatial_audio_no_longer_working_on_youtube_desktop/?rdt=54431
ざっくりまとめると、Youtube の仕様的にあるタイミングから対応しなくなったが、埋め込みプレイヤーを使うとなぜか正常に再生できる。というものでした。
あんまり納得感はないですが、そもそも360°動画自体需要も供給も少ないこともあって、この辺の調整の優先度は高くないのかなーと思いました。
360°音MADの展望
何かしら新しい視聴体験ができる音MADを作ってみようと思って着手した動画で、結果としては形にできてノウハウも得られたので満足でしたが、先述の背景もあって今後360°音MADが流行るかというと微妙な気はしています。
やっぱり制作コストの高さと、視聴できる環境が限られているという逆風はかなり強いですね。
ただ、例えば普通の2D音MADの中で360°動画を演出として取り入れてみたり、空間音声なしで動画だけ360°にしたりというものであれば比較的やりやすいかもしれません。
昨年bilibiliの音MAD華 で公開された以下の動画の08:43~で使われている表現は、（たぶんUnity等のゲームエンジン を使っている？と思うので今回の作り方とはまた異なりますが）演出としてVR 的なインタラクティブ 要素を取り入れた一例だと思います。
www.bilibili.com
映像面ではちょうど今期のアニメでも360°演出を取り入れた作品がありますね。手書きアニメでもこんな表現できるの凄い。
VIDEO www.youtube.com
総評としては、360°音MADは現時点ではいろんなハードルがあってニッチなジャンル止まりな印象です。
ただ、音MADにインタラクティブ 性や没入感を加えたものとしてみると演出手法としてはまだまだ未開拓でポテンシャルがあると思うので、作品単位では今後想像しえないような動画が作られる可能性は十分にあると思います。
個人的にはテーマパークのアトラク ションみたいな演出ができたらかなり面白いと思うのでいつか見てみたいです。
音MADで360°的な演出をやろうと考えている人にとって、この記事の情報が多少なりとも役に立てばいいなと思います。
