バーチャルスタジオとは

実写と3DCGのリアルタイム合成に加え、テロップや音声を統合する「デジタルシステム」と、カメラやグリーンバックなどの「物理スペース」を合わせた全体を指します。

まずは完成形の最終出力画面をご覧ください。

以下のようなUIをNext.jsで構築し、配信のコントロールを一括制御できるようにしました。

本プロジェクトにおける成果、課題、そして今後の展望について解説します。

使用ソフトと役割

・TouchDesigner: 全データの集約・送出
・Godot 4.6 mono: 背景の3DCGリアルタイム描画
・Blender: 3Dアセット制作
・Next.js: TouchDesigner制御用UIの構築
・Zoom: 最終的な配信プラットフォーム

スタジオ機材

・PTZカメラ 2台（OBSBOT Tail 2,FreeD対応）
・マイク 3台（Wireless go）
・レンダリング用PC 1台（Godot用）
・操作用PC 2台 / iPad 1台（Next.jsのUIからTouchDesignerを操作）
・グリーンバック (高さ1.96m×幅2.2m×奥行き2.4m)

運用体制

・MC: 1名
・オペレーター: 2名

良かった点

・一括管理の実現: TouchDesignerを中心に映像合成・切替・テロップ制御を集約できた。
・低コスト化: Godotと組み合わせることで、高額な放送機材に頼らず安価に構築できた。
・UIの拡張性: Next.jsを用いたWeb UIによる制御に大きな可能性を感じた。
・手軽なキャリブレーション: カメラ位置の特定にArUcoマーカーを採用し、場所を問わず容易な設定が可能になった。

苦労した点・見えてきた課題

多岐にわたる技術領域（音声、映像、Web、3D）を横断したため、知識のブラックボックス化が発生しました。今後は、AIエージェントやObsidian等を活用した「知識の共有・蓄積」が不可欠だと痛感しています。

・音声管理の複雑さ
音声のループ（反響）問題が発生し、原因の切り分けに苦労しました。本番での放送事故を防ぐため、音声系統図の作成などによる可視化が必要です。

・グリーンバックのキーイング精度
照明ムラ、被写体との距離、カメラ設定の調整がシビアで、TouchDesignerでのキーイング精度（特にスピル除去）に課題が残っています。

・ネットワークとデータ連携の複雑化
複数システム間の通信経路が複雑化しました。
　1. Next.js → TouchDesigner → Godot (アニメーション発火)
　2. Next.js → TouchDesigner (値の変更)
　3. TouchDesigner → Next.js (状態通知)
これらの状態同期やデータ連携を整理し、チーム内で共有する仕組みづくりが必要

今後の展望

放送局レベルの大型設備を目指すのではなく、「軽量・ポータブル・少人数運用」を強みとした、他業種展開も可能なバーチャルプロダクション（VP）システムへと育てていきたいと考えています。