VeGaS: Video Gaussian Splatting

我々のトイ例は、空間時間ランダム変数$\mathrm{x}=(s,t)\in\mathbb{R}\times\mathbb{R}$の2次元ガウス分布$\mathcal{N}(\mathrm{m},\Sigma)$から始まる。これは平均ベクトル$\mathrm{m}=(m_{s},m_{t})$と共分散行列によって与えられる。

この場合、密度関数は以下の式で定義される：

ここで、

このような分布を用いることで、座標軸に沿って広がる単純な線形構造と考えられる楕円をモデル化することができる。したがって、我々は非線形パターンを扱うことができる古典的な2次元ガウス分布の一般化を提案する。具体的には、時間変数で条件付けすると、図3に示すように、任意の曲線（必ずしも線形でない）に沿って整列した1次元ガウス分布を生成する2次元分布を探求している。可能な解決策は、$s|t$の条件付き分布がガウス分布であることを保証することである。

ここで、$f\colon\mathbb{R}\to\mathbb{R}$と$a\colon\mathbb{R}\to[0,1]$は、空間変数の望ましい時間依存シフトとリスケーリングをそれぞれ捉えるように設計された関数である。実際には、我々は$f$として与えられた次数の多項式を使用し、$a$として時間変数の尤度（単位区間にスケーリングされた）を使用する。すなわち、

最後に、空間時間変数の結合分布を回復するために、ランダム変数の標準的な連鎖律を適用することができ、これにより以下の式で与えられる密度関数が導かれる：

$t$の周辺分布と$s|t$の条件付き分布の両方がガウス分布である一方で、結果として得られる結合分布はもはやガウス分布ではないことに注意することが重要である。これは、応用面だけでなく、さらなる理論的研究のためにも興味深い対象となる。我々の貢献をより広範な文脈に適用できるようにするため、次の段落では任意の次元への議論の拡張を行う。

我々は多変量ガウス分布$\mathcal{N}(\mathrm{m},\Sigma)$から始める。これは時空間ランダム変数$\mathrm{x}=(\mathrm{s},t)\in\mathbb{R}^{d-1}\times\mathbb{R}$に対して、平均ベクトル$\mathrm{m}=(\mathrm{m}_{\mathrm{s}},m_{t})$と共分散行列

によって定義される。ここで$\Sigma_{\mathrm{s}}$は$\mathrm{x}$の空間成分の対角共分散行列を表す。確率密度関数（PDF）は、二つの独立した正規密度に因数分解される。すなわち、

このような分布は、座標軸に沿って広がる単純な線形構造のみをモデル化することができることに注意されたい（2次元の場合の適切な例については、図3の左端の図を参照）。

前述の制限に対処するため、我々はより柔軟な表現を可能にする非自明な条件付けを導入することを提案する。具体的には、空間変数に以下の時間依存変換を適用する：

ここで$a\colon\mathbb{R}\to(0,1]$と$f\colon\mathbb{R}\to\mathbb{R}^{d-1}$は適切に選択された関数である。これにより、条件付き正規密度を持つ新しい空間変数が得られる：

これは次のPDFで定義される新しい折り畳みガウス分布を生み出す¹¹この場合、ランダム変数に対する標準的な連鎖律を使用していることに注意。：

ここで$\mathrm{s}|t$は新しい時間条件付き空間ランダム変数を表し、$\mathrm{x}=(\mathrm{s}|t,t)$（混乱を避けるため表記は変更しない）。折り畳みガウス分布の顕著な利点は、データに存在する様々な関係を効果的に捉えることができる点である。これは、関数$f$と$a$の選択に固有の柔軟性によるものである。VeGaSモデルの文脈では、多項式関数$f$（訓練された係数を持つ）が尤度ベースの関数$a$（式5のように）と組み合わせて使用される。結果として、我々のアプローチは線形および非線形パターンの両方を包含することができる。これは図3に示されており、2次元分布の簡略化されたケースを参照している。さらに、尤度ベースの時間依存スケーリングの導入により、折り畳みガウス分布の裾が消失し、ビデオストリームの一部にのみ存在する要素の捕捉が容易になる（最適なシナリオでは、これらの要素が最初にカメラに近づき、その後視界から遠ざかる）。

以下の段落では、折り畳みガウス分布に関するさらなる理論的洞察を提供し、式（10）および（11）を裏付ける形式的な議論を含む。

まず、方程式(9)で与えられる変換がアフィン形式$A\mathrm{s}+b$であることに注目すべきである。その結果、確率変数$s|t$の分布もまたパラメータ$A\mathrm{m}_{s}+b$および$A\Sigma_{s}A^{T}$を持つガウス分布となる。我々の場合、以下のようになる：

したがって、以下のように結論付けることができる：

これは方程式(10)で主張されたことを正当化する。 さらに、方程式(11)で与えられた折り畳みガウス分布の定義の正確性について、以下の計算を通じて直接的な評価を行うことができる：

同様に、方程式(10)に基づいて、確率変数$\mathrm{s}|t$の条件付き分布のPDFは以下のように計算できる：

これは我々の先の主張を裏付けるものである。

3Dガウシアンスプラッティング (3DGS) [13] 手法は、三次元ガウス分布の集合を使用する

これらは位置（平均）$\mathrm{m}$、共分散行列 $\Sigma$、不透明度 $\rho$、色 $c$ を含む一連の属性によって特徴付けられる。実際には、共分散行列 $\Sigma$ は以下のように因数分解される $\Sigma=RSSR^{T},$ ここで、$R$ は回転行列であり、$S$ はスケーリングパラメータを含む対角行列である。したがって、$N(\mathrm{m},\Sigma)$ の代わりに $N(\mathrm{m},R,S)$ という表記を使用することも可能である。

3DGS技術の効率性は、主に3Dガウス分布を二次元空間に投影するレンダリングプロセスに起因する。 トレーニングプロセス全体を通じて、すべてのパラメータは平均二乗誤差（MSE）コスト関数に従って最適化される。このような手順はしばしば局所的最小値をもたらすため、3DGSは提案されたヒューリスティックに基づいて、コンポーネントの作成、削除、再配置を含む補助的なトレーニング方法を採用することができる。これは高速かつ効果的な戦略である。さらに、GSトレーニングプロセスはCUDAカーネル内で実行され、迅速なトレーニングとリアルタイムレンダリングを可能にしている。

MiraGeアプローチ[33]は、2D画像に対応するために3DGS技術を採用している。これは、正準ベクトル$\mathrm{e}_{1}=(1,0,0)$と$\mathrm{e}_{2}=(0,1,0)$が張る平面上に配置された平坦なガウシアンを使用することで実現され、特定のタイプのパラメータ化をもたらす。本質的に、この方法は以下の形式の3Dガウシアン成分の族を扱う。

ここで、$\mathrm{m}=(m_{1},m_{2},0)$、$S=\mathrm{diag}(s_{1},s_{2},\varepsilon)$、そして

（$\varepsilon$は3次元フレームワークとの互換性を確保するための小さな正の定数である。）その後、GaMeSモデル[32]によって提案されたパラメータ化を利用して、このような平坦なガウシアンは3点（三角形の面）で表現できる。

頂点は以下のように定義される。 $\mathrm{v}_{1}=\mathrm{m}+s_{1}\mathrm{r}_{1}$、および$\mathrm{v}_{2}=\mathrm{m}+s_{2}\mathrm{r}_{2}$。一方、面表現$V=[\mathrm{m},\mathrm{v}_{1},\mathrm{v}_{2}]$が与えられた場合、ガウシアン成分

は平均$\mathrm{m}$、回転行列$R=[\mathrm{r}_{1},\mathrm{r}_{2},\mathrm{e}_{3}]$、およびスケーリング行列$S=\mathrm{diag}(s_{1},s_{2},\varepsilon)$を通じて再構築できる。ここで、パラメータは以下の式によって定義される：

この文脈において、$\mathrm{orth}(\cdot)$はグラム・シュミット過程[1]の1回の反復を表す。我々は、上記の式が我々のフレームワークに合わせて調整されており、したがって[32, 33]で提供されているものとわずかに異なる可能性があることを強調したい。

GaMeSパラメータ化の使用により、基礎となる三角形の面を変更することで、ガウシアンの位置、スケール、および回転を修正することが可能となる。さらに、MiraGe拡張により、2D画像を3D空間内で操作することが可能となり、それによって3次元効果の錯覚を生み出すことができる。

単位区間$[0,1]$にスケーリングされた発生時間によってインデックス付けされたフレームのシーケンス$[I_{t_{1}},\ldots,I_{t_{n}}]$からなるビデオを考える。この文脈において、MiraGeモデルは各連続フレームに対して適用可能である。なぜなら、各フレームは個別の2D画像として扱うことができるからである。結果として、これは3Dガウス分布の結合族をもたらす

ここで、各$\mathcal{G}_{\text{MiraGe}}^{t_{i}}$は式(17)によって与えられ、これはデータ全体の適切な表現と考えることができる。しかしながら、このようなアプローチはビデオストリーム内に自然に存在する関係性を完全に無視している。

前述の制限を克服するために、我々は連続するフレームに関連するガウス分布を、フレーム発生時間における対応する3次元折り畳みガウス分布の条件付けによって構築することを提案する。結果として得られるビデオガウシアンスプラッティング（VeGaS）モデルは、したがって形式的に3D折り畳みガウス分布の集合として定義される

ここで、各成分について、2次元条件付き分布の周りの3次元拡張（前段落参照）

は、共通の不透明度$\rho$と色$c$に関して、式(10)を用いて構築される。

我々の手法が固定されたフレーム発生時間$t_{1},t_{2},\ldots,t_{n}$を使用せず、優れた再構成品質を保証する最適化手順を通じてそれらを学習することを強調することが重要である。具体的には、我々は動的フレームフィッティング関数$f_{t}\colon\mathbb{Z}_{+}\to[0,1]$を使用する。これはフレーム番号$k$をそのスケーリングされた発生時間$t_{k}$に以下のようにマッピングする

ここで、$w_{1},w_{2},...,w_{n-1}$は訓練可能なパラメータである。（$I_{k}$と$I_{k+1}$の間の補間されたフレームについては、$t_{k}$と$t_{k+1}$の間で均等に間隔を置いた時間を使用する）。 さらに、VeGaSモデルでは2種類の空間分布を扱っていることに注意すべきである。まず、ビデオストリームのダイナミクスを表す折り畳みガウス分布がある。次に、平坦な条件付き分布を生成し、それらを小さな直交成分（$\varepsilon$の値によって制御される）を追加することで3Dガウス分布に拡張する。この場合、2つの対向するカメラが単一の2D画像を再構成する - 1つは元の画像を生成し、もう1つはその鏡像版を生成する。

我々の手法の有効性は、Bunnyデータセット[16]とDAVISデータセット[25]の2つのデータセットで評価された。Bunnyデータセットは、720$\times$1280の解像度を持つ132フレームで構成されている。[4]で概説された仕様に従い、動画は640$\times$1280の解像度にクロップされる。DAVISデータセットは、ビデオオブジェクトセグメンテーションの目的で使用される高品質かつ高解像度の動画コレクションである。これは、それぞれ100フレーム未満の多数の動画を含んでいる。このデータセットは、フル解像度版とよりコンパクトな480p版の2つの異なるバージョンで利用可能である。

初期化プロセスでは、ガウス分布の平均$m_{1}$と$m_{2}$を、2次元のバウンディングボックス内の点として一様にサンプリングする。$m_{t}$に使用される活性化関数はシグモイド関数であり、活性化プロセスから得られる値が$0$と$1$の間で一様に分布するように初期化される。同様に、$\sigma_{t}$の活性化関数には指数関数が使用され、初期値は$0.01$と$1$の間で一様に分布する。多項式関数$f$の係数は$-1$と$1$の間で一様にサンプリングされる。さらに、回転行列は単一の数（回転角）としてパラメータ化され、使用される活性化関数はシグモイド関数に$2\pi$を乗じたものである。角度は$0$と$2\pi$の間で一様に分布するように初期化される。

モデルは、特に指定がない限り、バッチサイズ3で30,000ステップ訓練され、7次の多項式関数と500,000の初期ガウス分布を使用する。 学習率、密度化、剪定、不透明度のリセット設定はすべて3DGS[13]フレームワークと一致している。MiraGeアプローチに従い、2台のカメラが使用される：最初のカメラは元の画像を生成し、2台目のカメラはその鏡像版を生成する。

我々は、フレーム再構成タスクにおける我々の手法の有効性を評価するために一連の実験を行った。最初の実験設定は、[29]で提案されたものを適用した。そこでは、著者らがVGRモデルを紹介し、Omnimotion [34]とCoDeF [23]という2つの最先端のベースラインと比較してその性能を評価している。表1は、DAVISデータセットの様々な動画に対するレンダリング品質メトリクスの値を示している。[29]では評価に使用された解像度に関する情報がないため、我々は両方のケースで結果を報告する。各状況において、VeGaSが最良のメトリクススコアを獲得していることに注目すべきである。さらに、我々のモデルは高品質かつ忠実に動画を再構成することが可能である。これは図6に示されており、DAVISデータセット[25]から選択されたオブジェクトに基づく可視化を提供している。

他の実験では、[43]の著者らによって提案されたシーン設定を使用し、DNeRVモデルを様々なNeRFベースのベースライン、すなわち[3]、E-NeRV [19]、HNeRV [4]、およびDNeRV [43]と比較評価した。このプロトコルに従い、各シーンのフル解像度版を960$\times$1920の解像度に中央クロップした。結果（すなわち、レンダリング品質メトリクスの値）は表2に示されており、DAVISデータセットの様々な動画オブジェクトに対して得られた値を示している。VeGaSが考慮されたすべてのNeRFベースのモデルを上回っていることに注目すべきである。

その後の実験では、我々のモデルによって提供される動画データの連続的な表現を利用して、所望のアップサンプリングレートでのフレーム補間の可能性を検討した。追加フレームを生成するために、連続する各フレームペア間で均一な間隔でFolded-Gaussiansをスライスした。図5は、DAVISデータセットから選択された動画オブジェクトに対するVeGaSとVGR [29]の結果を比較している。定性的研究により、我々の手法を用いた補間がより優れた結果をもたらすことが明らかになった。しかしながら、[29]の著者らによってVGRのソースコードが公開されていないため、それぞれのレンダリングメトリクススコアの直接比較ができないことに注意すべきである。

VeGaSモデルの動画データ編集における適応性を示すために、DAVISデータセットの全シーンおよび特定のオブジェクトに対して一連の実験を行った。図2および4に示された結果は、我々の手法が選択されたオブジェクトのグローバルな修正（例：乗算やスケーリング）と、単一フレームを選択してその要素の一部を修正することの両方を可能にすることを確認している。

我々のアブレーション研究では、Bunnyデータセット[16]で訓練されたVeGaSモデルの異なるハイパーパラメータの影響を検討した。表3は、様々なバッチサイズと多項式関数$f$の次数に対する最終的なレンダリング品質メトリクススコアと得られたガウス分布の数を示している。一方、表4は、初期のガウス分布の数に関連して、最終的なメトリクス値、ガウス分布の数、および訓練時間を示している。観察されるように、VeGaSはバッチサイズ3、多項式次数7、0.50Mのガウス成分の初期数で適用した場合に優れた結果を達成している。