Generative World Explorer

(a) 概要。図2に示すように、Genexフレームワークは、現在のRGB観測と与えられた探索設定に基づいて、ビデオ生成をストリーミングすることにより、エージェントが想像の世界内を探索することを可能にする。 RGB観測は、世界のあらゆる場所からサンプリングされたパノラマ画像として表現される。 大規模マルチモーダルモデル（LMM）がパイロットとして機能し、$360^{\circ}$ナビゲーション方向と距離を含む探索設定を設定する。 Genexは入力を2つのステップで処理する。まず、探索方向を取り入れてパノラマの前方視界を更新する。次に、内蔵のディフューザーが前方ナビゲーションビデオを生成する。視界の更新とディフューザーの詳細については§ 3.2で説明する。

Genexは、物理的環境に基づいており、 GPT支援の目標不問の想像的探索と目標駆動の想像的探索を実行することができる。

(b) 目標不問の想像的探索。Genexは、図2 (b)に示すように、無制限の方向で自由に探索でき、エージェントが周囲の環境を理解するのに役立つ。

(c) 目標駆動の想像的探索。エージェントは、「青い車の位置と向きに移動する」などの目標指示を受け取る。 GPTは指示と初期画像に基づいて高レベルの計画を実行し、反復的に低レベルの探索設定を生成する。その後、Genexはこれらの設定を段階的に処理し、図2 (c)のように想像的探索全体を通じて画像を段階的に更新する。これにより、より大きな制御と目標を絞った探索が可能となる。

(a) 拡散器のバックボーン。 図2に示されるような探索をサポートするために、我々は世界探索者として円滑に適応できるビデオ拡散器を提案する。 初期パノラマ画像$x^{0}$とカメラ位置$p^{0}$が与えられた場合、我々の目的は一連のカメラ位置$\{p^{1},\dots,p^{n}\}$に対応する一連の画像$\{x^{1},\dots,x^{n}\}$を生成することである。 カメラ位置は着実に前進し、世界内のナビゲーションを表現する。パノラマ画像は360度の視野を表現するため、生成は前のフレームに格納された情報を持続させ、シーケンス全体を通して世界の一貫性を維持する必要がある。 我々のモデルは、事前学習された安定ビデオ拡散（SVD）(Blattmann et al., 2023a)を使用する。Transformer UNet (Ronneberger et al., 2015; Chen et al., 2021)アーキテクチャはBlattmann et al. (2023b)で説明されているように、時間的畳み込みと注意層が各空間的畳み込みと注意層の後に挿入される。 我々のモデルのパイプラインを図3 (a)に示す。 画像条件$c$（CLIP画像Transformer (Radford et al., 2021)を使用して画像$x^{0}$からエンコードされる）が与えられると、ビデオ拡散アルゴリズムはノイズの多い画像潜在$z_{t}$に追加されたノイズを予測するネットワーク$\epsilon_{\theta}$を学習する（$\mathcal{L}_{\text{noise}}=\|\epsilon_{\theta}(z_{t},c)-\epsilon_{t}\|^{2}$）。

(b) 入力画像表現。 パノラマ画像は、自己中心的視点からすべての視点を2D画像に捉えるため、生成的探索に最適である。本質的に、図3 (b)に示すように、球面極座標系$\mathcal{S}$をデカルト座標系$\mathcal{P}$の2Dグリッド上に表現する。 パノラマ画像は、単一の位置からの世界のあらゆる視点を効果的に格納し、空間ナビゲーション中にグローバルコンテキストを保持する。これにより、条件付き画像からの世界情報の一貫性を維持し、生成されたコンテンツが周囲の環境と首尾一貫して整合することを保証する。パノラマ画像はまた、回転変換を可能にし、これにより元の情報を保持しながら画像を異なる角度に向けて回転させることで世界ナビゲーションを容易にする。回転は式1を用いて実行できる：

ここで、$u$と$v$は2D画像平面上の位置であり、$\phi$と$\theta$は極座標における経度と緯度を表す。 回転関数$\mathcal{R}$は、ナビゲーション中の回転をシミュレートするために、球面表現にあらゆる方向の回転を適用する。さらに、パノラマ画像は6つの別個の通常画像からなるキューブマップに変換でき、各画像は立方体の面（前面、背面、左面、右面、上面、下面）を表す。このパノラマからキューブへの変換は、マルチモーダルLLMエージェントによる視覚的理解を向上させる。等距円筒図法の完全な数学的詳細は§ A.1に記載されている。

(c) 拡散器の訓練目的：球面一貫性学習（SCL）。 我々は、球面空間で連続的なピクセルを持つ画像を生成することを目指している。しかし、直接的な訓練では、等距円筒画像の最左端と最右端で生成されたピクセルが球面空間で連続的であるという制約がないため、深刻なエッジの不一致が生じる。 この問題に対処するために、我々は明示的な正則化として球面一貫性学習を導入する。パノラマビデオを生成した後、式1に示す球面回転変換関数を適用し、図3 (a)に示すように、生成されたビデオと真のビデオの両方でカメラをランダムに異なる位置に回転させる。 デノイズされた拡散ビデオ$x_{t}-\epsilon_{\theta}(x_{t},c)$と真のビデオ$x_{0}$は変換され、その後事前学習された時間的VAEエンコーダ$\mathcal{E}$に渡され、変換された拡散ビデオの潜在$\mathcal{E}(\mathcal{T}(x_{t}-\epsilon_{\theta}(x_{t},c)))$と変換された真のビデオの潜在$\mathcal{E}(\mathcal{T}(x_{0}))$が得られる。 このプロセスでは、すべての視点で一貫した表現を確保するために、各カメラビューに等しい重みが与えられる。我々は、360度出力の均一性と一貫性を維持するために、潜在空間上の平均二乗誤差を最小化する目的$\mathcal{L}_{scl}$で訓練する。 訓練中、全体的な訓練目的は以下の損失を最小化することである：

ここで、$\mathcal{D}$は時間的VAE (Kingma, 2013)デコーダ、$\lambda$は重み定数、$\mathcal{T}$は式1に示す球面回転変換である。

推論時には、$Z_{t_{\text{max}}}\sim\mathcal{N}(0,\mathbf{I})$を初期化し、再パラメータ化トリックを使用して$Z_{t-1}\sim p_{\theta}(Z_{t-1}|z_{t},c)$を反復的にサンプリングし、潜在$z_{0}^{\prime}$を生成し、これがパノラマビデオ$x_{0}^{\prime}$にデコードされる。

具現化されたエージェントはPOMDP（部分観測可能マルコフ決定過程）フレームワークの下で動作する(Puterman, 1994; Kaelbling et al., 1998; Nayak et al., 2024)。各時間ステップ$t$において、エージェントの世界状態（この特定の瞬間における完全な環境を表す）$s^{t}\in S$と行動$a^{t}\in A$が、遷移確率${T}(s^{t+1}|s^{t},a^{t})$を通じて次の世界状態を決定する。エージェントに与えられた目標$g\in G$（例えば、道路を横断すること）は報酬$r^{t}=R(s^{t},a^{t},g)$に影響を与え、これがエージェントを目的達成へと駆り立てる。 エージェントは観測モデル$O(o|s^{t})$に基づいて観測$o^{t}\in\Omega$を受け取り、分布$b(s)$で表される信念を維持する。これはエージェントの世界の真の状態に対する内部推定である。 その信念は新しい観測によって更新され、式3のPOMDPフレームワークに従う：

任意の時間$t$に行われる決定$a^{t}$は、エージェントが周囲をより明確に理解するにつれて、より情報に基づいたものとなる。物理的空間を移動することで、エージェントは環境に関する追加情報を収集し、より正確な評価と将来のより良い選択を可能にする。しかし、物理的に空間を移動することは非効率的で、コストがかかり、危険なシナリオでは不可能でさえある。このプロセスを効率化するために、我々は想像力を媒体として使用し、エージェントが物理的に移動せずに結果をシミュレートすることができる。 鍵となる問題は以下のようになる：

エージェントはどのようにして想像的探索を通じて信念を修正し、より情報に基づいた決定を行うことができるか？

想像力駆動型信念修正。我々は、想像的探索を用いてPOMDPエージェントを強化し、時間ステップ間で即座に信念を修正する想像力駆動型信念修正を提案する。 想像の中で、我々は時間を凍結し、想像上の世界を作り出す。そのため、時間変数$t$を落とし、変数上にハット$\hat{}$を付けた想像空間を定義する。物理的な移動と同様に、エージェントは想像の時間ステップ$I=\{1,...i,...,n\}$にわたって一連の想像的行動$\hat{\mathbf{a}}=\{\hat{a}_{i}\in\hat{A}\}$を行うことができる。初期信念と最終目標に基づいて、未観測の世界に対する連続的な推測を促す類似の報酬$\hat{R}$により、エージェントは$p_{\hat{\theta}}(\hat{o}^{i+1}|\hat{o}^{i},{\hat{a}^{i}})$を用いて以前に観測されていない世界で新しい観測を想像することができる。結果として、式4を用いて信念を更新できる：

式3とは異なり、我々は物理的探索を想像的探索に置き換える（図4）。適切な想像のためには、$b^{t+T}(s^{t+T})\equiv\hat{b}^{t}(s^{t})$を期待すべきである。ここで、想像的信念は物理的信念に近似する。想像の連続$I$が拡大するにつれて、より多くの観測$o_{i}$が生成され、エージェントの信念は接近し、$b^{*}$となる。これは、エージェントが完全な観測下で得られる信念である。

エージェントは、その信念と目標に基づいて、方策モデル$\pi(a^{t}|b^{t}(s^{t}),g)$を用いて行動を決定する。修正された信念を通じて、エージェントは周囲環境の真の状態についてより多くの情報を持つ$b^{*}$に向けてより洗練された信念を持ち、$a^{*}$に向けてより情報に基づいた決定を行うことが可能となる。

本稿では、想像的探索にGenexを適用し、方策モデル$\pi$と信念更新器$b(s)$にLMMを使用する。これらは観測から信念へのマッピングを行い、図5に例を示し、システムのパイプラインを§ B.0.3に示す。

想像力ベースのPOMDPはマルチエージェントシナリオに一般化することができる。$1$番目のエージェントは、$k$番目のエージェントの位置を想像的に探索し、エージェント$k$の観測$\hat{o}_{k}$を予測し、エージェント$k$の信念$\hat{b}_{k}$を推論することができる。これは式4に従う。

したがって、我々は他の$K-1$エージェントに対する想像された信念の対応物を集約することにより、エージェント$1$の信念を調整することができる。

他のエージェントの思考を探索する際、我々はそのエージェントが何を見て、理解し、次に何をするかを予測することができる。これにより、より完全な情報を持って自身の行動を調整することができる。

本稿では、§4.1で具現化されたエージェントを定義し、想像力駆動の信念修正を導入する。続いて§4.2でマルチエージェント意思決定を、§4.3で具現化されたQAの実装を行う。

従来の身体化QAベンチマーク(Das et al., 2018)はナビゲーションなどの明確に定義されたタスクを特徴としているが、心的イメージがどのように計画立案を助けるかに焦点を当てておらず、マルチエージェントシナリオの欠如が更なる進展を制限している（以下の条件(3)および(4)を満たしていない）。我々の知る限り、我々が提案する解決策を評価するために使用できる既存のベンチマークは存在しない。

この隔たりを埋めるため、我々は以下の4つの条件を満たす新しい身体化QAベンチマークの収集を目指す：(1)エージェントが部分的な観察に基づいて計画を立てること。(2)質問が言語的常識のみでは解決できず、エージェントが物理的に環境内を移動するか、精神的に環境を探索して回答する必要があること。(3)人間が質問を理解し回答するために環境を精神的にシミュレーションできるが、機械が同様のことができるかは不明確であること。(4)マルチエージェントの意思決定を含むシナリオに拡張可能であること。 これに従い、我々は§ 5.1で新しいデータセットGenex-EQAを提案する。

Genex-DB。 我々は、Unity、Blender、およびUnreal Engineを使用して生成された大規模なデータセットを合成する。詳細は§ A.3に記載されている。我々は、それぞれ異なる視覚スタイル（リアリスティック、アニメーション、低テクスチャ、およびジオメトリ）を表す4つの異なるシーンを作成し、図6に示している： 我々は各データセットでモデルを訓練し、結果として得られる4つのナビゲーション用ビデオディフューザーについて、すべてのシーンにわたってクロスバリデーションを実施し、それらの汎化能力を評価する（詳細は§ B.2に記載）。

我々は、Google マップ ストリートビュー（表2の「Street」ヘッダー）およびBehavior Vision Suite (Ge et al., 2024)（表2の「Indoor」ヘッダー）からパノラマ画像の追加テストセットを収集し、これは実世界の街路および合成屋内探索のベンチマークとして機能する¹¹1訓練には、画質の一貫性がなく予測不可能なカメラの動きのためGoogle マップ ストリートビューを、また制限された屋内ナビゲーション範囲のためBehavior Vision Suiteを除外している。。

Genex-EQA。提案されたGenexモデルを通じて、エージェントは自律的に探索を行い、単一エージェントのシーン理解や複数エージェントの交差的推論などの具現化されたタスクに取り組むことができる。§ 4.3の4つの条件に従い、我々は様々なマルチモーダルLLMエージェントの具現化された意思決定をテストするために、仮想物理エンジンで200以上のシナリオを設計した。詳細は§ A.4.1に記載している。 このデータセットは一般的に2つのシナリオを表している：

• •

  単一エージェント：エージェントは視界内のどの位置からでも自己中心的な視点を推論できる。エージェントはGenexを使用して欠けている視点を想像できる（例：木に隠れた救急車や一時停止標識の裏側）。この追加情報により、エージェントはより情報に基づいた決定を下すことができる。

• •

  複数エージェント：最初のエージェントは、他のエージェントの位置を想像的に探索し、これらの想像された観察を使用して自身の信念を更新できる。

我々は、動画生成の品質を評価するために4つの指標を採用している。これらには、FVD (Unterthiner et al., 2019)、SSIM (Wang et al., 2004)、LPIPS (Zhang et al., 2018)、およびPSNR (Horé & Ziou, 2010)が含まれる。評価の詳細は付録Bに記載されている。

強力なベースラインとして、我々は6面ビューナビゲーターを開発した。これは、立方体の各面に対して6つの独立した拡散モデルを訓練し、依然として360^∘ビューを表現するものである（図3 (b) 6面ビューを参照）。実装の詳細は§ B.1に示されている。このベースラインは2D拡散モデルとよく適合するかもしれないが、一貫した環境コンテキストの維持に特に効果的なパノラマアプローチとは対照的である。Genexとの動画品質評価における公平な比較を可能にするため、6面ビューベースラインの予測はパノラマに再投影される。結果として、表1は、我々の手法が高い生成品質を達成し、すべての指標において6面ビューベースラインを上回っていることを示している。

ループクロージャー(Newman & Ho, 2005)にインスパイアされ、我々は長距離の水平方向の想像的探索の一貫性と忠実性を評価するための新しい指標、想像的探索サイクル一貫性（IECC）を提案する。定義：シーン内でランダムにサンプリングされた閉ループを形成する任意の経路に対して、初期の実画像と最終的に生成された画像の間の潜在的MSEを計算する。両画像はInception-v4 (Szegedy et al., 2017)によってエンコードされる。最終的な潜在的MSEは、1000のランダムにサンプリングされた閉ループ経路の平均を取る。各ループは回転数と移動総距離が異なる（図7参照）。障害物によってブロックされた経路は除外する。

我々の結果では、すべての探索経路において強い周期的一貫性が観察された（図9参照）。長距離の想像的探索（$\text{distance}=20m$）や複数の連続したビデオの場合でも、潜在的MSEは0.1未満に留まり、元のフレームからの乖離が最小限であることを示している。 我々の手法の優れたパフォーマンスは、パノラマにおける球面一貫性を保持していることに起因すると考えられ、回転によってパフォーマンスが低下しないことを保証している。

我々はさらに、実世界へのゼロショット汎化可能性、生成と想像的探索の相関関係、および新たに現れる3D一貫性に関する3つの発見について、以下でより詳細な分析を行う。

発見1. 生成の質が高いほど、想像的探索の一貫性が高くなる。 図9は、想像的探索サイクル一貫性と生成FVDの間に強い相関があることを示しており、拡散器を改善する我々の取り組みの妥当性を裏付けている。

発見2. 合成データで訓練されたGenexは、実世界のシナリオに対して堅牢なゼロショット汎化可能性を示す。 印象的なことに、UE5および他の合成データで訓練されたモデル（表2）は、追加の微調整を必要とせずに、実世界の屋内行動ビジョンスイートおよび屋外のGoogle Map ストリートビューに対してよく汎化（$\text{IECC}\leq 0.1$）している（例については§ B.2参照）。

発見3. 生成的世界探索は強力な3D理解を可能にする。 本稿の手法により、物体を取り巻く経路を通じた想像的探索によって、物体のマルチビュービデオの生成が可能となる。表3は、一般的な物体レベルの前景指標（$MSE_{obj.}$）を報告するだけでなく、背景評価（$MSE_{bg.}$）も強調している。 我々のモデルは、最先端のオープンソースモデルと比較して優れたパフォーマンスを示している。重要なことに、ほぼ完璧な背景の一貫性を維持し、シーンの照明、物体の向き、3D関係を効果的にシミュレートしている。 興味深いことに、我々は追加のプラグアンドプレイモデル（Depth Anything (Yang et al., 2024a) および DUSt3R (Wang et al., 2024b)）を使用して、我々のモデルが3D世界を再構築できることを示している。詳細は§ B.3に記載されている。

要約すると、実世界へのロバストなゼロショット汎化可能性、生成と想像的探索の高い相関関係、および新たに現れる3D一貫性は、実世界における身体化された意思決定への道を開くものである。

実施型質問応答の評価。 実施型推論の評価のために、我々は3つの指標を定義する：

• •

  決定精度： この指標は、エージェントの決定が十分な情報を持つ人間が取る最適な行動と一致するかどうかを評価する。これは、選択された行動が状況や問題に成功裏に対処する度合いを測定する。

• •

  ゴールド行動信頼度： これは、利用可能な情報とコンテキストに基づいて、最も適切な行動を取るエージェントの信念の強さを指す。信頼度は、エージェントが正しい選択を出力する正規化されたロジットの平均として計算される。

• •

  論理精度： この指標は、決定に至る論理的推論プロセスの正確さを追跡する。我々は、提供された正しい思考の連鎖を用いて、エージェントの思考プロセスを評価するためにLLM-as-a-judge（GPT-4o）を使用する。これは、エージェントが最終的な行動に向かって進む際に行うステップ、推論、反省の連鎖を強調する。

表4では、我々の単一エージェント（§ 4.1）および複数エージェント（§ 4.2）の意思決定アルゴリズムを評価する。 単一モーダルはテキストコンテキストのみを受け取るエージェントを指し、マルチモーダル推論は自己中心的な視覚ビューとともにプロンプトされた場合のLLMの決定を示す。Gennexは認知的世界モデルを備えたエージェントとしてのモデルのパフォーマンスを示す。

想像力のない視覚はGPTにとって誤解を招く可能性がある。場合によっては、単一モーダルの応答（環境のテキスト説明のみを処理）がマルチモーダルの対応（テキストと自己中心的な視覚入力の両方を含む）を上回ることがある。これは、想像力のない視覚が誤解を招く可能性があることを示唆している。LLMエージェントがその視界をテキスト説明に変換し、言語ベースの常識推論にのみ依存する場合、空間的コンテキストの欠如により誤った推論を行う傾向がある。これは、エージェントの意思決定プロセスの精度と信頼性を向上させるために、想像力を視覚データと統合することの重要性を強調している。

Genexは人間の認知能力を向上させる可能性がある。人間のパフォーマンス結果はいくつかの重要な洞察を明らかにしている。第一に、視覚的情報とテキスト情報の両方を使用する個人は、テキストのみに依存する場合と比較して、著しく高い決定精度を達成する。これは、マルチモーダル入力が推論を向上させることを示している。 第二に、Genexによって生成された想像上の動画を提供された場合、人間は従来の画像のみの設定よりもさらに正確で情報に基づいた決定を行う。これは特に、高度な空間推論を必要とする複数エージェントのシナリオにおいて顕著である。これらの発見は、効果的な社会的協力と状況認識のためのGenexの認知能力向上の可能性を示している。