網站導航
上海 AI 實驗室開源 AETHER 世界模型?
在科技飛速發展的當下，人工智能領域的每一次突破都如同璀璨星辰，照亮人類前行的道路。近日，上海人工智能實驗室（上海 AI 實驗室）重磅開源了生成式世界模型 AETHER，這一消息猶如一顆投入平靜湖面的巨石，激起層層漣漪，為人工智能的發展注入了新的強大動力。
傳統世界模型在自動駕駛與游戲開發等領域有廣泛應用，它主要依靠豐富的動作標簽來預測接下來的視覺畫面。然而，其短板也十分明顯。由于缺乏對真實三維空間的建模能力，預測結果常常出現違背物理規律的現象。在面對復雜多變的真實場景時，受限于真實數據的不足，其泛化能力更是捉襟見肘。
為了攻克這些難題，上海 AI 實驗室的研究團隊潛心鉆研，提出了生成式世界模型 AETHER。該模型基于三維時空建模，通過引入并構建幾何空間，讓模型空間推理的準確性與一致性得到大幅提升。研究團隊利用海量仿真 RGBD 數據，精心開發了一套完整的數據清洗與動態重建流程，同時標注了豐富的動作序列。在此基礎上，他們創新性地提出一種多模態數據的動態融合機制，將動態重建、視頻預測和動作規劃這三項任務融合在一個統一的框架中進行優化，實現了真正的一體化多任務協同，極大地提高了模型的穩定性與魯棒性。
實驗數據是比較好的證明。傳統世界模型通常只關注 RGB 圖像的預測，而忽視了背后隱含的幾何信息。當引入空間建模后，各項指標均有明顯提升，其中視頻一致性指標提升約 4%。更令人驚嘆的是，即使使用合成數據進行訓練，AETHER 模型在真實環境中依然展現出強大的零樣本泛化能力，這意味著它可以在未接觸過的真實場景中迅速適應并發揮作用。
AETHER 模型在框架中實現了三項關鍵技術突破，明顯提升了具身系統在動態環境中的感知、建模與決策能力。
其一，目標導向視覺規劃。AETHER 能夠根據起始與目標場景，自動生成一條實現視覺目標的合理路徑，并以視頻形式呈現全過程。通過聯合優化重建與預測目標，它內嵌空間幾何先驗知識，使生成結果兼具物理合理性。這一特性讓具身智能系統如同擁有智慧的人類，能夠 “看路規劃”。例如，搭載該模型的機器人通過攝像頭觀察周圍環境后，能自動生成既安全又符合物理規律的行動路線，在復雜的環境中自由穿梭，完成各種任務。
其二，4D 動態重建。AETHER 通過自動標注流水線，構建合成 4D 數據集，無需真實世界數據即可實現零樣本遷移，精細捕捉并重建時空環境的動態變化。以輸入一段街景視頻為例，系統能夠快速重建包含時間維度的三維場景模型，精確呈現行人行走、車輛運動等動態過程，建模精度可達毫米級。這一技術在城市規劃、智能安防等領域有著巨大的應用潛力，能夠為相關決策提供極為精細的場景數據支持。
其三，動作條件視頻預測。AETHER 創新性地采用相機軌跡作為全局動作表征，可直接基于初始視覺觀察和潛在動作，預測未來場景的變化趨勢。這就如同給具身智能系統裝上了一個能夠預測未來的 “神奇鏡頭”。與傳統預測圖像變化的世界模型不同，AETHER 不僅能同時完成四維時空的重建與預測，還支持由動作控制驅動的場景推演與路徑規劃。并且，該方法完全在虛擬數據上訓練，即可實現對真實世界的零樣本泛化，展現出不可比擬的跨域遷移能力。
AETHER 模型通過巧妙組合不同的條件輸入，如觀察幀、目標幀和動作軌跡，再結合擴散過程，實現對多種任務的統一建模與生成?？梢孕蜗蟮卣f，觀察幀提供了 “現在的樣子”，目標幀給出了 “未來的樣子”，動作軌跡則是 “怎么從這里走到那里”，而擴散過程就像是拼圖的拼接邏輯，把這些零散信息有序組合起來，2還原出一個連續、合理且可預測的時空過程。
為了支持同時完成重建、預測和規劃這三類不同任務，AETHER 精心設計了一種統一的多任務框架，實現在同一個系統中整合動態重建、視頻預測和動作規劃。其中心之處在于，能夠融合圖像、動作、深度等多模態信息，建立一個跨模態共享的時空一致性建?？臻g，實現不同任務在同一認知基礎上的協同優化。在多個實驗任務中，AETHER 在動態場景重建方面已達到甚至超過現有 SOTA（state-of-the-art，其先進水平）水平。同時，研究人員發現在多任務框架下，各個任務之間相互促進，尤其在動作跟隨的準確度上面有較大幅度的提升。
AETHER 生成式世界模型的開源，為整個行業帶來了諸多利好。它有望為具身智能大模型在數據增強、路徑規劃以及基于模型的強化學習等方向研究提供堅實的技術支撐。眾多開發者和研究人員可以基于此模型，進一步探索和創新，加速機器人智能化的進程，推動人工智能在更多領域的廣泛應用。
隨著 AETHER 模型的開源，我們仿佛站在了一個新的科技十字路口，前方是充滿無限可能的智能未來。它將如何重塑各個行業的格局？又會給我們的日常生活帶來哪些意想不到的改變？讓我們拭目以待，共同見證科技的無窮魅力和力量。
公司信息
訪問官網
我要咨詢
每日熱詞
