Pure Vision-Language-Action (VLA) Models: A Comprehensive Survey
Dapeng Zhang, Jing Sun, Chenghui Hu, Xiaoyan Wu, Zhenlong Yuan, Rui Zhou, Fei Shen, and Qingguo Zhou
這篇由 Dapeng Zhang 等人撰寫的論文《Pure Vision-Language-Action (VLA) Models: A Comprehensive Survey》，對 VLA 模型進行了系統性的全面綜述，探討其從傳統策略控制轉向通用機器人技術的範式轉移。
以下是根據來源內容對該論文各個面向的詳細萃取：
1. 論文主旨 (Main Theme)
本論文的主旨在於將 VLA 模型重新定義為具體化人工智慧（Embodied AI）的核心，將視覺語言模型（VLM）從被動的序列生成器轉變為能在複雜環境中進行操作與決策的「主動代理人（Active Agents）」。論文旨在建立一套完善的分類體系（Taxonomy），系統性地總結現有的研究方法、資料集、基準測試及硬體平台，並勾勒出通向通用具體化智能的路徑。
2. 研究文獻 (Research Literature)
論文整合並分析了超過 300 篇近期研究：
- 基礎模型： 涵蓋了視覺領域的 ViT、自然語言處理的 GPT-4、T5，以及視覺語言對齊的 CLIP、Flamingo、LLaVA 等。
- 關鍵 VLA 模型： 包括早期的 Gato、RT-1，到具代表性的 RT-2、PaLM-E、OpenVLA、Octo，以及最新的 $\pi_0$、$\pi_{0.5}$、GR00T N1 等。
- 資源文獻： 引用了如 Open X-Embodiment (OXE) 等大規模機器人數據集，以及 MuJoCo、Isaac Gym、CARLA 等仿真平台。
3. 研究假設 (Research Hypotheses)
該綜述的核心立論建立在以下假設：
- 統一框架假設： 假設將視覺感知、語言理解與可執行控制統一在單個序列建模框架中，可以解決傳統機器人系統感知與執行脫節的問題。
- 知識遷移假設： 假設 VLA 模型可以繼承 VLM 的語義與指令泛化能力，透過大規模網絡數據的預訓練來增強機器人在物理世界中的魯棒性。
- 範式轉移假設： 假設將機器人控制視為一種「生成問題」（Generative Problem），能比傳統的強化學習或手工編碼政策提供更好的泛化潛力。
4. 研究方法 (Research Methodology)
作者採用了分類學研究法，根據**動作生成策略（Action-generation Strategies）**將 VLA 方法劃分為以下範式：
- 自迴歸基礎 (Autoregression-based)： 將動作視為受先前上下文約束的步驟式生成過程。
- 擴散基礎 (Diffusion-based)： 將動作生成表述為條件去噪過程，能處理多樣化的動作分佈。
- 強化學習基礎 (Reinforcement-based)： 利用 VLM 作為獎勵函數設計或策略微調的媒介。
- 混合與專業化方法 (Hybrid & Specialized)： 結合多種生成範式（如 System 1 與 System 2 的決策架構）或針對特定領域進行優化。
5. 研究發現 (Key Findings)
- 技術演進： 研究發現 VLA 已從早期的統一標記化（Tokenization）轉向大規模現實世界訓練、語義接地（Semantic Grounding），並正朝向跨平台通用性發展。
- 各範式優缺點：
- 自迴歸： 具備強大的推理與擴展性，但存在誤差累積與高延遲問題。
- 擴散模型： 在處理連續動作空間與物理一致性上表現優異，但環境動態偏移時的時間相干性較弱。
- 強化學習： 能整合人類回饋並提升安全性，但獎勵函數工程往往不直接且雜訊較多。
- 基礎設施： Open X-Embodiment 數據集的出現顯著標準化了數據格式，促進了跨機構的協同開發。
6. 應用領域 (Applications)
論文評估了 VLA 在多種場景的部署：
- 機械手臂 (Robotic Arms)： 各類桌面操作、抓取任務。
- 足式與人形機器人 (Quadrupeds & Humanoids)： 複雜地形導航、全身控制及家庭輔助應用。
- 自動駕駛 (Autonomous Driving)： 無須高精地圖的閉環控制與路徑預測。
- 數位交互： 包含 GUI 介面操作與虛擬遊戲代理人。
7. 未來發展趨勢與挑戰 (Future Trends & Challenges)
- 關鍵瓶頸：
- 數據稀缺： 現實世界高品質標註數據依然昂貴且缺乏多樣性。
- 實時性限制： 大型 Transformer 架構的推理速度難以滿足毫秒級的動態反應需求。
- 偽交互問題 (Pseudo-interaction)： 模型往往依賴統計相關性而非真正的因果推理來生成動作。
- 未來機遇：
- 世界模型與跨模態統一： 將環境建模、推理與互動整合進單一標記流，使 VLA 演化為「原型世界模型」。
- 因果推理突破： 從數據驅動轉向深層互動智能，使機器人能主動探測環境。
- 虛實整合： 利用高保真仿真生成數萬億條軌跡數據，觸發具體化智能的「GPT 時刻」。
- 社會化嵌入： 建立安全、可解釋且負責任的機器人部署體系。
比喻與總結： 這篇論文將 VLA 的發展描繪成從**「讀書人」（僅能理解語言和影像）進化為「實踐者」（能動手操作）的過程。早期的 VLA 像是在看說明書操作的學徒，而未來的趨勢是讓機器人具備世界觀（世界模型）與常識判斷（因果推理）**，從而像人類一樣在充滿未知的真實世界中靈活應變。
