Pure Vision-Language-Action (VLA) Models: A Comprehensive Survey
Dapeng Zhang, Jing Sun, Chenghui Hu, Xiaoyan Wu, Zhenlong Yuan, Rui Zhou, Fei Shen, and Qingguo Zhou
現有視覺-語言-動作 (VLA) 模型在實際部署於機器人系統時，面臨多項嚴峻的推理性能挑戰，主要集中於實時性、計算資源成本以及硬體適應性。根據來源文獻，這些挑戰具體表現在以下幾個面向：
1. 自迴歸解碼帶來的結構性延遲
目前大多數 VLA 模型高度依賴大規模 Transformer 架構，並採用自迴歸解碼 (Autoregressive decoding) 機制。
- 誤差與延遲累積： 由於每個動作標記 (action token) 都必須依賴前一個標記才能生成，這導致延遲會隨著序列長度不斷累積。
- 推理速度受限： 這種逐一生成的特性嚴重限制了推理速度，難以滿足機器人執行任務時所需的執行效率。
2. 高昂的計算與記憶體成本
VLA 模型通常擁有龐大的參數規模，並需要處理高維度的視覺輸入，這對硬體提出了極高要求。
- 記憶體負荷： 許多最先進的 VLA 模型所需的 GPU 記憶體遠遠超過了典型嵌入式平台（機器人端常用的硬體）的承載能力。
- 計算冗餘： 如何在保持模型性能的同時，減少計算冗餘並縮短推理延遲，是目前部署中的核心難題。
3. 毫秒級實時響應的需求缺口
機器人在現實世界中執行動態任務（如動態抓取或移動導航）時，通常需要毫秒級 (millisecond-level) 的反應速度。
- 響應瓶頸： 現有的 VLA 模型往往因為過於緩慢，導致機器人無法對環境變化做出即時反應，使部署陷入「速度過慢且成本過高」的困境。
- 閉環控制穩定性： 在雜訊輸入下，如何維持長時程任務的穩定性並進行有效的低階控制，依然是未解的挑戰。
4. 模型優化與精確度的權衡
雖然研究者嘗試透過量化 (Quantization)、壓縮 (Compression) 或邊緣-雲端協作推理來優化性能，但仍難以在準確性、實時性與成本之間達成理想的平衡。
- 混合系統的複雜性： 結合了推理與動作生成的混合架構雖然強大，但在擴展與部署時更顯計算成本高昂且結構複雜。
- 硬體感知優化不足： 目前缺乏足夠的硬體感知 (Hardware-aware) 優化策略，無法充分發揮機器人專用硬體的效能。
總結與比喻： 現有的 VLA 模型就像是一位**「思考極其緩慢的博學大師」**。雖然他擁有海量的知識與理解力（大腦參數多、理解指令強），但因為他每做一個動作前都要經過漫長的邏輯推演（自迴歸解碼與計算負荷），導致他無法在乒乓球賽（動態、高頻的機器人任務）中及時揮拍，且這顆「大腦」還需要極其龐大的電力和冷卻系統才能運轉，難以直接安裝在輕便的機器人身上。
