# DPIED-04｜看見世界，不等於能操作世界

## 影片觀測至具身行動的資訊缺口、因果辨識與多模態轉化

### Seeing a World Is Not Acting in It: Information Gaps, Causal Identification, and Multimodal Transfer from Videos to Embodied Skills

**系列**：數位—實體智能演化解耦論（Digital–Physical Intelligence Evolutionary Decoupling, DPIED）  
**篇次**：DPIED-04／09；第二階段「架構與學習」第一篇  
**作者**：Neo.K  
**研究機構**：EveMissLab／一言諾科技有限公司（EVEMISS TECHNOLOGY CO., LTD.）  
**AI 協作整理**：GPT-6  
**版本**：v1.0  
**日期**：2026-11-05  
**文件性質**：獨立理論論文；觀測—行動轉化的形式化分析、反例、可反駁假說及多模態實驗設計  
**前置**：DPIED-01、DPIED-02、DPIED-03；《具身 AI 的本地算力困境與分層學習閉環》、WIIW-05、APET-06、LWCT-02  
**文獻範圍**：截至 2026-11-05 可核實的公開研究、資料集與研究團隊文件  
**證據狀態**：理論命題及假設性算例已進行內部邏輯與算術檢查；外部研究已以公開來源核對；未執行本篇自建的機器人實機實驗  
**Canonical source**：UTF-8 Markdown；數學原稿唯一使用 ` $...$ ` 與 `$$...$$`；不以聊天畫面呈現作為正式原稿  
**範圍限制**：不把真人影片等同完整機器人操作資料；不把高畫質生成影片等同物理模擬器；不否認視頻預訓練、數位模擬或專用機器人已取得的真實進展

---

## 摘要

高品質影片生成、大規模第一人稱視角資料、跨本體機器人示範與視覺—語言—動作模型（Vision–Language–Action, VLA）的共同發展，使得「從看懂人類行為到讓機器人完成同類工作」逐漸成為可研究的技術路線。然而，影片中的可觀測狀態變化，通常不是可直接執行的物理控制序列。即使影片外觀高度真實，其中仍可能缺少物體質量、摩擦、接觸力、關節力矩、遮蔽狀態、控制輸入、感測同步與行動反事實。由影像學到的動作先驗，可以改善語義理解或策略初始化，卻不能單憑影像逼真程度保證機器人在陌生本體與現場環境中安全地產生相同結果。

本文承接 DPIED-01 的數位—實體演化非同步假說、DPIED-02 的認知—行動轉化瓶頸、DPIED-03 的產業證據分層，提出「影片觀測—具身行動可識別性問題」（Video-to-Embodied-Action Identifiability Problem）。本文首先區分可視外觀、時空軌跡、接觸狀態、動作控制、反事實結果與真實可執行性，進而將視頻資料分為被動真人影片、帶有多視角／3D 標註的人類活動資料、帶有原生控制紀錄的機器人互動資料、物理模擬產生的可干預資料，以及生成式世界模型影片。不同資料類型在「可見什麼」與「能否對應真實動作」上具有不同辨識力，而不是線性排列的畫質等級。

形式化上，本文建立觀測模型、動態轉移模型、跨本體動作映射及閉環策略，並證明一項條件性不可識別命題：若兩種隱藏物理狀態產生完全相同的可觀測影片，卻要求互不相容的安全動作，則任一只依賴該影片、未取得額外資訊的策略，不能同時保證兩種狀態下的成功。此結論不是說視覺永遠不足，也不是說必須配置觸覺；它說明在特定隱變量與任務條件下，額外的測量、主動探測、互動回饋或環境先驗不可由更多相似畫面自動替代。

本文進一步提出六項可反駁假說、四組干預式評測、一個完整的虛構數值算例，以及資料品質與成本聯合模型。對 2024—2026 年 Open X-Embodiment、DROID、Ego4D／Ego-Exo4D、LAPA、視覺—觸覺操作、影片物理一致性基準及 2026 年人類影片到機器人學習綜述的查核顯示：學界已出現多條有效的表示橋接路線，但影片預測、動作可識別性與現場可靠執行仍須分開評估。本文因此主張，具身 AI 的資料擴張不應只追求更多影片，而應追求具有來源、控制條件、接觸回饋、反事實擾動及現場驗證閉環的**可行動知識密度**。

**關鍵詞**：具身 AI；人類影片；觀測不可識別性；視覺—語言—動作模型；潛在動作；視覺—觸覺融合；跨本體泛化；世界模型；生成影片；主動感測；物理因果；資料—行動轉化

---

## 0. 問題的位置：前三篇已經完成什麼，本篇要補哪一段

DPIED-01 指出數位智能與實體行動能力可以形成不同的演化曲線，但不預設分岔方向和持續時間。DPIED-02 說明模型理解、現場可供性、硬體控制、安全權限及長期維護是不同環節。DPIED-03 則提醒：產業展示、出貨、試點和有效自主工作不應混為同一證據。三篇連接後，留下了一個更具體的資料與學習問題：**若網際網路與創作平台提供近乎無盡的影片，為何其資訊不能直接等價於機器人所需的實際操作經驗？**

本篇不是重寫前述的「一般整合架構」，也不重新定義「具身」。研究的新增量在於五個接口：

1. 從可視影片到隱藏物理狀態的辨識接口。
2. 從人類行動軌跡到機器人原生動作空間的跨本體接口。
3. 從被動觀察到可干預動態因果模型的學習接口。
4. 從生成影片或模擬器預測到真實物理實驗的驗證接口。
5. 從資料規模與視覺品質到任務成功、安全性及總成本的評估接口。

這使本篇成為 DPIED-05「跨時間尺度的具身智能運行架構」與 DPIED-06「從虛擬訓練到真實世界的遷移邊界」的必要前置。後續兩篇將研究具體的計算整合和遷移工程；本篇先界定資料裡**本來具有、可間接推得及不可無條件識別**的資訊。

### 0.1 不得預先採用的三種結論

第一，不得因人類影片沒有機器人動作標記，便認為其無法改善機器人學習。已存在成功利用潛在動作、預測模型與幾何重建的研究。[R5][R7]

第二，不得因生成影片可以拍得像真實世界，便認為其具備對任何物理干預的可靠預測能力。物理一致性及對策略輸入的忠實性需獨立檢驗。[R10][R11][R12]

第三，不得因某類精細操作需要觸覺，就把所有機器人任務一律定義為「一定需要觸覺」。特定固定場景中，幾何視覺、標準化夾具或非接觸式操作可能已經充分。

---

## 1. 已有證據：影片資料及具身學習並不是零起點

### 1.1 Ego4D 與 Ego-Exo4D：人類活動不是只有單鏡頭的像素

Ego4D 已公開大規模第一人稱日常活動影片及多種標註；部分資料附帶聲音、立體視覺、環境 3D 資訊及凝視訊號。Ego-Exo4D 進一步提供同步第一人稱與第三人稱視角、慣性資料、姿態及程序性技能標註。這使研究者可從人類影片中重建部分視角轉換、物件關係和行動序列，而非僅從單張圖片猜測姿勢。[R1][R2]

然而，「可較好重建動作」仍不等於已知實際抓握接觸力，或可以直接驅動不同關節配置的機器人。本篇對此保留明確的辨識邊界。

### 1.2 Open X-Embodiment：跨本體資料已可以帶來遷移

Open X-Embodiment 整合超過百萬筆真實機器人軌跡，涵蓋 22 種機器本體，並以標準格式協助訓練跨本體模型。合作團隊報告過在若干任務上的正向遷移，顯示把動作經驗編碼為共享可訓練資料，確實有助於超越一台機器對一個任務的孤立學習。[R3]

但「跨本體遷移」是具體任務及訓練分布下的實驗結果，而不是任何本體都已具通用交換性。

### 1.3 DROID：真實操作示範包含影片以外的關鍵資料

DROID 使用分布於不同場所的標準化機器人設備收集約 76,000 條示範軌跡、約 350 小時的互動資料，涵蓋數百個場景與數十種任務；資料包括相機、機器人狀態及控制等資訊。2025 年另補充部分序列的攝影機校準，使觀測更容易與物理幾何相對齊。[R4]

同樣是「看到抓取」，DROID 式機器人互動紀錄能提供比一般網路影片更接近控制問題的條件變數；但在本體選擇、場景覆蓋和傳感器種類方面仍有局限。

### 1.4 2025—2026 年的人類影片轉行動路線

LAPA（Latent Action Pretraining from Videos）探索從缺乏真實機器人動作標記的影片中學習潛在動作，再以較少機器人資料映射成可執行控制。[R6] 2026 年 IJCAI 綜述將主要策略整理為四條：潛在動作、預測世界模型、顯式 2D 線索和顯式 3D 重建。[R5] ICML 2026 研究亦探索在自然影片中訓練潛在動作世界模型，但報告因缺乏共同本體，學得的表示仍帶有相機局部性的問題。[R7]

這些研究直接反駁「影片一定不能訓練行動」的過度懷疑；同時也支持本文的核心區分：**能提取有用的行動相關表示，不等於不需要機器人原生動作對齊與現場閉環。**

### 1.5 觸覺與影片物理評估：兩種重要的修正證據

3D-ViTac 在實機精細操作中展示融合視覺與觸覺相對於純視覺策略的改善，尤其涉及接觸、易碎物品與手內操作時。[R8] NeuralFeels 也從遮蔽及接觸中的物體姿態、形狀估計出發，顯示觸覺能補充被視覺遮擋的資訊。[R9]

另一方面，VideoPhy、WorldModelBench 及 PhyWorldBench 均將生成影片的物理一致性視為獨立的評估維度，而不是只看畫面品質。[R10][R11][R12] 這些基準的測試分布及年份不同，不能把不同論文的分數相減以宣布「最新模型有多少比例具備物理智能」。

### 1.6 文獻證據只能支持到哪裡

可支持：人類影片可以作為有價值的預訓練資訊；跨本體動作資料已有成效；觸覺在某些操作任務顯著有用；生成影片的物理一致性需專門測試。

尚不能由上述資料直接支持：任何大量收集的動漫或真人影片都會讓具身機器人快速達成通用自主；某單一模型能在所有環境中取代接觸感測與即時控制；或任何新架構已解決真實世界全部長程可靠性。

---

## 2. 先把「看見」與「做到」拆成六種不同的知識

研究對象不是抽象的影片理解率，而是六個層級之間的對應關係。

| 層級 | 研究對象 | 可能從影片取得的資訊 | 必須另外確認的內容 |
|---|---|---|---|
| V0｜外觀 | 顏色、形狀、材質視覺線索 | 物件存在及可見表面 | 真正質量、材料內部、摩擦 |
| V1｜運動 | 2D／3D 軌跡、速度近似 | 物體和手部如何移動 | 造成移動的力與控制指令 |
| V2｜接觸 | 接近、碰撞、遮蔽與接觸事件 | 接觸可能何時發生 | 法向力、剪力、黏滯、滑動狀態 |
| V3｜意圖 | 任務目的、步驟、結果 | 人類可能想達到的終態 | 同一終態是否有可替代行動 |
| V4｜干預 | 指定動作對世界的作用 | 有動作標記時可學估計轉移 | 未觀測動作的反事實、混雜因素 |
| V5｜執行 | 真實機器人的安全完成 | 帶閉環資料時可學策略 | 本體限制、反應時限、可重複性 |

這些層級不是固定的難度排行榜。單鏡頭長影片未必包含 V4，而短暫的高品質機器人控制紀錄卻可能同時提供 V0、V2、V4 與 V5 的局部資訊。

### 2.1 相同終態可由不同動作達成

例如一個杯子從桌面左側移到右側，影片可能顯示最終位置，但難以唯一確定杯子曾由手直接抓住、由隱藏機構推動、經由磁吸移動或由剪輯跳接。即使事件拍攝連續，內部接觸力或控制參數亦不必唯一。

### 2.2 相同動作外觀也可能導致不同結果

兩個外觀相同的盒子可能具有不同重心、質量、內部液體分布或摩擦。對同一夾取與搬運動作，結果可能分別為穩定搬起、打滑或翻倒。

### 2.3 影片理解的進步與控制識別的進步可以不同步

影片模型可以提高在 V0—V3 的辨識能力，同時在 V4—V5 受到隱藏狀態、控制接口和實體傳感限制。這是 DPIED-01 所說「能力曲線分岔」的一種細粒度機制，而不是宣稱影片生成沒有價值。

---

## 3. 形式化：觀測、隱藏物理狀態、行動與本體

### 3.1 物理世界與相機不是同一個狀態空間

令真實世界狀態為：

$$
s_t=(x_t,q_t,v_t,c_t,m_t,\mu_t,\vartheta_t),
$$

其中 $x_t$ 可包含物件位置與姿態， $q_t,v_t$ 是機器人配置及速度， $c_t$ 為接觸狀態， $m_t$ 為物體質量參數， $\mu_t$ 為摩擦相關參數， $\vartheta_t$ 表示其他影響動態的隱藏條件。這是按任務選取的示例性狀態分解，不要求所有場景都能由此有限向量完整描述。

相機取得的視覺觀測是：

$$
y_t^{V}=h_V(s_t,\kappa_t,\epsilon_t),
$$

其中 $\kappa_t$ 為相機位置、光學及曝光條件， $\epsilon_t$ 為噪聲與遮蔽因素。真人影片為序列：

$$
V_{0:T}=(y_0^{V},y_1^{V},\ldots,y_T^{V}).
$$

在一般情況下， $h_V$ 未必是單射：不同真實狀態可以形成相同觀測。尤其質量、內部結構與接觸法向力，未必能由單次被動影片唯一推回。

### 3.2 具身行動是一個干預量

令機器人原生控制輸入為 $a_t^B$，其動態轉移表示為：

$$
s_{t+1}\sim P_B(s_{t+1}\mid s_t,a_t^B,e_t),
$$

其中 $B$ 表示機器本體， $e_t$ 表示環境條件。注意 $P_B$ 不一定可由同一人的動作影片直接估計；它取決於執行者的關節、驅動器、質量分布、控制器以及與環境的接觸方式。

在人類影片中，真實人類動作 $a_t^H$ 往往沒有被完整標記，即使能重建手腕軌跡，也不等於知道力、肌肉輸出或接觸策略。

### 3.3 行動橋接與跨本體映射

以 $z_t$ 表示從影片抽取的行動相關表示；它可以是潛在向量、2D 軌跡、3D 姿勢或預測的物體狀態轉移。學習流程可寫作：

$$
z_t=\phi(V_{t-k:t},g),
$$

$$
a_t^B=\psi_B(z_t,\widehat s_t,\mathcal A_B),
$$

其中 $g$ 是目標任務， $\widehat s_t$ 是估計世界狀態， $\mathcal A_B$ 是本體允許的行動集合。 $\phi$ 與 $\psi_B$ 不必皆是神經模型，也可以混合機器人運動學、規劃器及有安全界線的低階控制器。

若 $\phi$ 保留了語義與軌跡，卻丟失了對控制至關重要的接觸變數，則 $\psi_B$ 不能保證從現有資訊唯一恢復該變數。若後續加入真實觀測和試探動作，則可得到新資訊，這不違反資料處理或不可識別性的原則。

### 3.4 閉環的核心是信念更新，而非一次生成

當隱藏狀態不可直接觀測時，可使用信念狀態 $b_t(s)$：

$$
b_t(s)=P(s_t=s\mid y_{0:t},a_{0:t-1}).
$$

採取行動並收到新回饋後，信念由動態模型與觀測模型更新：

$$
b_{t+1}(s')\propto P(y_{t+1}\mid s')\int P(s'\mid s,a_t)b_t(s)\,ds.
$$

此式刻意簡化本體及環境的下標，用來指出**觀測與行動共同決定估計狀態**。純離線影片模型可能改善先驗信念，但只有執行系統能依後續回饋更新，才可處理現場偏離。

### 3.5 區分三個性能函數

令 $Q_V$ 表示影片預測或辨識品質， $Q_A$ 表示動作對應與安全可行性， $Q_R$ 表示真實機器人任務成果。一般不存在未附帶條件的單調函數 $f$，使得：

$$
Q_R=f(Q_V)
$$

對所有任務與本體均成立。欲建立經驗映射，需額外固定資料分布、本體、控制器、感測器、環境、任務及部署條件。

---

## 4. 命題一：被動影片可能對安全動作不可識別

### 4.1 命題的條件

考慮兩種潛在物理狀態 $\theta_0,\theta_1$。若在執行前取得的所有影片觀測 $V$ 上：

$$
P(V\mid\theta_0)=P(V\mid\theta_1),
$$

但成功且安全的初始動作集合互不相交：

$$
\mathcal A_{\mathrm{safe}}(\theta_0)\cap
\mathcal A_{\mathrm{safe}}(\theta_1)=\varnothing,
$$

則對一個只能依據 $V$ 選擇初始動作、且沒有新增感測或探索的策略 $\pi(a\mid V)$，不可能在兩種狀態均保證成功。

這是一個**條件性不可識別命題**，不是聲稱任何真實機器人任務都滿足這些條件。

### 4.2 簡短證明

因兩個物理狀態產生相同影片分布，單看影片不提供區別兩種狀態的資訊。若某動作對 $\theta_0$ 安全且成功，就不可能同時屬於 $\theta_1$ 的安全成功集合。因此任何從同一影片選出的單一動作，都不能在兩種狀態下同時保證安全成功。若先驗兩狀態等機率，且沒有其他有效資訊，對任一隨機化影片策略有：

$$
P(\mathrm{success})=
\frac12P(a\in\mathcal A_0\mid\theta_0)
+\frac12P(a\in\mathcal A_1\mid\theta_1)
\leq\frac12,
$$

其中不等式使用兩個集合互斥、且在相同影片觀測下策略的動作分布相同。此處 $\mathcal A_i$ 指對狀態 $\theta_i$ 可成功且安全的初始動作集合。證畢。

### 4.3 實物直覺：相似外觀、不同容許抓握力

想像兩個外觀近似的柔性容器。一個需要較小夾持力才能避免壓壞，另一個必須施加較大力才能避免滑落；在所選任務與控制模式下，容許初始動作區間互不重合。若影片無法揭示內部重量及局部材料差異，單次從畫面推斷的夾持動作就不能被保證同時適用。

此例是構造反例，不宣稱所有現實容器的安全力區間都不相交。現實系統可使用柔順控制、力覺、觸覺、微小測試動作或其他主動感測降低不確定性。**命題限制的是無新增資訊的被動方案，不是有回饋的閉環機器人。**

### 4.4 更一般的資訊論敘述

若所需動作類別 $A^\ast$ 在給定影片後仍具有非零條件熵：

$$
H(A^\ast\mid V)>0,
$$

則影片未完全決定動作類別。但非零條件熵本身**不足以**推出任務一定失敗：多個動作可能同樣安全成功。要得到不可保證成功的結論，尚須檢查不同隱藏狀態的可接受動作集合及決策損失。

這個區別避免把「不可唯一識別最佳動作」偷換成「不可完成任務」。

---

## 5. 命題二：影片顯示的是已發生路徑，而不必然是可干預因果規律

### 5.1 觀測分布與干預分布

在自然影片裡，人的動作選擇可能同時受到不可見意圖、物體重量、習慣及當時環境影響。對觀測資料，可以估計：

$$
P(s_{t+1}\mid s_t,a_t^H),
$$

但欲預測機器人主動選擇某動作的結果，更接近研究：

$$
P(s_{t+1}\mid s_t,do(a_t^B=a)).
$$

除非具有相應的識別假設、充分混雜控制及可遷移的動力學關係，前者不能直接等同後者。對照的意義不是認為必須使用某一種因果形式主義，而是指出**看到別人成功做過，不等於知道自己介入會產生什麼結果**。

### 5.2 逆動力學不一定唯一

若看到一扇門被打開，可能源於旋轉把手、推拉、遠端開鎖或自動感應。甚至同一把手旋轉軌跡，也可能由不同力矩及手指接觸分布造成。由結果逆推控制輸入是一個可能非唯一的逆問題。增加多視角或 3D 姿態資訊能縮小候選集合，但未必完全消除其歧義。

### 5.3 環境干預可提供新增辨識力

若可安全地調整抓握力、碰觸不同材質或施加受控擾動，就可取得更接近動態因果的資料。理論上，在任務、風險及資源允許的條件下，主動實驗可以使原先觀測等價的物理狀態變得可分辨。但何種行動具有足夠的資訊增益、何時應停止探索，以及探索是否安全，都是額外的決策問題。

### 5.4 從相關記憶到可測試的世界轉移模型

一個可供行動檢驗的世界模型，不只應預測「接下來畫面像什麼」，也要能回答：當控制輸入改變，物件的接觸、運動及危險機率如何變化。這需要對介入的一致性進行測試，而非只在無控制的影片上衡量相似度。[R11][R12]

---

## 6. 六類資料來源與其可行動資訊的界限

| 資料來源 | 優勢 | 常見缺口 | 主要用途 |
|---|---|---|---|
| A. 網路真人影片 | 廣泛物件、任務語義、自然場景 | 動作標記不全、偏視角、剪輯、權利限制 | 視覺與語義先驗、程序辨識 |
| B. 多視角／3D 人類活動 | 幾何、手部、身體及時序較完整 | 人體動力學與機器本體不同、接觸力常缺 | 軌跡、任務步驟、姿態映射 |
| C. 真實機器人示範 | 原生控制輸入、同步狀態、現場結果 | 設備昂貴、場景分布受限 | 具體策略、動作空間對齊 |
| D. 真實機器人探索 | 失敗、恢復、控制干預及偏離 | 安全和磨損成本、樣本效率 | 閉環修正、失效邊界 |
| E. 物理模擬與數位孿生 | 可改參數、反覆重置、提供反事實 | 動態模型與真實材料差異 | 範圍探索、擾動壓力測試 |
| F. 生成式影片／世界模型 | 視覺多樣性、假設情境與候選軌跡 | 物理一致性、動作條件忠實度不保證 | 資料擴增、提案與離線規劃輔助 |

這個分類不是「真實一定最好，合成一定最差」。在某些稀有危險情境中，模擬資料可提供真實現場不宜收集的干預樣本；在人類已大量反覆進行的工作中，影片可以有效建立語義和動作先驗；真實機器人探索則提供更直接的執行校準。有效方案可能是一個混合訓練分布，而不是只選其中一類。

### 6.1 區分畫素數、影片時長與可行動知識密度

令資料集 $\mathcal D$ 包含 $N$ 條軌跡，對某任務族 $\mathcal T$，定義一個待實證估計的資料效益函數：

$$
G(\mathcal D;\mathcal T,B)=
\mathbb E_{\tau\sim\mathcal T}
[Q_R(\pi_{\mathcal D},\tau,B)-Q_R(\pi_0,\tau,B)].
$$

 $Q_R$ 是在固定機器本體 $B$ 及評估條件下的真實任務品質， $\pi_{\mathcal D}$ 是使用該資料集訓練的策略， $\pi_0$ 是匹配資源及架構的基線。 $G$ 是一個**因果效果研究目標**，不能僅由資料時長或檔案位元數直接算出。

可以再定義成本正規化的增益：

$$
\eta_{\mathcal D}=\frac{G(\mathcal D;\mathcal T,B)}{C_{\mathrm{data}}+C_{\mathrm{train}}+C_{\mathrm{adapt}}},
$$

前提是分母正值且已指定成本單位。此量只是特定系統的邊際效益描述，不是資料集永久不變的「本質品質」。資料內容的價值取決於已有訓練分布、目標任務及測試本體。

### 6.2 真實資料不是沒有偏差

遙操作資料可能偏向熟悉任務、成功路徑、單一夾爪及固定環境；真實影片也可能因拍攝者選擇、剪輯和危險動作不公開而失去重要的失敗分布。反之，經嚴謹校準的模擬可刻意覆蓋罕見故障。資料是否為「真實」，不等於資料是否「完整代表部署分布」。

### 6.3 生成影片不能被悄悄改標為真實實驗

所有生成式影片、經後製修改的真實影片與模擬紀錄，應保留機器可讀的來源欄位。生成影片可以用於假設檢驗前的候選產生，不能在沒有現場測量與模型校準時被當作真實物理結果。

---

## 7. 從影片到動作：四條表示橋接路線如何各自失敗

### 7.1 潛在動作表示

從前後畫面抽取狀態變化 $z_t$，再經少量有動作標記的機器人資料對齊。其優勢是可利用大量沒有控制記錄的影片，瓶頸是潛在動作可能混入相機運動、背景變化或不同本體無法共享的動態。[R6][R7]

必要評估不只是 $z_t$ 能否重建影片，也應測試固定 $z_t$ 下，機器人是否能用較少實際標記資料取得較高成功率。

### 7.2 預測世界模型

以可觀測狀態及行動條件預測未來，再讓策略利用預測進行規劃。它可以改善試錯與規劃覆蓋，但若模型誤差隨未觀測動作增加，則反而可能高估不熟悉策略的效益。[R11][R13]

因此，未來畫面相似度、動作條件遵循程度、物理量誤差、規劃排名一致性與真實完成率應分開報告。

### 7.3 顯式 2D 動作線索

以關鍵點、光流、物體追蹤、抓取候選或手部軌跡表示動態。這類方法計算及標註介面相對容易分析，但深度不確定、視角變換及接觸力缺失可能使同一 2D 方案在真實三維工作空間失效。[R5]

### 7.4 顯式 3D 動作重建

以 3D 手部姿態、物體姿態、末端執行器軌跡或環境幾何建立更接近機器人控制的接口。3D 幾何可減少投影歧義，但重建本身有誤差；即使位置姿態完全正確，仍可能不包含實際接觸力、物件柔性或實體致動限制。[R5]

### 7.5 四條路不是互斥模型家族

一個完整系統可能同時使用視覺預訓練、潛在動作、幾何約束及生成式規劃，再以機器人示範、力覺與實機控制更新。它們是不同種類的資訊介面，而非必然只能單選一條架構。

---

## 8. 命題三：增加感測模態的價值具有任務條件性

假設加入新觀測模態 $Y^M$，例如觸覺、力覺、深度或聲音。若此模態對隱藏狀態具有新增條件資訊：

$$
I(\Theta;Y^M\mid V)>0,
$$

它在統計上可能有助於辨識原先不確定的物理狀態。但即使互資訊為正，仍不能直接推出任務成功率必然增加：感測噪聲、延遲、錯誤校準及控制器無法使用資訊，都可能抵消其效益。

因此，要以更強的決策條件界定感測價值。令 $L(a,\theta)$ 是在隱藏狀態 $\theta$ 下選擇動作 $a$ 的預期損失，且允許策略忽略多餘模態。在理想無新增感測成本、策略可任意選擇的決策類別下：

$$
\inf_{\pi(V,Y^M)}\mathbb E[L]
\leq
\inf_{\pi(V)}\mathbb E[L].
$$

這個不等式只因擴充策略類別包含原本只看 $V$ 的策略，是一個**可選擇資訊下的最適化上界**，不是對現實神經模型性能的單調保證。若新模態有成本或時間延遲，應評估：

$$
\Delta J_M=J_{\mathrm{without}}-J_{\mathrm{with}}-C_M,
$$

其中 $C_M$ 已按同一效用或成本單位換算。新增模態只有在淨收益為正、且符合安全約束時才值得部署。

### 8.1 視覺足夠的反例

在物件規格固定、光照穩定、幾何分選容錯較大的工廠，單純視覺與可靠的機械夾具可能已達高成功率；額外觸覺硬體的收益不足以抵銷維護成本。這不是具身 AI 不需要接觸資訊，而是現場的設計已將接觸不確定性控制在可忽略範圍。

### 8.2 觸覺必要性較高的任務群

透明、易碎、遮蔽、軟質、可滑動或手內變姿態物件，可能有大量在接觸後才出現的狀態差異。文獻中的視覺—觸覺融合確實在部分此類任務帶來增益，但不能以單一研究的結果外推到全部機體。[R8][R9]

### 8.3 感測不是越多越好

模態數量增加會擴大校準和同步問題。若觸覺資料的時間戳記比視覺狀態晚一個關鍵接觸事件，即使各單項感測器精確，跨模態策略也可能做出錯誤整合。故「增加資料」與「維持資料在相同物理事件上的一致性」是不同目標。

---

## 9. 命題四：影片的可行動性取決於「觀測等價類」的共通安全動作

上一節的資訊論論證仍可以更精確。對一個觀測到的影片 $V=v$，令：

$$
\Theta(v)=\{\theta:P(V=v\mid\theta)>0\},
$$

表示在所採研究模型下，與影片 $v$ 相容的隱藏物理狀態集合。連續觀測分布的密度為零問題，可改以正密度鄰域或具容差的觀測等價類處理；這裡僅用離散或理想化形式說明。

令 $\mathcal A_{\mathrm{ok}}(\theta)$ 表示在物理狀態 $\theta$ 下滿足既定任務終態、時間預算和安全規範的可接受初始行動集合。定義：

$$
\mathcal A_\cap(v)
=\bigcap_{\theta\in\Theta(v)}\mathcal A_{\mathrm{ok}}(\theta).
$$

**命題四（強健影片決策存在條件）**：在本文所規定的單步、無新增資訊及完美執行的理想化決策設定中，存在一個只根據 $v$ 選出的初始動作，能在所有與 $v$ 相容的狀態下完成安全成功，若且唯若 $\mathcal A_\cap(v)$ 非空。

**證明**：若交集非空，選取交集內任意動作，依集合定義對所有相容狀態均可接受；若交集為空，任何單一動作至少不屬於其中某狀態的可接受集合，故無強健保證。證畢。

這一命題說明：影片資料是否「夠用」不是只看隱藏狀態多不多，而是看**那些無法區分的狀態是否需要不同動作**。它也保留了一個非常重要的反例：若一個保守夾爪動作能在多種重量、材質和姿態下都安全成功，即使沒有辨識全部物理參數，影片仍可足以支援任務。

### 9.1 由共通動作集合走向主動探測

若交集為空，可能的修補方式至少有三類：

- **取得新觀測**：加入深度、力覺、觸覺、電流或其他與隱藏變數相關的感測。
- **引入可控且安全的探測動作**：先在預設安全集合內做微小測試，利用新回饋縮小 $\Theta(v)$。
- **修改任務與機械結構**：使用通用柔順夾具、降低速度、更換搬運方式或控制工作環境，使不同狀態的可接受動作集合開始重疊。

第三類尤其重要。它不是提高模型的「認知」，而是從機械設計與環境工程降低可辨識需求。由此可見，具身智能的架構進步，也可能由本體和任務設計產生，而不是僅有神經模型更新。

### 9.2 不確定性有時可以被消除，有時只能管理

對可安全試探的物理屬性，主動感測有機會顯著降低後驗不確定性。對於不可重複、危險、不可逆的實體操作，則可能無法透過直接試錯收集足夠資訊。這時候可行策略可能是退回人類審核、使用冗餘防護、限定作用域，或乾脆拒絕操作。**拒絕不合格行動是部署能力的一部分，不等於具身智能失敗。**

---

## 10. 命題五：影片預測愈好，不保證現場策略愈好

### 10.1 預測品質及政策品質是兩個優化對象

令生成式世界模型為 $\widehat P$，真實物理轉移為 $P$。一個模型可以在訓練分布內有很高的畫面預測相似度，卻在策略所選的未曾觀察動作附近有嚴重偏差。因而，對評估策略 $\pi$：

$$
J_P(\pi)\neq J_{\widehat P}(\pi)
$$

完全可能發生，其中 $J$ 表示累積任務效用或損失，需在相同方向下定義。上式只指出兩個評估量可以不同，不能據此斷言在每一種情況中其差距一定很大。

### 10.2 動作支持域及分布外策略

令訓練資料中的動作支持域為 $\operatorname{supp}(A_{\mathcal D})$。若評估策略常選擇位於其外部的動作，則從被動影片推得的轉移模型可能缺乏足夠的觀測依據。此時高畫面品質不構成動作結果的有效保證。

2025 年的世界模型政策評估研究發現，模型評估對分布內與分布外策略可能出現不同方向的價值估計偏差；研究亦指出模擬物件互動仍具有挑戰性。[R13] 這支持必須把政策排序、絕對成功率、風險及實際機器人測試分開報告。

### 10.3 生成影片的反事實驗證

若世界模型聲稱某個夾持動作可以穩定移動物件，研究者應在可控場景中變動物體重量、摩擦、抓取速度、夾爪材質及操作軌跡，測試模型是否預測對應的物理結果，而不只是讓生成畫面保持好看。對危險或無法實際測量的情境，應保留「未驗證」，而不是直接用文字描述替代物理實驗。

### 10.4 專用物理模擬也可能不準確

本命題不是將神經影片模型批評完後，就把傳統模擬器當成絕對真理。接觸模型、可變形材料、黏附、磨損、液體及傳感噪聲也會使傳統模擬產生偏差。真正比較應測量不同模型對**同一真實任務**的干預預測能力，並將不確定區域清楚標示。

---

## 11. 命題六：資料回流與閉環校正的價值，不等同於被動觀看次數

在順序決策任務中，策略一旦執行某行動，就會改變下一個觀測狀態。訓練時只觀看成功示範，可能缺乏模型自身犯錯後的狀態資料。這就是模仿學習中的分布偏移與複合錯誤問題；DAgger 等方法已從理論與演算法層次研究如何讓策略學習自身誘發的狀態分布。[R14]

### 11.1 資料回流不是把所有失敗影片都加進資料庫

有效的回流至少需要：當時目標、操作前狀態、實際發出指令、控制器接受與拒絕的指令、感測時間戳記、動作後狀態、成功／失敗規則、安全事件、人工介入及技能版本。否則一支「機器人跌倒了」的影片，雖可告訴模型某種姿態曾經發生，卻未必能辨識是哪個控制環節造成了跌倒。

### 11.2 給定一樣多的訓練成本，資料效益可以不同

把總訓練預算固定為 $K$，比較三種來源：新增一般人類影片 $\mathcal D_H$ 、新增機器人動作配對 $\mathcal D_B$ 、新增針對目前失敗的閉環回流 $\mathcal D_F$。定義實機任務的條件化因果效果：

$$
\Delta_H=Q_R(\pi_{H,K})-Q_R(\pi_{0,K}),
$$

$$
\Delta_B=Q_R(\pi_{B,K})-Q_R(\pi_{0,K}),
$$

$$
\Delta_F=Q_R(\pi_{F,K})-Q_R(\pi_{0,K}).
$$

沒有理論要求 $\Delta_H,\Delta_B,\Delta_F$ 在所有任務下必須有固定排序。初期語義泛化問題可能適合 $\mathcal D_H$，接觸動作錯誤可能較需要 $\mathcal D_B$，長程偏離則可能需要 $\mathcal D_F$。這是一個待實驗回答的配比問題。

### 11.3 真正該問的資料問題

與其只問「我們有幾億段影片」，更應問：在目前系統的主要錯誤類型下，額外取得哪一種資料，能以最低成本降低現場風險、增加安全成功率並提高跨場景的可轉移性？

這也是具身學習不能完全照搬數位媒體預訓練規模邏輯的原因：**數位生成資料的邊際成本可能很低，但與真實物理結果對齊的資訊取得成本仍可能很高。**

---

## 12. 一個完全虛構的反事實算例：先看、再試探，會有多大差別？

以下數值全部是用來驗證公式和研究邏輯的假資料，並非對任何已有機器人或感測器的表現聲稱。假設一個不存在安全損傷、且失敗可簡單重置的桌面模擬搬運任務：兩種外觀相同的物件，各占一半；任務要求在固定方式下選擇兩種互不相容的抓取模式。單靠影片無法判定類型。

### 12.1 方法 A：只憑外觀猜測

若兩類物件等機率且沒有其他線索，最佳影片策略成功機率至多為 $0.5$。假設每次嘗試耗時 10 秒，沒有排隊、重設及其他額外成本，則理論化平均合格產出速率為：

$$
R_A=\frac{0.5}{10}=0.05\quad\mathrm{s}^{-1}.
$$

換算為每小時：

$$
R_A^{h}=3600R_A=180.
$$

此處的 180 是「按假設推算的合格嘗試次數／小時」，不是機器人在真實工廠每小時可完成 180 件工作的實測結果。

### 12.2 方法 B：先安全量測，再選擇抓取模式

假設一個純虛構的探測程序需要額外 3 秒，能以 90% 準確率區分兩類，且判錯只造成任務未完成、沒有其他安全損害或回復成本。在正確分類後控制必然成功的理想化條件下：

$$
P_B(\mathrm{success})=0.9.
$$

故：

$$
R_B=\frac{0.9}{10+3}=\frac{9}{130}\approx0.06923077\quad\mathrm{s}^{-1},
$$

$$
R_B^{h}=3600R_B\approx249.23077.
$$

相對於方法 A：

$$
\frac{R_B-R_A}{R_A}\approx0.38461538.
$$

亦即在這組**完全假設性的參數**下，合格產出速率提高約 38.46%。

| 指標 | A：只看影片 | B：先安全探測 |
|---|---:|---:|
| 隱藏物理狀態的分類成功率 | 50% | 90% |
| 單次總時間 | 10 秒 | 13 秒 |
| 單次合格成功機率 | 0.50 | 0.90 |
| 期望合格結果／小時 | 180.00 | 249.23 |
| 實機數據 | 無 | 無 |

### 12.3 何時 B 反而不划算？

若探測成本為額外時間 $\delta$ 、任務基礎時間為 $t_0$，影片策略成功率 $p_0$，探測後成功率 $p_1$，兩者額外風險與其他成本暫時視為零，則 B 在「成功次數／時間」上優於 A 的條件為：

$$
\frac{p_1}{t_0+\delta}>\frac{p_0}{t_0}.
$$

整理得到：

$$
\delta<t_0\left(\frac{p_1}{p_0}-1\right),\qquad p_0>0.
$$

在本算例中右側為 $10(0.9/0.5-1)=8$ 秒，故 3 秒的探測值得採用；若探測需 9 秒，則其每小時合格產出反而較低。若探測有安全成本，應再加入風險、損耗與失敗回復，不能只看時間。

### 12.4 這個算例不能證明什麼

它沒有證明所有場景都需要觸覺，沒有提供實際感測器的 90% 測量結果，也沒有證明任何真實工廠的機器人能達到上述吞吐率。它僅展示：**新增資訊有成本，因此「先辨識再行動」需由任務成功、時間及風險共同決定是否有利。**

---

## 13. 六項可反駁假說：與反方向結果共同預先登記

### H1｜人類影片能提高語義泛化，但不必同比提高接觸操作成功率

**預測**：在固定機器本體、相同基礎控制資料與總訓練預算下，加入人類影片預訓練可能顯著提升指令理解、程序排序及未知物件的視覺辨識；對需要精確接觸力的任務，實機成功率改善可能較小。

**推翻方式**：在等資源、隨機化及盲測條件下，人類影片預訓練對接觸任務的實機成功率產生穩健且與語義指標同等或更大的改善，並跨本體重複成立。

### H2｜加入可干預的機器人紀錄，在部分任務中比增加等成本被動影片更有效

**預測**：對錯誤主因是接觸參數、控制延遲或技能恢復的任務，增加具動作—回饋的實體資料，可能較增加等成本無動作標記的影片帶來更大實機增益。

**推翻方式**：在主要失效類型與訓練成本匹配的多項實驗中，被動影片的效果持續較大或與控制資料沒有顯著差異。

### H3｜物理外觀等價、行動需求不同的情境，會暴露純視覺策略的辨識界限

**預測**：在刻意控制外觀、卻隱藏質量或摩擦等差異的安全測試中，純視覺且無探測的策略可能難以超過可識別性上限；加入有效的主動感測後可能改善。

**推翻方式**：在排除外洩線索後，純視覺策略仍能穩定正確分類，或某個共通控制動作在所有隱藏狀態下均可完成任務；後一結果表示原先假設的可接受動作集合不互斥。

### H4｜更真實的生成影片，不必然提供更可靠的動作干預預測

**預測**：跨世界模型比較時，視覺逼真度與物理反事實測試、策略排序一致性及真實控制品質的相關可能不穩定。

**推翻方式**：在廣泛任務及多種分布外變化下，生成影片品質可以可靠、校準地單調預測干預結果，且在固定資料和算力條件下成立。

### H5｜表示橋接的好壞具本體依賴性

**預測**：相同人類影片表示，對移動底盤、單臂機械手與雙手靈巧操作機體，可能具有不同轉移效率。任務與機器本體幾何越不相近，不一定表示效果越差，但需更多映射與實證校準。

**推翻方式**：經過多機體、同難度、等資源的對照後，跨本體差異非常小，且不同表示方式沒有可重現的交互作用。

### H6｜針對失效狀態的閉環回流，可在固定模型容量下改善長程自主工作

**預測**：若長程任務主要失效於偏離分布和錯誤恢復，蒐集策略自身誘發的失效與修復紀錄，可能比增加隨機成功示範更有成本效益。[R14]

**推翻方式**：在嚴格匹配資料量、訓練量和任務難度後，針對失效回流未能改善介入率、恢復能力或連續完成率。

### 13.1 零假說與競爭解釋

本篇不能預設每項假說均成立。可能的零假說包括：在人類影片、機器人示範及多模態資料品質足夠時，統一模型可以有效吸收全部來源；觸覺增益對某些工作不顯著；生成世界模型經充分校準後能提供高品質的干預規劃；具身表現差距主要來自硬體或評估選擇，而非影片的資訊缺口。上述都是需要保留的實驗結果空間。

---

## 14. 最小可執行研究設計：從影片預訓練到真實動作的因果辨識

### 14.1 研究單位與固定條件

最小研究單位為「機器本體版本 × 任務族 × 現場環境 × 策略版本 × 觀測窗口」。每個條件需保存模型權重雜湊、傳感器校準、相機版本、關節規格、控制頻率、資料來源、訓練資源、軟硬體版本及執行時間戳記。不得把換了不同夾爪與控制器的改進，全部歸因於新增影片資料。

### 14.2 建議的 2×2×2 消融設計

在所有組別均取得相同**最低限度的真實機器人控制資料**及安全控制基線後，再測三個額外投入因子：

- $H$：是否加入人類影片預訓練，或使用等算力的對照資料處理。
- $D$：是否加入額外、具控制—結果對應的真實機器人示範。
- $M$：是否加入指定的額外接觸模態及其相應融合能力。

每一因子可設為 $0/1$，總計八組。所有組均須能合法安全地完成最低任務；不得因為某組缺少必要控制器而讓比較失去意義。對照時應分別報告等算力、等訓練時間與等經費三種設定，因為它們不一定相容。

同一個研究不必強行把全部八組都部署到危險環境。首先在安全、低能量、可重置的工作台完成，符合預設安全門檻的組別再進入實機測試。

### 14.3 任務族選擇：讓「影片能教什麼」可被測出

**T1：可見幾何任務**。例如固定物件分揀、顏色與外形分類、已知硬質物件抓取，主要需要感知與可重複動作。

**T2：隱藏物理參數任務**。在安全條件下以外觀相近但質量或摩擦不同的物件測試，檢驗主動感測是否有增益。

**T3：遮蔽與接觸任務**。例如柔性物件搬運、手內重新定位與抓取後滑動偵測，測試觸覺、力覺及深度資訊。

**T4：長程程序性任務**。例如將多個物件依序放到指定位置，再經過中途狀態擾動，測試程序理解、狀態記憶、重新規劃與恢復。

**T5：跨本體轉移任務**。使用相似任務目的、但不同末端執行器與關節限制的機器，測試人類影片表示與機器人示範在不同本體上的遷移。

### 14.4 分層隨機化與避免評測洩漏

資料切分應在場景、物件實例、拍攝對象、任務組合及裝置來源上分層，不能只隨機分開連續影片影格。同一個家庭或同一物件的不同鏡頭若分別落入訓練與測試，可能高估泛化能力。機器人測試需隨機化物件順序、執行時段、操作者及任務難度，並記錄無法完成或中止的情況。

### 14.5 主要結果與次要結果分開

主要結果事先選定為：

$$
Y_{\mathrm{primary}}
=P(\mathrm{safe\ task\ completion\ without\ live\ intervention}),
$$

其中任務成功、安全標準、人工即時介入與時間窗必須在測試前寫成驗收協定。此式是一個操作性量，不對「安全」或「自主」給出跨研究無條件的普適定義。

次要結果包括：完成時間、碰撞與超力矩事件、失敗後恢復率、每項合格工作需要的人工時數、跨場景成功率、成功率校準、世界模型干預誤差及總成本。

### 14.6 交互作用：別把多來源耦合效益歸給某一模型

對上文二值因子 $H,D$，在固定 $M$ 條件下，定義因子交互作用：

$$
I_{HD}=
Y(1,1)-Y(1,0)-Y(0,1)+Y(0,0).
$$

若 $I_{HD}>0$，表示兩類資料的組合超過個別效果加總；若小於零，可能表示重複資訊、梯度競爭或整合方式失配。不能單憑正的 $I_{HD}$ 就確定具體的神經機制，仍需分析模態消融、表示相似度與失效模式。若存在不同硬體與執行時間，還須控制這些混雜因素。

### 14.7 由相關轉向因果估計

在有效隨機化、固定任務及無干預外溢等假設下，可以估計平均處理效果：

$$
\mathrm{ATE}_H=
\mathbb E[Y\mid do(H=1)]-
\mathbb E[Y\mid do(H=0)].
$$

此式不是宣稱論文已完成隨機試驗，而是指定未來應報告的可辨識對象。若不能隨機分配，研究應明列可能混雜、採用適當配對及敏感性分析，避免把單一訓練曲線當成因果證據。

### 14.8 統計不確定性與多重比較

需報告機器人、場景與測試日的群聚差異，不應把同一機器連續完成的一百次操作當成一百個獨立機器樣本。建議提供信賴區間、按場景群聚的重抽樣、至少兩個不同物理場景的重複測試，以及所有預先指定的任務失敗記錄。若一次比較數十個模態／權重設定，須控制多重搜尋造成的高估。

### 14.9 安全門檻與中止規則

所有探測與干預都須限制在事先核准的速度、力矩、碰撞風險和作業場域之內。不得為證明某一假說而要求機器人故意危害人或脆弱財物。可用低能量代理物、實驗夾具、受控模擬與停機保護代替高風險測試。對真實危險但未經驗證的情境，結論應記為「未觀測」，而不是預設成功。

---

## 15. 觀測—行動研究的最小資料結構與證據稽核

### 15.1 每筆操作記錄的必要欄位

| 類別 | 最小欄位 | 主要目的 |
|---|---|---|
| 來源與權限 | source_id、license、consent、collection_date | 追溯使用權與合法性 |
| 視覺觀測 | camera_id、intrinsics、extrinsics、frame_time | 多視角對齊與重建 |
| 機器本體 | robot_id、URDF／kinematics_hash、gripper_version | 確認可控制的動作空間 |
| 低階動作 | action_time、command、accepted／rejected、controller_mode | 分開提議動作與實際施行 |
| 物理狀態 | proprioception、contact_flags、force／tactile_if_available | 驗證接觸與可達性 |
| 任務結果 | objective、predefined_success、failure_type | 依事前標準評估 |
| 人工干預 | intervention_start、duration、reason | 測量真實自主性 |
| 模型譜系 | data_hash、checkpoint_hash、training_recipe | 比較模型版本及防止汙染 |
| 合成標記 | synthetic／real／edited、simulator_version | 禁止生成資料冒充實驗 |
| 資源成本 | gpu_seconds、energy、operator_minutes、damage_cost | 計算可用性及經濟性 |

不是所有公開影片都具備上述欄位；這張表是**用於具身行動驗證的建議資料規格**，不代表所有影片都應被禁止使用。缺少欄位時應在資料卡註明可用範圍，並避免超出證據範圍的結論。

### 15.2 失效標記應具可複核定義

建議至少區分：F1 影片理解錯誤、F2 隱變量不可識別、F3 幾何映射誤差、F4 接觸／力控錯誤、F5 觀測與控制不同步、F6 世界模型反事實失真、F7 超出可行動集合、F8 安全控制中止、F9 長程狀態漂移、F10 人工介入、F11 設備磨損或能源不足。允許同一事件同時具有多個標記；標記者不應在看見改進方案名稱後才改變分類規則。

### 15.3 影片訓練的授權、隱私與資料責任

大量網路動漫、真人短片、平台生成影片及使用者上傳內容，不能僅因「技術上可下載」便視為可任意再訓練的資料。必須檢視平台條款、著作權授權、肖像及個資處理、未成年人保護和資料集的再分發條件。對個資與敏感場所影像，還需處理去識別、用途限制與刪除請求等治理問題。研究應把這些條件列入有效資料成本，而非視為法規之外的附帶話題。

### 15.4 世界模型資料、機器人資料和娛樂影片的任務分流

即使三者都使用同一影片編碼器，也不代表必須被標成相同學習任務。娛樂影片可用於場景、角色動作及敘事先驗；機器人資料用於動作對齊與控制；世界模型模擬資料用於受控干預。若共享底層表示，應保留不同資料來源的損失權重、采樣比例和出處，使錯誤可追查。

---

## 16. 成本模型：最值得擴充的不一定是最大影片庫

### 16.1 以合格物理工作衡量資料—架構投資

令一個資料與訓練方案的完整開銷為：

$$
C_{\mathrm{total}}=C_{\mathrm{rights}}+C_{\mathrm{collect}}+C_{\mathrm{label}}+
C_{\mathrm{train}}+C_{\mathrm{calibrate}}+C_{\mathrm{robot}}+
C_{\mathrm{test}}+C_{\mathrm{recover}}.
$$

其中 $C_{\mathrm{recover}}$ 可以包含錯誤恢復、人力干預及相關維護支出。各項只能在一致的成本期間與單位下相加；長期資本支出是否攤銷，應在比較前固定會計口徑。

再令合格實體產出量為 $Q_{\mathrm{qualified}}$，則在分母正值時：

$$
UC=\frac{C_{\mathrm{total}}}{Q_{\mathrm{qualified}}}.
$$

 $UC$ 是單位合格工作成本，不是模型一秒推理的價格。這一形式承接 DPIED-03 的「有效自主工作量」，但本篇不重複估算產業總量，而是研究影片資料及感測配置如何改變 $UC$。

### 16.2 影像預訓練成本與現場資料成本的替代邊界

更多通用影片可能以很低的邊際取得成本改善先驗，但不能保證取代高成本的機器人接觸校準。在另一個方向，少量高品質、具有物理干預的真實資料，可能降低對大量特殊場景示範的需求。何時替代、何時互補，需以任務及固定資源下的消融實驗判定，而不是使用「影片無用」或「影片越多越好」的先驗口號。

### 16.3 計算效率的雙重目標

數位 AI 大量生成候選影片可以在雲端提高並行度；物理實驗卻有機械時間、能源、風險與維修下限。因此，最合理的訓練分配可能是：對可用模擬和被動觀察快速驗證的假設，先以高並行數位方式篩選；對行動結果、接觸及安全沒有足夠辨識力的假設，再使用有限且受控的實體試驗。

這一策略不承諾實體資料一定很少就夠，而是將**需要真實世界回答的問題**優先集中在真實世界。

### 16.4 效率改善與能力突破是兩種不同結果

若某新架構降低 GPU 成本 80%，但同一實機工作成功率沒有增加，則它是計算成本突破，不可直接稱為物理行動能力突破。若另一方案在算力相同下提高陌生環境任務成功率，則可能是有效表徵或整合改善。兩者都重要，但應分開記錄。

---

## 17. 與前置研究及後續架構的理論連接

### 17.1 對 DPIED-01：提供一個可測量的解耦機制

數位影片理解與生成可以在沒有實體機器人參與時高速進步，但對目標任務真正必要的隱藏變數、控制映射及可用動作集合，不一定被相同比例識別。這形成數位模型能力和實機任務能力可能不同步的機制之一，但不意味著所有任務都會長期解耦。

### 17.2 對 DPIED-02：把轉化損失的第一段明確化

DPIED-02 的七種轉化損失中，感測—狀態錯位、可供性和接觸控制尤其受資料表示影響。本篇將其分解為「觀測等價類」「行動集合交集」「被動／干預分布」與「模態決策價值」，為失效歸因提供比「模型沒有理解物理」更精細的語言。

### 17.3 對 DPIED-03：為實證展示訂定內容要求

一段機器人操作示範可以是真實且優秀的技術成果，但若缺少控制輸入、場景範圍、動作執行資訊、失敗統計與重複試驗，外部研究者無法由視覺效果單獨識別其長程自主性。影片仍可作為證據，但必須清楚標示它在證據階梯中的位置。

### 17.4 對 DPIED-05：提出架構整合真正需要交換的量

未來的具身架構不能只交換文字 Token、視覺特徵與高階意圖；在需要的任務中還要交換有時間戳記的狀態估計、動作可供性、接觸回饋、低階控制可接受區間、機械故障及安全拒絕訊號。多模型或單模型實作都可以，但這些語義—物理接口不能靠命名自然成立。

### 17.5 對 DPIED-06：定義模擬轉真實的驗證標準

當數位孿生和生成世界模型提供大量干預樣本時，真正問題不是其外觀是否接近世界，而是其對待測策略、物理條件及執行風險的**決策相關誤差**有多大。DPIED-06 將研究在何種誤差界線和校準條件下，可以安全將模擬策略帶入真實場域。

### 17.6 與非人類中心具身理論的相容性

本篇分析不要求機器本體是人形。無人機的風場、輪式車的摩擦、自動倉儲的貨物接觸、產線設備的機械狀態，以及分散式感測—致動網路的時間同步，都可以作為觀測不可識別性與干預學習的研究對象。對不同本體，重要的隱藏變量及可用行動集合也會不同。

---

## 18. 反例、研究邊界與可能修正

### 18.1 被動影片在某些任務可能已經足夠

對幾何完全可見、物件性質固定且控制已被高度工程化的任務，影片可提供足夠的目標軌跡或工作流程；沒有理由要求所有系統先建構精細的物理世界模型。本文若被解讀為「所有機器人都必須先建立完整物理模型才會成功」，即屬誤讀。

### 18.2 影片資料可能直接改善實機操作

LAPA 及其他人類影片學習研究的正向結果，不是本篇的反證威脅，而是本篇必須容納的事實。若部分動作類別可以由影片有效表示，且機體可藉少量原生資料完成對齊，則實體資料需求可能下降。本篇真正關注的是何時、為什麼，以及在什麼情況下這個轉換不成立。

### 18.3 高保真世界模型可能縮小甚至消除部分缺口

如果未來世界模型在多任務、多材料、分布外干預和動作條件下都經實機校準，某些原先昂貴的物理試驗可以轉為大量可靠模擬。本文不把當代局部的模型誤差提升為永久存在的理論上限。

### 18.4 同一影片可能隱含足夠的物理線索

某些質量、摩擦和接觸條件雖不直接標記，但經多角度、足夠長時間、足夠不同自然干預的影片，確實可能被統計推估。前述不可識別命題只適用於指定的觀測等價條件，不排斥更高資訊量的影片序列降低歧義。

### 18.5 模型性能退化不一定是資料缺口造成

若機器動作失敗，可能是通訊延遲、關節磨損、伺服驅動器故障或任務設計錯誤。即使模型使用了完整觸覺與動作資料，這些因素仍可能存在。實證歸因必須把硬體、控制、資料與模型分開比較。

### 18.6 不能假定物理真值永遠能被測量

某些材料參數、接觸事件和社會環境狀態難以取得可靠真值。研究者應報告代理測量的不確定性，保留未決項目，不應把任何感測器讀數當作無誤差的世界本體。

### 18.7 不能把新增資料訓練等同於線上永久改權重

已部署機器人收集到資料，通常仍需依照既定學習流程、模型審核、再訓練或參數更新機制才能改變模型能力。將 API、記憶檢索或影片輸入串在一起，不意味每次輸入都產生可持續的梯度更新。需要區分推論期適應、外部記憶更新及真正的參數訓練。

---

## 19. 驗證狀態、可反駁判準與結論

### 19.1 本篇哪些內容已完成

- 已提出明確的觀測—行動資訊缺口定義，區分影片外觀、軌跡、接觸、干預與執行。
- 已建立狀態觀測、跨本體動作映射和具身信念更新的形式化框架。
- 已給出兩項條件性命題的簡短證明：觀測等價且動作不相容時，單純被動影片無法保證成功；共同可接受動作集合非空是單步強健決策的充要條件。
- 已建立模態決策價值、世界模型誤差及閉環資料效益的可檢驗框架。
- 已提出六項可反駁假說、八組消融對照及具資料來源稽核的最小實驗協定。
- 已為數值例子提供明確假設，完成手算與程式算術驗證的規格。
- 已透過具體可追溯來源核對文獻中的進展與限制。

### 19.2 尚未完成，也不得假稱已完成

未曾對任何實際機器人執行本篇設計的八組消融實驗；未對影片預訓練或新模態取得本研究自己的成功率提升數據；未驗證特定公司模型的真實物理動作可靠性；未提出任何年份的可靠通用具身 AI 普及預測。本篇屬形式化理論與可執行實證設計，非已完成原創實驗報告。

### 19.3 核心判定原則

本篇不以「影片資料不夠」作為對所有機器人問題的萬用答案。真正需要判斷的是：**對某個實際任務，影片觀測留下哪些與安全行動相關的不可識別變量？目前控制器是否有共通可行的動作？如果沒有，哪種新增量測、主動探測、物理工程或訓練資料能以可接受成本補上這段資訊？**

當上述問題有可檢驗答案，影片生成與具身行動之間的距離才變成可逐段改善的工程問題，而不是以未來更大模型一定會解決，或現有模型永遠無法解決的二元敘事。

### 19.4 終端命題

**看見世界，能讓智能形成關於世界的假說；能在世界中安全行動，則要求假說在適當的身體、時序、控制和反饋條件下承受現實檢驗。**

**AI 不必先知道物理世界的一切才能行動；但當它不知道的部分恰好決定行動是否安全時，真正的智能不是把缺口藏進更逼真的畫面，而是知道何時必須測量、試探、修正或停止。**

---

## 參考資料：已核對的公開來源

> 本節依研究主題選取研究論文、會議檔案與原始資料集網站。文獻結果只用於支持其原文實際涵蓋的範圍；引用不構成對本篇原創假說的實證確認。所有 URL 為原稿參考來源，非預告將來才要補上的資料。

- **[R1]** Ego4D Consortium. *Ego4D Dataset and Benchmark Suite*. 官方資料文件與資料取得說明。https://ego4d-data.org/docs/
- **[R2]** Ego-Exo4D Consortium. *Ego-Exo4D: Multimodal Egocentric and Exocentric Video Dataset*. 官方資料與同步視角／3D 標註說明。https://docs.ego-exo4d-data.org/overview/
- **[R3]** Open X-Embodiment Collaboration. *Open X-Embodiment: Robotic Learning Datasets and RT-X Models*. ICRA 2024；官方研究網站。https://robotics-transformer-x.github.io/
- **[R4]** DROID Collaboration. *DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset*. 研究資料集網站及更新。https://droid-dataset.github.io/
- **[R5]** Feng, Z., et al. (2026). *From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data*. IJCAI 2026，Survey Track，頁 7845–7854。https://ijcai.org/proceedings/2026/871
- **[R6]** Ye, S., et al. (2025). *Latent Action Pretraining from Videos*. ICLR 2025。https://proceedings.iclr.cc/paper_files/paper/2025/hash/45d74e190008c7bff2845ffc8e3facd3-Abstract-Conference.html
- **[R7]** Garrido, Q., et al. (2026). *Learning Latent Action World Models in the Wild*. ICML 2026，PMLR 306。https://proceedings.mlr.press/v306/garrido26a.html
- **[R8]** Huang, B., et al. (2025). *3D-ViTac: Learning Fine-Grained Manipulation with Visuo-Tactile Sensing*. Conference on Robot Learning，PMLR 270。https://proceedings.mlr.press/v270/huang25e.html
- **[R9]** Suresh, S., et al. (2024). *NeuralFeels with neural fields: Visuotactile perception for in-hand manipulation*. *Science Robotics* 9(96)，eadl0628。https://pubmed.ncbi.nlm.nih.gov/39536124/
- **[R10]** Bansal, H., et al. (2025). *VideoPhy: Evaluating Physical Commonsense for Video Generation*. ICLR 2025。https://proceedings.iclr.cc/paper_files/paper/2025/hash/fce2d8a485746f76aac7b5650db2679d-Abstract-Conference.html
- **[R11]** Li, D., et al. (2025). *WorldModelBench: Judging Video Generation Models As World Models*. NeurIPS 2025，Datasets and Benchmarks Track。https://proceedings.neurips.cc/paper_files/paper/2025/hash/4ec03ed08a3fcb59e1c815b5598beff1-Abstract-Datasets_and_Benchmarks_Track.html
- **[R12]** Gu, J., et al. (2026). *PhyWorldBench: A Comprehensive Evaluation of Physical Realism in Text-to-Video Models*. ICLR 2026。https://research.nvidia.com/labs/cosmos-lab/phyworldbench/
- **[R13]** Quevedo, J., Liang, P., & Yang, S. (2025). *Evaluating Robot Policies in a World Model*. arXiv:2506.00613；用於說明模型式政策評估的分布偏差與限制。https://arxiv.org/abs/2506.00613
- **[R14]** Ross, S., Gordon, G., & Bagnell, D. (2011). *A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning*. AISTATS，PMLR 15，頁 627–635。https://proceedings.mlr.press/v15/ross11a.html
- **[R15]** Physical Intelligence (2025). *π0.5: A VLA with Open-World Generalization*. 研究團隊原始說明，與混合資料及跨家庭操作有關。https://www.pi.website/blog/pi05
- **[R16]** Chi, C., et al. *Diffusion Policy: Visuomotor Policy Learning via Action Diffusion*. 研究計畫與論文入口，關於以視覺條件動作策略直接學習控制。https://diffusion-policy.cs.columbia.edu/

### 與本系列及 EveMissLab 前置研究的關係

- DPIED-01｜《同一個 AI 年代，兩條不同的能力曲線》，v1.0，2026-11-04。
- DPIED-02｜《模型知道，不等於機器能做到》，v1.0，2026-11-04。
- DPIED-03｜《展示繁榮與有效自主工作的落差》，v1.0，2026-11-04。
- 《具身 AI 的本地算力困境與分層學習閉環》，v0.1，2026-06-30。
- WIIW-05｜《當智能進入物理世界：具身 AI 與文明作用拓樸》，v0.1，2026-09-02。
- APET-06｜《具身的是什麼？從人形機器人到分散式世界身體》，v0.1，2026-09-23。
- LWCT-02｜《不均衡豐裕：生產力成長、必要生活域與瓶頸稀缺》，v0.1，2026-10-07。

前置研究提供不同研究維度，不能因名稱相似就視為已在本篇重做新的實驗。本文與前篇符號若有不同，應以本文的明確定義為準；跨篇合併模型前須另建符號對照表。

---

## 附錄 A｜最小機器人觀測—行動資料卡範本

```yaml
dataset_id: REQUIRED
source_type: human_video | robot_demo | robot_feedback | simulation | generated_video
rights_status: REQUIRED
consent_and_privacy_status: REQUIRED
embodiment_id: REQUIRED_IF_ROBOT
kinematics_version: OPTIONAL_IF_ROBOT
sensor_modalities: []
calibration_provenance: OPTIONAL
control_commands_present: false
action_time_aligned: false
contact_state_present: false
human_interventions_recorded: false
synthetic_provenance: NONE_IF_REAL
task_family: REQUIRED
scene_split_id: REQUIRED
evaluation_protocol_hash: REQUIRED
known_missing_fields: []
```

此範本只是欄位示意，並非現有資料集的 Schema 或實際可下載軟體。實際研究可改採 JSON、Parquet、RLDS 或其他適當格式，但應保留可追溯來源、缺失欄位與控制時間對齊資訊。

---

## 附錄 B｜形式化模型的前提、單位與邊界

1. **命題一的前提**：觀測分布在兩個隱藏狀態完全相同、初始成功安全動作集合互斥、策略沒有額外測量，而且狀態先驗為二分之一時，成功率上界才是二分之一；其他先驗、允許多步探測或控制器有其他資訊時，應另行計算。
2. **命題四的前提**：採用單步理想化決策，定義的可接受動作集合包含既定安全和任務條件；多步回饋策略不適用同樣的簡單交集判定。
3. **命題三的前提**：新增模態可被策略選擇忽略且無成本時，理想最優損失不能因資訊增加而上升。實務系統有限算力、延遲和訓練誤差會使這個理想性質不直接轉成實測單調改進。
4. **機率與控制指標**：所有成功率須有相同任務集合、抽樣法、時間窗和明確成功定義；不同基準原始百分比不可直接相減。
5. **成本指標**：成本項目須使用同一貨幣及時間口徑；沒有合格產出時不得計算有限的單位合格工作成本。
6. **虛構算例**：所有時間、機率及吞吐量僅為本篇構造數值，不能用於預測特定公司、機器或產業。
7. **本篇不是通用機器人部署認證**：安全合法性與現場控制資格需要獨立審核，理論推演不構成操作許可。
8. **本篇不主張必然需要新神經架構**：更佳整合、模態對齊、主動感測、已有模型訓練或工程環境改造皆可能提供進步。

---

## 附錄 C｜以三種問題識別研究是否跨越原稿論證邊界

**研究者問：影片能否教會 AI 某項技能？** 應明定技能是視覺辨識、動作提案、模擬控制、實機操作，還是長程無介入工作；這些不是同一個結果變數。

**研究者問：再加十倍影片是否足夠？** 應先證明目前缺口主要來自資料覆蓋，而不是隱藏接觸參數、動作接口、感測不同步或硬體不可達；否則擴充資料規模只是未驗證的改善提案。

**研究者問：新架構是否已經使數位和實體演化重新耦合？** 應以同域固定任務籃的長期進步量、可行動技能轉移效率和現場可靠完成率檢驗；模型展示或影片品質只能提供部分證據。

---

**DPIED-04 完。**