DPIED-06|從虛擬訓練到真實世界的遷移邊界
世界模型、數位孿生、跨本體可供性與條件性部署保證
Transfer Boundaries from Virtual Training to the Physical World: World Models, Digital Twins, Cross-Embodiment Affordances, and Conditional Deployment Guarantees
系列:數位—實體智能演化解耦論(Digital–Physical Intelligence Evolutionary Decoupling, DPIED)
篇次:DPIED-06/09;第二階段「架構與學習」第三篇
作者:Neo.K
研究機構:EveMissLab/一言諾科技有限公司(EVEMISS TECHNOLOGY CO., LTD.)
AI 協作整理:GPT-6
版本:v1.0
日期:2026-11-05
文件類型:理論研究、條件性形式化命題、反例、可反駁假說與實驗協定
前置:DPIED-01、DPIED-02、DPIED-03、DPIED-04、DPIED-05;《具身 AI 的本地算力困境與分層學習閉環》、WIIW-05、APET-06、LWCT-02
文獻查核界線:截至 2026-11-05 可核實之公開論文、研究機構頁面與技術文件
證據狀態:本文提出的條件性界限與反例已進行推導和內部一致性檢查;算例全部為虛構;未執行新實體機器人試驗,也不宣稱完成安全認證
Canonical source:本 UTF-8 Markdown 原始檔;數學僅使用 $...$、$$...$$,不以對話畫面、圖片或轉碼後字元作正式原稿
定位:研究如何辨識遷移成功的條件,而非預設「模擬永遠不足」或「高保真模擬終將自動取代實機驗證」
摘要
隨著機器人模擬平台、生成式世界模型、視覺—語言—動作模型與跨本體資料集共同擴張,具身 AI 能在數位環境中執行大量平行訓練、資料生成、行動測試與環境重設。但模擬中成功的策略,並不必然能在實機上安全重現:外觀逼真的場景可能具有錯誤的摩擦或接觸力;控制輸入相同的兩套機器,可能因致動器、延遲、感測器和末端執行器不同而產生完全不同的動作;生成式世界模型即使能預測相似影片,也未必能可靠評估策略改動後的反事實後果。另一方面,先前研究已證實多種模擬至實體遷移能在特定任務成功,因此「現實差距」不能被理解為永遠無法跨越的壁壘。
本文承接 DPIED-04 的觀測—行動資訊缺口,以及 DPIED-05 的跨時間尺度因果契約,提出任務條件性遷移邊界(Task-Conditioned Transfer Boundary, TCTB)框架。其基本主張是:遷移可行性不是模擬畫質、模型參數量或資料總量的單變量函數,而是受到任務分布、動態差異、觀測差異、行動可供性、跨本體映射、運行時期限、安全限制與真實回饋校正共同限制。本文區分四種容易混同的目標:模擬訓練是否有效、模擬評測是否能預測實機模型排序、模擬策略是否能在指定硬體直接部署,以及同一技能是否能跨不同機體轉移。四者沒有無條件的邏輯蘊含關係。
在形式化層面,本文以策略誘導的完整軌跡分布定義實際遷移落差,提出七項條件性命題:有界任務損失的分布差異界;多步閉環轉移的逐步誤差累積界;訓練支持域外的無條件保證不可能;外觀擬真度不必然單調改善策略轉移;評測排序一致不等於絕對成功率校準;跨本體行動可供性是轉移必要條件;以及校準/隨機化效果具有明確的假設邊界。這些命題分別由基本機率不等式、耦合論證或構造性反例支持,並沒有將工程猜想冒充普遍定理。
本文設計世界模型與物理模擬器的雙路評估、四類任務族、多本體交叉消融、未見環境的實機對照、來源與版本契約、長程可靠工作量及單位有效產出成本指標,並提出八項可反駁假說。外部參照包括 2026 年《Annual Review of Control, Robotics, and Autonomous Systems》的現實差距綜述、NVIDIA Isaac Lab、ManiSkill3、RoboCasa365、SIMPLER、Open X-Embodiment、CrossFormer、RMA、 、2026 年跨末端執行器介面研究及生成式世界模型的有限實證。本文終端結論不是「虛擬世界不真實」,而是:對某一實體任務而言,真正可轉移的是在其行動與安全結果上仍保持足夠不變的關係;逼真畫面、豐富模擬與高性能模型,只是取得這種不變性的可能途徑,而非保證。
關鍵詞:Sim-to-Real;具身 AI;世界模型;數位孿生;現實差距;域隨機化;系統辨識;策略轉移;跨本體學習;行動可供性;分布偏移;閉環可靠性;安全部署;任務條件性不變性
0. 本篇的研究位置:不是再次宣告模擬與現實不同
0.1 前五篇留下的問題
DPIED-01 指出,數位智能與物理自主能力的演化時間線可能解耦,但必須使用可比較的任務證據,而不能將數位模型分數與機器人展示直接相減。DPIED-02 指出,模型知識到物理作用之間存在感測、可供性、控制、維護與安全等多重轉換環節。DPIED-03 將出貨、展示和有效自主工作分開;DPIED-04 論證在某些隱藏物理狀態下,觀看影片本身不足以選出共同安全行動。DPIED-05 則提出跨時間尺度因果契約架構(MTCCA),將狀態新鮮度、截止期限、技能相容性、版本和部署權限視為整合條件。
本篇所追問的是:當上述能力已經可以在數位環境中反覆訓練與驗證,究竟在哪一步失去了轉移到實體世界的充分性?
模擬並不是對應於「假的世界」;它通常是一個具有明確動力學、感測與控制規則的可執行世界。虛擬訓練真正要交給實機的,不是視覺畫面,而是一套在指定狀態、任務與硬體限制下依然有用的決策規則。若任務只依賴穩定幾何,精簡模擬可能足夠;若任務高度依賴摩擦、柔軟材料或接觸力,幾何精細卻動力學失真的模型反而可能誤導策略。
0.2 本篇的新貢獻
本篇新增五個可獨立檢驗的研究對象:
- 遷移標的:清楚區分把模型、表示、技能、控制策略或整個運行系統移到真實世界的不同問題。
- 任務相關差異:建立「世界模型是否在重要干預下忠實」而不只是「影像是否逼真」的判準。
- 條件性數學界限:在明示界限與假設下分析遷移落差;在假設不成立時提供不可保證反例。
- 跨本體可供性:將「某機器能不能執行同一任務」與「某模型能不能表示同一技能」分開。
- 可審計轉移程序:指定資料、隨機化、校準、實機試驗、統計與安全中止的紀錄需求。
本文不假裝已建立能預測所有機器人之遷移成敗的統一公式。TCTB 是一個研究用框架和候選指標族,不是已實測有效的工業標準。
0.3 核心問題集合
- 同一個策略在模擬及實機的「成功率差」是否有清楚的任務與場景定義?
- 模擬是否只保留好看的影像,或保留真正與操作結果相關的動態與接觸?
- 模擬內表現最好的模型,是否在實機上也是最佳模型?
- 更大的域隨機化會帶來更好的泛化,還是讓可學習性與名目性能下降?
- 如果機械臂換成輪式平台、不同夾爪或完全不同的本體,何者可轉移、何者不可?
- 實機成功之後,是否仍需要確認延遲、安全、能源、維修與重試成本?
1. 現有研究已經跨越部分界線,尚未跨越所有界線
1.1 真正成功的 Sim-to-Real 案例不應被否認
Tobin 等人在 2017 年提出以域隨機化減輕視覺上的 reality gap,說明不必精確復刻每一種外觀,也可能把模擬訓練學到的視覺能力轉用到真實抓取。[R2] 2021 年的 RMA 研究則展示,在模擬中訓練的四足機器人策略與適應模組,可以面對不同地面條件。[R3] Rudin 等人的大量平行訓練研究,也讓模擬學習能在有限時間中生成可遷移的步行策略。[R4]
因此,模擬至現實不是一條從未成功的路線。比較準確的問題是:成功依賴哪些結構、任務、分布與部署條件?是否可以遷移到別的任務、機器和場景?
1.2 模擬平台的價值與誤讀
NVIDIA Isaac Lab 支援大規模 GPU 物理模擬、多感測器、致動器模型和域隨機化;ManiSkill3 將高平行度運算延伸至含接觸的操作任務;RoboCasa365 將大規模日常場景、任務和示範組合進訓練/評測框架。[R5][R6][R7] 這些工程成果大幅降低部分虛擬資料生成、策略測試與比較的邊際成本。
然而,大量模擬 episode 不是大量真實完成的 episode。在模擬器中跑一百萬次並不意味著對真實工廠的任何指定任務有一百萬次可引用的安全成功證據。模擬需要真實校準、不同場景資料支持,且模型訓練品質不能只由計算速度推斷。
1.3 評測代理不等於部署保證
SIMPLER 利用與現實配對的機器人任務,使模擬評測與實機表現呈現相當程度的相關性;這顯示模擬可成為有用的模型比較代理。[R8] 2026 年 Runway 的生成式世界模型研究亦宣稱,在特定機械臂、任務與八個策略的樣本內,模擬評估分數與真實評估高度相關;這是團隊自己的初步實驗,不能直接推廣為通用部署保證。[R13]
即使模擬對策略排序十分可靠,也仍可能系統性高估所有策略的絕對成功率。在高風險控制中,「能幫助選哪個模型」與「足以讓模型上線」是兩個不同研究結論。
1.4 跨本體資料與共同策略已經存在
Open X-Embodiment 提供跨機器人資料整合與 RT-X 模型;CrossFormer 展示以單一權重涵蓋多種機器人型態的可行性; 則結合異質資料與任務訓練,在新場景執行較長程的操作。[R9][R10][R11] 2026 年的 Cross-Embodiment Interface(CEI)進一步研究不同機械臂與末端執行器間的示範遷移。[R12]
這些成果使「跨本體遷移不可能」成為錯誤命題。然而,若目標機體缺乏某個任務在特定限制下所必需的接觸、自由度或負載能力,共同表示本身仍不能創造不存在的物理可供性。
1.5 2026 年綜述的共識性問題
Aljalbout 等人在 2026 年《Annual Review of Control, Robotics, and Autonomous Systems》整理現實差距的來源、改善方法與評測指標,指出物理動態、感測、操控、模擬抽象與現場效能之間的落差持續存在。[R1] NVIDIA 的公開教學也強調:域隨機化和系統辨識可以幫助遷移,但是否成功仍須在目標硬體上評估。[R14]
因此,本篇既不能否定現有研究,也不能把局部成功外推為所有任務普遍成功。
2. 四種不同的「遷移」:先避免研究標的混淆
定義來源域 、真實目標域 、任務 、機體 、策略 。本文至少區分四類轉移。
| 轉移類型 | 從哪裡到哪裡 | 正確評估問題 | 不可直接推論的事 |
|---|---|---|---|
| 表示遷移 | 模擬/影片表徵到實體感測 | 特徵是否保持任務區辨能力? | 特徵好不等於動作安全 |
| 策略遷移 | 模擬訓練的控制策略到實機 | 指定任務的實機完成率與風險如何? | 模擬高分不保證實機高分 |
| 評測遷移 | 模擬分數代理真實分數 | 排序、校準與失敗型態能否預測? | 高相關不等於個別任務通過 |
| 跨本體遷移 | 來源機器人技能到目標機器人 | 語義、幾何、接觸、力學及控制限制是否相容? | 共用權重不等於共用行動能力 |
這四類可能相互促進,但並非同義。用模擬預訓練成功的影像編碼器,可能尚未學會實機抓取;一個高品質評測代理可能適合選模型,卻不適合作安全控制;具跨本體表徵的模型,仍可能需要新機體的執行適配器。
本文特別不將「虛擬訓練」限制為傳統物理引擎。來源可包括:可調動力學模擬、真實場景重建、數位孿生、可執行遊戲世界、可按動作生成的世界模型,以及混合式模擬/真實資料。不同來源能提供的因果資訊不同。
3. 表示框架:真實世界與虛擬世界都是閉環動態系統
3.1 狀態、動作與歷史
令 為物理世界在時刻 的任務相關狀態, 為機體觀測, 為下發動作, 為機體及其感測—致動能力, 為摩擦、質量、致動器、延遲等環境或裝置參數。定義真實世界的狀態轉移核及觀測核:
來源模擬的對應核為:
這些符號不假設模擬與實際採用相同內部狀態空間。若狀態不可直接對齊,則須先指定任務相關的對齊映射 ,以免在不同語義的向量之間直接計算距離。
控制策略使用可取得的歷史,而不是理想化、完整的真實狀態:
DPIED-05 的時序契約應附著在 每筆訊息上,包括感測時間戳、接收時間戳、權限、版本與不確定性。否則一個表面上相同的觀測向量,可能代表不同的真實狀態。
3.2 任務分布比單一場景更重要
研究時先指定任務族 、部署場景分布 、初始狀態分布及目標運行期間 。記策略執行時產生的完整軌跡為:
來源與目標各有策略誘導軌跡分布:
策略評價不應只看某一張圖片或某次走位,而應對完整軌跡的任務損失、碰撞風險、超時和介入有明確規則。令 為界限化損失,則:
若 是失敗指示函數, 是失敗機率。若 是經歸一化的加權損失,則必須說明不同風險之間的權重依據;在高風險部署中,不能只用加權平均掩蓋危險事件。
3.3 遷移落差的操作性定義
對固定任務、機體、策略、期限與版本,可定義有號損失落差:
表示實機損失高於模擬; 則可能是模擬比現場更難、估計偏差或資料差異。不可預設落差必然為正。
若 且 是失敗機率,則成功率損失對應:
注意:不同任務分布、不同安全定義、不同人工介入規則下直接相減,並不形成一個可解釋的 。
3.4 TCTB 不是單一神奇常數
本文以條件集合表示一次遷移研究的完整適用域:
其中 為感測、時間與算力契約, 為安全限制, 為版本與資料來源條件。TCTB 是在這組條件下可支持的遷移主張及其誤差/風險界限,而不是所有機器人共用的一個成熟度分數。
4. 現實差距的七個界面
4.1 幾何與視覺界面
場景中的形狀、視角、遮擋、照明、材質、鏡頭畸變及深度估計都可能失真。若任務主要是識別貨架位置,這類差異可能是主要瓶頸;但若任務是推開卡住的抽屜,畫面像不像真實世界可能遠不及接觸模型重要。
4.2 動力學與材料界面
摩擦、慣量、接觸、回彈、形變、柔順性、黏附、流體、物體內部質量分布與結構限制,會改變同一個動作後的實際狀態。尤其是接觸豐富、非剛體及精細操作,模型可能對少量參數錯誤高度敏感。[R1][R14]
4.3 感測與測量界面
虛擬狀態的真值往往可直接讀取;實體機器人只能讀取有限且可能含雜訊的感測器。若策略在訓練時依賴模擬特權資訊(如精確物體質量、真實接觸點),卻在部署時無法取得,其看似優秀的表現可能沒有可轉移性。
4.4 致動與控制界面
模擬的 可能被假設即時且完美執行;實體裝置的指令則受限於馬達、液壓、電池、傳輸協定、控制頻率、死區、飽和及溫度。任務語義相同不代表相同動作向量在不同硬體上有相同意義。
4.5 時間與運行負載界面
生成式模型或多模態規劃器在數位環境可能暫停世界等待結果,但物理環境會在推論期間持續變化。策略除了正確,還要在動作失效之前輸出。這個界面直接承接 DPIED-05 的期限、陳舊度與版本契約。
4.6 任務分布與未知場景界面
模擬場景如果過度同質,可能缺乏角落案例、異常物件、場域規章及人類行為變化。已見場景的高分,不能代替未見工廠、家庭或不同操作人員下的表現。
4.7 跨本體行動可供性界面
「可表示同一個意圖」不等於「可執行同一個動作」。同一任務對雙臂、單臂、不同夾爪、輪式底盤、四足載體或固定機械臂,其可行動作集合可能不同。本篇將此視為獨立於影像/語義泛化的限制。
以上七個界面可以互相耦合。單純把每個誤差相加,若沒有可分性假設或統一量綱,並不是有效的物理定理。後文採取完整軌跡分布與條件性界限,避免把概念分類冒充已校準的公式。
5. 命題 P1:有界任務損失受完整軌跡分布差異限制
5.1 命題陳述
命題 P1(完整軌跡總變差界):假設模擬與真實軌跡已映射到相同可測量空間、策略 與任務損失 的定義相同,且 。則:
其中總變差距離定義為:
此處省略 只為降低記號負擔,並未取消上述條件。
5.2 論證
對任何介於零與一之間的可測量函數 ,可用層積表示 ,因此:
命題得證。
5.3 這個界限真正說了什麼
若在指定策略下,模擬與實機完整軌跡分布非常接近,任何同樣界限化的任務損失差異也受限制。但這是一個條件性充分上界;它不宣稱總變差容易估計,也不宣稱只要追求全域分布逼真就最有效率。高維完整軌跡分布可能幾乎不可直接估計,而且通常不必讓與任務無關的背景完全匹配。
因此,P1 主要是一個辨識研究主張適用範圍的理論結果。實務更需要尋找可測量、可支持的任務相關差異代理,但代理必須另行驗證,不能直接冒充 。
6. 命題 P2:閉環誤差會隨時間累積,但不能無條件假定指數惡化
6.1 由一步差異到整條軌跡
假定來源與目標初始觀測—狀態歷史分布的總變差為 ;對同一個既有歷史 、同一個策略 ,下一步聯合感測/狀態歷史更新核的總變差差異有界:
此處 已包含同一策略根據觀測輸出動作的條件隨機性,故不應在步進誤差外再把同一個動作分布差異重算一次。
命題 P2(逐步耦合聯集界):在兩個過程的狀態及歷史可以共同配對、且上述上界成立的條件下,有:
結合 P1:
6.2 論證
先將兩個初始分布作最大耦合,令它們以至少 的機率相同。只要兩條歷史尚相同,在第 步對兩個條件轉移核作最大耦合,使該步發生不同結果的機率至多 。由聯集界,任一時點首次分離的總機率不大於 ;而總變差不大於任一耦合下兩條完整軌跡不相同的機率。再以一作截斷,命題得證。
6.3 重要限制
這是可能非常保守的上界。若局部系統有收縮性、回復控制或吸收狀態,更緊的界限可能存在;反之,若不存在統一一步上界,或局部策略因微小狀態偏差觸發完全不同的動作,則不能直接套用上式。
本命題也不宣稱實際長程成功率必然隨 單調下降;有些任務能在後續步驟自我修復、重試或達到穩定狀態。它說明的是:單步驗證不會自動給出長程驗證,且需要記錄恢復機制與期限條件。
6.4 何以對跨時間尺度架構重要
若在第 步觀測延遲、模型回應時間和執行器通信延遲改變了狀態轉移核,則先前只在同步模擬下測得的 不能用於真實部署。DPIED-05 的時序契約必須成為模擬評測的受控變量之一。
7. 命題 P3:訓練支持域之外,不能僅靠來源資料保證轉移
7.1 有限資料的識別限制
假設來源資料只涵蓋狀態—動作區域 ,而目標策略可能到達區域 。若存在:
則在來源資料不能區分的兩個真實動態世界中,可以設計它們在 上完全一致、在未觀測區域產生不同的後果。
命題 P3(支持域外無免費保證):若不加入先驗限制、真實測量、模型類別限制或安全探索資料,僅靠來源觀測不能普遍保證任意未觀測狀態—動作上的真實行動成功。
7.2 構造性反例
假設模擬資料只包括「夾爪以小於某壓力接觸物體」的試次;真實物體可能是硬塑膠或內部易碎但外觀相同的容器。兩個世界在已見壓力範圍產生完全相同的視覺與位置回饋,但在更大壓力下,一個仍安全、另一個破裂。由於來源資料不包含此壓力區域,任何只根據來源資料作出的普遍保證,都會在至少一個相容的真實世界失敗。
這是資訊不足的反例,不等於每一個模型在支持域外都會失敗。強先驗、材料知識、額外感測或保守策略可能讓它成功;但此時成功依賴新增條件,而非來源資料單獨給出的定理。
7.3 安全探索與拒絕動作的角色
當策略碰到無法驗證的目標域時,合理系統可以選擇降低速度、收窄動作幅度、要求物體確認、切換保守技能,或直接拒絕執行。這不是把所有未知情境都當成不能做,而是把「未被支持的自信」轉化為可稽核的風險處置。
8. 命題 P4:視覺擬真度的提升,不能無條件推出實機策略的改善
8.1 三種常被誤認為同一件事的逼真
為避免將視覺品質誤當作動態品質,本文區分:
- 觀感擬真:人類或視覺指標判定生成畫面和實拍相似。
- 動態忠實:在指定狀態與動作下,預測的物理狀態及接觸後果接近真實。
- 決策忠實:使用該模擬器選出的策略或動作,在真實目標任務中保持較低損失、較小風險。
三者可能有正向關係,但不能直接畫上等號。例如高品質影像能幫助辨識瓶蓋位置,卻不一定對瓶蓋卡住時的旋轉力矩提供正確資訊;反過來,外觀簡單的狀態機或動力學模擬,可能足以訓練某些控制器。
8.2 命題與反例
命題 P4(外觀擬真與實際成功的非單調性):在不固定真實動態、策略訓練過程及任務相關資訊的條件下,對模擬器視覺擬真指標的提升,不能推出該模擬器所訓練策略之實機成功率必然提高。
構造性反例:模擬器 A 使用簡單顏色與材質,但具有與實機相近的接觸摩擦及控制延遲;模擬器 B 具有高度逼真的反射、光照與材質紋理,卻以錯誤的摩擦係數與無延遲致動器模擬抓取。對接觸策略而言,A 可以教出保守且穩定的抓力,B 卻可能鼓勵過快或過小抓力。此時視覺品質提高,實機成功率仍可能下降。
這個反例不能證明「越逼真越差」。它只否定無條件單調性。若所有任務相關動態和控制資訊保持固定,且策略確實因更準確的觀測而受益,視覺提升可以有利。需要由資料而非口號決定。
8.3 任務加權的失配,而不是全域真實度排名
可定義研究性候選失配指標:
其中 是與任務及候選策略有關的狀態—動作採樣分布, 是已經指定且具有可比較量綱的差異度量。此指標只有在真實條件分布能以資料估計、且採樣對目標策略有足夠覆蓋時才有操作意義;不能把未觀測的 直接假設已知。
重要的是:同一台數位孿生可能對搬運路徑規劃有足夠忠實度,對柔軟衣物摺疊卻遠遠不足。世界模型的適用範圍應按任務聲明,而不是一次性宣告「物理真實」。
9. 命題 P5:模擬評測排序可靠,不等於部署成功率可靠
9.1 兩類不同的效度
令 為候選策略 的模擬分數, 為相同任務抽樣規則下的實機分數。模擬評測可能追求兩個不同目標:
- 排序效度: 能否穩定預測 ?
- 絕對校準: 是否能近似 的大小與部署風險?
SIMPLER 等研究提供排序與行為模式對應的證據,但不等於對所有硬體、場景和未見任務有無條件的絕對校準。[R8]
9.2 命題 P5(排序不能決定校準)
若所有候選策略的真實分數滿足:
其中 嚴格遞增,但不必為恆等函數,則候選策略排序可以完全一致,而每個策略的絕對分數仍與模擬分數具有明顯落差。
例如,假設:
排序都認為策略一優於策略二,但若某工業部署要求實際成功率至少 ,兩個策略都不符合。高排名相關不能作為通過部署門檻的替代品。
9.3 評測代理應具有使用說明
一套模擬評測工具至少應報告:參考實機、硬體版本、候選模型類別、任務族、場景分布、回合期限、人工介入、評分方式、相關係數與其不確定性、絕對校準誤差,以及不適用的場景。若工具只給出單一排行榜,研究者很容易把「模擬能選出比較好的模型」誤寫成「模型已能在真實場景安全工作」。
10. 命題 P6:跨本體轉移先受物理可供性約束,再談共同表示
10.1 機體不是模型可忽略的外殼
令機體 的可用動作集合為 ,包含自由度、末端工具、可承受力、可達空間、能源限制及安全條件。對任務 和初始狀態 ,定義有限期限 中所有能滿足任務與安全限制的可執行行動序列集合:
此處 及 必須事先以機體與任務的驗收規則定義。為使 P6 的「集合為空則不能成功」具精確意義,此處先採確定性動力學與固定物理初始條件;若存在隨機擾動,則須改以「具有非零成功機率的可行策略集合」或事先指定的幾乎必然安全語義來定義。本集合可能需要透過控制理論、規劃器或實驗近似,而非事先完全列舉。
10.2 命題 P6(可供性為必要條件)
若在指定初始狀態、硬體、期限、場景與安全限制下:
則任何僅更換策略表示或模型參數、但不更改上述物理條件的轉移方法,皆不能使目標機體在此條件下成功完成任務。
理由:成功策略必須對應至少一條符合條件的可行行動序列;若集合為空,假設成功即與定義矛盾。證畢。
10.3 本命題不排斥創新策略
若增加工具、改變工作台、允許多機協作、延長期限、修改行進路線或使用新的接觸面, 可能從空集合變成非空集合。這不推翻命題,因為條件本身已改變。也可能是研究者錯誤地將某個原本可行的動作排除在外,導致對可行集合的估計有誤。
因此本文要求研究明確寫下:是能力轉移成功,還是更改了任務、工具與環境才使事情可行? 後者同樣重要,但不可與前者混為一談。
10.4 跨本體的三種映射
- 意圖映射:把「把杯子放進櫃子」翻譯成共通的任務與狀態條件。
- 幾何/接觸映射:把目標姿態、接觸面、抓取模式及力學限制映射到不同末端工具。
- 控制映射:把高階動作轉換為當前機體可接受、可準時執行的關節、力矩或速度命令。
共享文字或視覺表徵,通常更接近第一種映射。CrossFormer 與 CEI 顯示跨機器與末端執行器介面可以透過學習或幾何對齊部分改善,但其成功仍應按機體、任務與目標場景分層報告。[R10][R12]
10.5 負轉移也必須列入評測
訓練資料越多、本體越多,不保證某目標本體的表現單調改善。若多本體資料被不當對齊,相同控制標籤可能代表不同動作語義;模型為兼顧其他機體而犧牲某些專用能力,也可能形成負轉移。因此應設定「目標本體專用模型」和「通用模型加適配器」兩組基線,不讓後者只與弱基線比較。
11. 命題 P7:域隨機化與真實校準只有在明確涵蓋條件下才支持部署推論
11.1 域隨機化的真實意義
域隨機化不是「把模擬弄得越混亂越好」,而是在某個有理由支持的參數集合 內,讓策略不要依賴單一固定條件。例如在合理範圍抽樣摩擦、相機位置、負載、控制延遲與材質特性。[R2][R14]
形式上,可定義一個訓練目標:
其中 是人為選擇的模擬參數分布。這只保證策略在採用的優化程序下嘗試降低該來源分布的期望損失;它不自動保證所有 都有好的最差情況表現。
若要尋求穩健性,可以改採:
但最差情況目標更保守,可能使名目任務成功率下降,也可能大幅增加訓練成本。兩種目標不能互相偷換。
11.2 命題 P7(有條件的參數涵蓋保證)
假設:(i) 真實系統在評估期間可由某 描述;(ii) 對於所有 ,模擬與真實在任務相關的觀測、動態、控制時序及損失定義上完全一致;(iii) 策略 對每個 都滿足:
則對真實參數 也有:
證明:依 (i), 是被涵蓋之參數;依 (ii),在固定參數下真實與模擬的任務相關軌跡及損失分布相同;再由 (iii) 得到結果。證畢。
11.3 為何這個命題看似平凡卻重要
它刻意不把艱難的條件藏起來。實務中最難滿足的正是 (i) 和 (ii):真實接觸、柔性物體、時序與感測差異很可能不在所設想的 ,即使參數在範圍內,模擬器的結構方程也可能錯誤。因此 P7 不是現有模擬平台具備部署保證的證據,而是說明必須先驗證哪些條件,模擬成功才能轉為實機主張。
若只有近似一致而非完全一致,應使用 P1、P2 類型的差異界或統計校準結果,並保留誤差及信賴區間;不可沿用 P7 的精確結論。
11.4 校準是閉環,不是一次填好參數
真實系統可能因磨損、電池、溫度、工具更換與周圍環境變化而偏移。一次辨識出的 不一定對所有時段有效。系統應保存校準日期、裝置版本、測量方法、失效徵兆和重新校準觸發條件。若後續進行線上適應,則還必須遵守 DPIED-05 的安全版本隔離與更新審核。
12. 世界模型與數位孿生:需要先說明它們預測的是什麼
12.1 五種數位替身不可混稱
| 類別 | 主要表徵 | 典型用途 | 最應防範的錯誤 |
|---|---|---|---|
| 幾何場景模型 | 3D 物件、地圖、光照 | 規劃、渲染、定位 | 誤把物體外觀當物性 |
| 動力學模擬器 | 狀態、作用力、轉移 | 控制、強化學習 | 錯誤材料/致動假設 |
| 資料驅動世界模型 | 歷史、動作、預測 | 模擬 rollout、行動評估 | 分布外干預不可靠 |
| 數位孿生 | 已校準、持續同步的目標系統模型 | 監測、預測、維修、運行決策 | 同步失效而不自知 |
| 遊戲/娛樂世界 | 可遊玩規則與創作資產 | 故事、關卡、代理互動訓練 | 遊戲規則與物理現實不等價 |
這是一種分析分類,而不是互斥的產業產品清單。同一系統可能同時包含 3D 場景、物理引擎、生成式預測與即時感測更新;也可能只使用其中數個子系統。
12.2 世界模型的關鍵不只是下一幀好不好看
對給定歷史與候選動作序列 ,真正用於行動決策的世界模型需要預測:
若模型只在單一路徑預測出視覺合理的影片,卻對互不相容的動作產生近似相同結果,那麼它的動作條件性可能不足以幫助控制。尤其在推、拉、夾取、跌落或碰撞任務中,應檢查反事實分支是否符合可實行的物理限制。
RoboWM-Bench 嘗試將生成影片轉換成可執行機器人動作,評估其能否完成實際操控任務,而不是只評分視覺逼真程度。[R16] 這類研究凸顯了「畫面成功」與「操作成功」的評測差別。
12.3 生成式世界模型可能真的縮小現實差距
不能因其不完美就否定它。Wang 等人在 2026 年研究世界—動作模型利用合成先驗與域隨機化,在有限操作任務上進行零樣本 Sim-to-Real 實機測試;作者報告在指定 Franka 機械臂與任務條件下平均成功率為 35%。這是有意義的實體試驗,但仍不代表高度通用的機器人可靠性。[R15]
Runway 在 2026 年發布的世界模型策略評估報告,使用已知真實機器人紀錄來比較多個策略的模擬結果,提出生成式模型可能成為低成本預測代理的證據。其樣本範圍和評分程序均須保留於引用中,不宜視為所有動態的外部獨立驗證。[R13]
因此,世界模型可能替代部分昂貴的早期篩選,但目前不能假設它已普遍替代所有實機驗收。
12.4 孿生的必要條件是目標與版本可追溯
稱某系統為數位孿生時,至少應說明:
- 對應哪一台或哪一類真實機器,以及其硬體/韌體版本。
- 哪些感測器提供同步,採樣時間與缺失處理如何設定。
- 哪些物理參數經過真實測量,哪些只是估計或預設。
- 模型與目標實體之間多久重新校準一次。
- 模擬誤差如何在不同任務、環境與控制頻率下被測量。
- 不同步或失效時,系統如何限制模型權限並回退。
若只建了一個漂亮的數位機器人但沒有校準與同步資料,稱作數位模型、模擬器或虛擬原型更精確。
12.5 真實世界何時不需要高保真孿生
若某固定產線的夾具、物件形狀與路徑受嚴格約束,工業控制器可能只需要低維幾何、限位和誤差補償;要求每一顆螺絲、反光和材質都以最高畫質重新建模,反而增加成本。相反地,在柔軟物體操作、易碎材料或非標準環境中,接觸和感測模型的忠實度可能決定可用性。
因此,應以任務條件性最小充分模型作為研究目標之一,而不是預先認為更全面的世界重建必然有更高投資報酬。
13. 六條常見縮小遷移落差的技術路線
13.1 系統辨識與致動器校準
使用實機測量反推質量、摩擦、運動學、相機內外參、傳輸延遲與致動器響應。它可以降低模擬失配,但若模型形式錯誤或現場條件頻繁改變,參數校準本身可能不足。[R1][R14]
13.2 合理範圍的域隨機化
對有依據的環境參數分布做擾動,降低策略對某一模擬設定的依賴。應同時檢查名目效能下降、訓練難度上升和真正的未見場景收益;若隨機化範圍完全偏離部署條件,策略可能不升反降。
13.3 模擬與真實資料共同訓練
把大量低成本模擬示範與少量高價值真實資料聯合使用。重點是避免讓模擬樣本數量掩蓋真實資料中的關鍵接觸失效。訓練損失的資料權重、採樣比率與目標任務應預先登記。
13.4 不變表示與動作抽象
學習跨視角、不同外觀、不同機體仍能使用的任務狀態或技能表示。這可能降低不必要的差異,但抽象過度也可能刪除實際控制需要的抓力、關節限制或接觸狀態。
13.5 殘差控制、線上適應與安全探索
以既有保守控制器作基礎,讓學習系統只補償模型偏差或選擇參數;對線上更新限制作用域,並經過異常監測。RMA 提供了局部快速適應的早期技術證據,但實務上仍要區分感測—狀態適應、策略參數更新和完全重新訓練。[R3]
13.6 評測代理與真實回饋驅動的再建模
先用模擬快速篩選,再透過代表性實機測試比較預測和現實結果,把失敗機制回饋到模擬器或世界模型。SIMPLER 提供這條路線的評測案例。[R8] 研究目的不是每次都把場景重建得更完整,而是優先校正對目標任務結果具有決定性的因素。
13.7 不是六選一,也不是全部堆上去
這些路線可能互補,也可能衝突。例如不恰當的動作抽象會降低系統辨識的效果;過度的資料混合可能掩蓋某特定機體的危險失效;更高保真的世界模型可能造成延遲超標。故最優整合必須在固定資源和任務分布下實驗比較,不能由「模組比較多」直接推斷。
14. 八項可反駁假說與競爭解釋
以下全部是可檢驗的研究假說,並非本文已經實測的結論。
H1|遷移效能主要受任務相關失配限制,而非通用影像擬真分數。
在固定訓練算力、模型架構和資料量下,修正任務關鍵動態的模擬器,對接觸操作的實機增益可能大於僅提高渲染擬真度。零假說為兩種改動增益無差異;反方向結果是影像改善對某些任務更重要。
H2|適度域隨機化對未見場景有益,但效果不是無限單調。
對同一任務,存在一段有用隨機化範圍;過大或無根據的擾動可能降低名目效能與訓練穩定性。反方向結果是指定實驗範圍內收益持續單調增加。
H3|加入少量對應真實失效的校準資料,可能比等成本增加一般模擬資料更有效。
比較定額真實回饋與等成本模擬回合之後的目標域成功率,而不是只比原始樣本數。反方向結果是模擬擴張在相關任務具有同等或更好的效益。
H4|模擬模型的策略排序效度可以高於其絕對分數校準效度。
研究可同時出現高 Spearman 相關與顯著平均校準誤差;若絕對校準同樣很好,則此假說不被支持。
H5|跨本體轉移收益取決於目標機體的可供性與適配介面。
在控制任務與訓練量後,僅共用語義表徵可能不及共用表徵加機體適配;若端到端共同模型無需額外適配即達標,則構成有價值的反例。
H6|動作條件的世界模型比僅評估影片視覺品質的模型更能預測真實操控結果。
比較兩種模型在反事實接觸、失敗型態與實機策略排序的預測力。若純視覺模型同樣準確,則該研究條件下不需要額外假設動作條件表示優越。
H7|在有時間限制的任務中,模擬與實機的時序差異會對長程可靠性產生可測量影響。
若加入真實延遲分布及過期觀測後,模擬預測更接近實機,支持假說;若無差異,則說明該任務可能對時序相對不敏感。
H8|以合格實體工作量衡量,最便宜的模擬器不一定提供最低總部署成本。
更昂貴但能更快識別失效的模擬/孿生系統,可能降低實機返工與風險;反方向結果是廉價模擬搭配直接現場校準更划算。
14.1 避免把「支持我們假說」變成研究預設
對每項假說都需預先登記:主要任務、主要效果量、最小實務重要差異、對照組、資料排除規則、重試政策、信賴區間及風險中止條件。不能在看見結果後只保留支持 TCTB 的場景,也不能只展示模擬模型最擅長的物體與動作。
15. 可執行研究設計:用交叉對照拆解遷移效果
15.1 研究單位與主要問題
本篇建議將「固定策略版本在指定機體、場景與任務條件下的一個完整任務 episode」定義為最小評估單位。不同 episode 若出自同一場景、同一設備或同一運行日,通常存在群聚相關;分析時不得假定彼此完全獨立。
主要研究問題:在相同的目標實機任務分布下,模擬器對任務相關動態的忠實度、域隨機化、真實校準與跨本體適配,是否能各自或交互改善合格自主工作完成率?
主要結果:真實目標域中,事先定義的無人工介入、無重大安全違規且在期限內完成的任務成功率。此指標不取代獨立的安全事件率,避免用完成率掩蓋危險情況。
15.2 建議的 交叉矩陣
在一個基本任務族與既定模型架構下,使用下列四個因子作實驗:
| 因子 | 低設定 | 高設定 | 要辨識的效果 |
|---|---|---|---|
| F:任務動態忠實度 | 簡化接觸/致動模型 | 經真實量測校準的任務相關模型 | 更準的模擬是否改善遷移 |
| R:域隨機化 | 固定或低範圍 | 有依據的多參數擾動 | 是否提升未見條件穩健性 |
| C:真實回饋校準 | 不使用額外真實回饋 | 固定預算的實機校準/微調 | 少量真實資料的邊際價值 |
| E:機體適配 | 共用表示直接映射 | 共用表示加目標機體適配 | 具體可供性與介面效益 |
總共有 組設定。但這不是保證每一組都應在危險的真實環境完整測試:若某組沒有通過先行安全與有效性檢查,就應記錄為不符合實機測試門檻,而不是偷偷刪除或把不執行當成成功。
由於 F、R、C、E 不一定可以在所有機體上獨立操縱,應先確認實驗的可識別性與正值性(positivity)。例如若某機體在無適配情況下根本沒有合法動作輸出,就不能把其結果與其他方法簡單視為同一套完整的 因子設計。
15.3 訓練資源固定:要建立兩種公平比較
固定訓練成本比較:將模擬計算、資料採集、真實示範、硬體折舊與人工標註轉成相同成本預算,分析方法的經濟效率。
固定資料量比較:控制示範次數、機器人小時或來源樣本數,分析演算法的資料利用效率。
兩種比較回答不同問題。真實資料一筆可能遠比模擬資料一筆昂貴;若只比較「各組用了十萬筆」,可能把成本差距藏起來。若只比較相同貨幣成本,也可能看不到特定資料類型對學習的純粹影響。應同時報告,而不是擇一有利版本。
15.4 四類任務族必須共同納入
| 任務族 | 例子 | 主要遷移難點 | 不能忽略的指標 |
|---|---|---|---|
| 低接觸幾何任務 | 定位、有限路徑導航 | 視覺、定位、障礙物 | 覆蓋、錯誤定位、時限 |
| 剛體接觸任務 | 抓取、放置、推動 | 摩擦、質量、抓力 | 接觸失敗、物件損壞 |
| 柔軟或非標準材料 | 摺布、柔性包裝、非標準物件 | 形變、遮擋、接觸預測 | 反覆重試、有效完成 |
| 長程動態任務 | 多物件整理、移動操作、多人出入區域 | 記憶、延遲、環境漂移 | 全程成功、介入與恢復 |
單一任務容易把某個技術方法的優勢放大;多任務則能比較條件化效果,例如「在低接觸任務域有效,但在柔軟接觸任務域失效」。
15.5 三層場景分割
- 已見場景:模型曾經接觸的物體、相機配置與機體版本;主要檢查系統可用性。
- 未見但合理涵蓋場景:仍在訓練分布宣告支持域中的不同物體、視角、負載與表面。
- 超出支持域但可安全測試場景:例如新的材料、陌生工具、未見外觀組合、感測器偏移或實際裝置更換。
第三層應標為探索性域外測試;不得將其結果重新加入訓練後,仍稱之為完全未見場景。若事後反覆使用同一測試環境調參,它便成了某種意義上的驗證資料,而不是獨立測試資料。
15.6 實機測試必須有硬體稽核資訊
對每一試次記錄:機體序號(可使用研究匿名代碼)、末端執行器版本、夾爪/關節硬體限制、感測器校準日期、韌體、控制時鐘、電池與溫度範圍、工作台與物體批次。若控制期間策略模型或適配器更新,應開啟新的版本試次;不得把更新前後混作同一個固定策略結果。
15.7 干預與控制變數
最小操作順序建議如下:
- 在模擬或離線資料上選定候選模型與策略,不提前觀看保留實機測試集結果。
- 對有真實校準的組別,只使用預先分派的校準資料及時數。
- 以固定模型檔雜湊、配置及控制參數建立評估版本。
- 先完成靜態檢查與限速/限力之受控無人接觸試驗,再進入低風險物件任務。
- 通過指定安全條件後,執行隨機化的實機對照。
- 對每個失敗紀錄是感測、策略、致動、時序、材料、版本、人工介入還是其他原因,允許多標籤,不強迫只有一個原因。
- 將模型評測結果與現場故障日誌配對;由獨立評估者盲審部分試次。
15.8 交互作用的統計識別
令 表示事先定義的合格成功。若四因子可以隨機化,研究可考慮:
上式是展示交互作用的線性機率近似;若實際採用二元結果模型、廣義線性混合模型或分層貝氏模型,則需說明連結函數、隨機效應及預先登記的主要對比。不能因在不同場景中觀察到相關性,就把 解釋成因果效應;只有當對應介入與辨識條件成立時才可如此解讀。
應特別檢驗 :如果物理模型已校準,額外隨機化是否改善穩健性?也要檢驗 :實機資料是否只對特定末端執行器有幫助,或可以跨機體移轉?
15.9 統計報告要求
- 二元成功率報告試次數、分母定義、點估計與適當區間;不可只有百分比。
- 多次試次在同一物件/場景/硬體上重複時,需考慮群聚相關及分層抽樣。
- 不同方法若共用同一場景種子與物件配置,宜利用配對設計降低干擾。
- 預先指定主要結果;多種次要結果與多重比較應有完整報告或控制策略。
- 不宣稱「統計上不顯著」即代表兩種方法等效;等效或非劣效需要事先指定界限。
- 把危險事件、未能進場、遙操作補救及人工重試保留在總覽,避免因樣本篩除造成選擇偏差。
15.10 零事故觀察不等於零風險
假設在彼此獨立、風險條件不變的簡化 Bernoulli 試次中,觀察到 次均沒有某類危險事件,其單側 95% 二項風險上界可寫成:
如果 ,上界約為 。即使百次無事故,仍不能從這組資料推論危險事件機率已低於千分之一;實務上還需考慮群聚、條件改變、稀有災難及硬體故障模式。這只是解釋統計識別力的算例,不是可直接使用的安全認證標準。
16. 模擬與實機需要雙向的反事實驗證
16.1 同一初始狀態下比較多種動作
若兩種模擬器都能重現同一段實機成功影片,但對改變抓力或推動方向後的結果給出不同預測,便不能只因它們都能重播成功案例就判定同樣可靠。真正重要的物理因果結構,常在干預後的差異中顯現。
因此,研究應在安全允許範圍內,選取一組候選控制變化 ,並比較:
這裡的 表示研究者有控制地設定某個行動,不能只用先前觀察資料的條件相關性來替代實際干預。若某動作不可在實體上安全測試,應承認該分支仍無直接實機驗證,而不是假裝可由生成影片完全證明。
16.2 策略選擇偏差
世界模型若只在安全或成功動作附近受訓,可能對某些明顯不合理動作產生似是而非的結果。當代理使用世界模型來搜尋較高回報的動作,優化器可能刻意找到模型最不可靠、卻被預測為高分的角落。這是策略使用模型造成新的分布偏移,不應用同一筆世界模型訓練資料來宣布已解決。
16.3 保留人工干預的真實統計
若真實機器人經由人類修正才完成工作,對研究仍然很有價值,因為它提供精確的失效位置。但報告時應將其列為「有介入完成」,不能當作原策略的無介入自主成功率。
16.4 因果上相似,不代表物理上完全相同
在某些任務中,只要對不同動作的相對結果與安全排序保持可靠,模型便足以支援選擇。這稱為決策相關的充分性;並不需要對全世界所有物理變量逐項精確預測。相反地,在高安全要求或精細操作中,單有排名不一定足夠,需要更強的上界與保守控制。
17. 研究用最小資料契約:來源、世界、機體與轉移聲明
17.1 資料不是只記錄影像與成功標籤
一次完整遷移試次至少需要四層資料:來源世界描述、訓練策略版本、目標本體規格,以及真實執行記錄。缺少任一層,便難以判斷失敗是模擬、模型、適配、現場變化或統計抽樣造成。
17.2 最小必要欄位
| 類別 | 建議欄位 | 用途 |
|---|---|---|
| 來源環境 | simulator_id、engine_version、scene_hash、physics_params | 重現來源世界 |
| 隨機化 | parameter_ranges、sampling_seed、distribution_version | 查核支持域 |
| 世界模型 | checkpoint_hash、action_conditioning、rollout_horizon | 查核反事實條件 |
| 機體 | embodiment_id、morphology、tooling、limits | 可供性與控制匹配 |
| 感測 | sensor_calibration、timestamp、unit、missing_mask | 觀測可信度 |
| 策略 | policy_hash、adapter_hash、training_data_manifest | 避免版本混淆 |
| 運行 | command_time、actuation_time、latency、network_state | 時序契約驗證 |
| 目標情境 | task_id、scene_split、object_batch、safety_envelope | 公平比較與風險界限 |
| 結果 | completion、valid_completion、unsafe_event、intervention | 區分成功、風險及人工救援 |
| 成本 | sim_gpu_hours、real_robot_hours、energy、repair_cost | 總成本分析 |
每筆資料需要時區清楚、單位一致、分辨測量值與估計值、記錄錯誤或缺失。若跨機體轉換的坐標系不同,必須保存其對齊轉換與版本,不可默認兩台機器的 XYZ 與角度意義相同。
17.3 最小 JSONL 紀錄示意
以下只是一筆資料契約示意,不是真實資料,也不意味著個別欄位已滿足所有機器安全要求。
{
"study_id": "DPIED06-DEMO-ONLY",
"trial_id": "fictional-0001",
"domain": "real",
"task_id": "bounded_pick_and_place",
"scene_split": "held_out_supported",
"simulator_version": "example-physics-v1",
"scene_hash": "example-scene-hash",
"policy_hash": "example-policy-hash",
"adapter_hash": "example-embodiment-adapter",
"embodiment_id": "anonymous-arm-A",
"actuator_latency_ms": 18,
"timestamp_basis": "monotonic_clock",
"success_without_intervention": false,
"unsafe_event": false,
"operator_intervention": true,
"failure_tags": ["grasp_slip", "contact_model_mismatch"],
"evidence_status": "SYNTHETIC_EXAMPLE_NOT_MEASURED"
}
17.4 對缺失資料的處理
如某試次缺少人工介入紀錄,不能把空白欄位推斷為「沒有介入」。若因感測器故障而無法判定安全,應列為「結果不確定/資料無效」,並在主要意向性評估中報告其數量。任何排除應事先定義且附上理由。
17.5 生成資料的來源與使用權
對真人影片、第三方遊戲、工業數位孿生與實體感測資料,除技術匹配外,仍需記錄授權、隱私、商業機密及資料生命週期。對未取得可用授權的影片,不能因為技術上能夠下載或生成近似畫面,就直接將其視為可無限制訓練的資料。跨機構協作亦應保留原始資料保護與衍生模型的適用條件。
18. 完全虛構的數值算例:模擬高分,實機仍可能落後
18.1 四條候選路線
為展示排序、實機校準與總成本之間的差異,假設研究者比較四個演算法/模擬整合組合:
- A:視覺擬真優先,渲染精細但接觸與延遲模型簡化。
- B:任務動態校準優先,影像中等但使用較可靠的接觸與致動器參數。
- C:生成式世界模型擴充,較高生成成本,尚有接觸預測偏差。
- D:混合模擬+有限實機校準+本體適配,重視動態、資料與介面一致性。
下表數值完全由本文虛構,每一組在模擬及實機各假設有一百次對應分布之評估;沒有任何實驗、廠商或裝置的實際成績來自此表。
| 方法 | 模擬合格成功/100 | 實機合格成功/100 | 有號成功率落差 | 實機危險事件/100 | 假設總成本(單位 U) |
|---|---|---|---|---|---|
| A | 90 | 48 | 0.42 | 8 | 500 |
| B | 88 | 72 | 0.16 | 3 | 800 |
| C | 91 | 69 | 0.22 | 5 | 1,000 |
| D | 87 | 81 | 0.06 | 1 | 1,000 |
「實機合格成功」定義為在期限內完成且無人工介入、無安全違規;危險事件被記錄在不合格的試次中,不與合格成功重複計數。U 是純假設性的成本單位,並非新臺幣、美金或現實報價;A 到 D 各自的成本包含假設的訓練、現場試次、維護及評估投入。
18.2 算例計算
A 的遷移落差為:
D 的遷移落差為:
若只看模擬分數,排序為 C、A、B、D;若看實機合格完成率,排序為 D、B、C、A。此例用來說明模擬評估可能完全錯判模型的實機排序,但不是說真實研究一般會錯判到此程度。實際 SIMPLER 等研究已證明,在一些條件中排序可以有很好的對應,故算例只能展示邏輯可能性。[R8]
定義一次總預算對應的每次合格實機成功平均成本:
則在這組完全虛構數字下:
D 在本算例中有最高實機成功率與最低遷移落差,但 A 反而具有較低的觀測平均合格成功成本。若 A 的危險事件造成高額損害或不可接受風險,它可能完全不具部署資格。這個例子刻意展示性能、成本、安全與部署決策不能被壓縮成一個自動排名。
18.3 樣本數與不確定性
一百次試次只能形成有限精度的成功率估計。例如 D 的 ,即使在獨立同分布 Bernoulli 的簡化假設下,95% Wilson 區間仍具有可見寬度;在真實機器人測試中,場景、硬體與日期的群聚相關還可能使區間更寬。故本表不可作為廠商性能預測,更不能用來設定安全標準。
18.4 更全面的成本問題
若某方法在一百次試次中成功很多次,卻因校準頻繁、零件磨耗或人工監督昂貴而無法長期運作,則單批測試成本仍低估實際成本。完整成本至少應區分:
每一項需避免重複計入;若某部分已含在另一成本中,應拆帳或註明。對於可能造成生命與人身危害的事件,不宜只用事後金錢平均損失替代獨立的安全否決條件。
19. 與 DPIED 系列的理論銜接
19.1 對 DPIED-01:給出一個可能造成演化曲線不同步的機制
數位世界中的模擬迭代可以快速增加,但實機能力只有在技能對目標動態、硬體與場景保持有效時才轉為可用產出。因此模擬規模成長未必等於實體自主能力以相同速度提高。若 Sim-to-Real 轉移率改善,則兩條能力曲線也可能重新靠近;本篇不預設分岔必定加劇。
19.2 對 DPIED-02:將「能力轉化損失」具體落到來源域與目標域
DPIED-02 的轉化問題可以被細化為:世界模型或策略在來源域獲得的能力,在特定目標任務中有多少保持、多少需要新資料與新控制、多少因機體物理限制根本不可直接移植。TCTB 使其成為可檢驗的條件集合,而不是抽象的模型能力描述。
19.3 對 DPIED-03:把展示與工業績效的中介證據拆開
高品質模擬展示是可重複的研發證據,但不足以單獨構成真實合格工作的證據。產業資料若只有模擬成功率,應標示為來源域結果;若只有少量實機影片,應標示為有限試次;若宣稱穩定生產,則需進一步提供長時間的工作、介入、故障與成本數據。
19.4 對 DPIED-04:影片資訊缺口在世界模型中仍可能存在
影片能提供視覺、軌跡及行為先驗。若沒有足夠的行動條件、接觸資訊或反事實資料,單靠更長影片仍可能產生物理操作的不可識別性。世界模型與多模態訓練可能縮小缺口,卻必須以介入後果驗證,而不是只以畫質評分。
19.5 對 DPIED-05:把模型與實機的時間、版本及安全契約納入遷移定義
若機體在真實運行時不能重現模擬的控制頻率、觀測時效、能耗條件與技能版本,就無法只根據模擬結果聲稱已成功轉移。MTCCA 提供必要的時序與介面背景;TCTB 則檢驗這些契約能否使來源域的結果在真實環境中保持有效。
19.6 對 DPIED-07:這篇不提前宣稱長程自主可靠性已成立
DPIED-07 將處理長時間運作、多步故障恢復、任務切換、維修與自主驗證。即使本篇在某些任務上證明高遷移成功率,也不代表連續數千小時的無監督工作已獲證明。時間長度本身可能改變環境分布、硬體狀態和風險結構。
19.7 對 DPIED-08:成本必須從資料生成延伸到有效物理產出
模擬計算成本降到極低,可能是重要技術突破,但機器人生產力仍受部署、能源、維修、現場環境與不合格重試限制。DPIED-08 應使用可稽核總成本與實際合格工作量,而不是單純比較每秒生成多少個模擬 episode。
19.8 與 WIIW-05、APET-06 與既有具身白皮書的區分
WIIW-05 與 APET-06 早已建立「具身不等於人形」及「智能認知、可行動性、行動權限不相同」的基礎。2026 年 6 月的具身白皮書也早已提出本體—本地站—中央學習的分層閉環。本篇不將這些前置內容重新命名為新發現,而是處理同一技能跨虛擬與實際因果場域時,何時仍然有效。
20. 反例、競爭解釋及應當修正的情況
20.1 模擬可以比現實更難
若模擬設置了過度苛刻的摩擦、隨機干擾或動作限制,某策略可能在真實世界表現更好,出現 。因此本系列不可預先假設所有現實差距均為「模擬太樂觀」。
20.2 某些任務不需要世界模型
固定環境中的專用工業機械臂可能只要確定性控制、夾具與感測即可完成大量工作。此類案例不是 TCTB 的反例,而是提醒研究不應預設「所有物理任務都需要生成式世界模型」。
20.3 一個共同模型可能直接跨越多個機體
CrossFormer 等研究表明,共享權重與跨本體學習確實可以成功。[R10] 若未來模型能自行學出足夠精確的本體條件控制表示,獨立手工編寫的適配器可能變得不必要。P6 只保留物理可行性的必要條件,並未要求必須採用特定模組設計。
20.4 模擬 fidelity 與策略效能的關係可能很複雜
更高真實度可能有利,也可能因訓練效率、可調參性與資料分布而降低學習速度。需要同時測量每一環節的計算負載、資料量、控制延遲與最終合格成功率,不能只選擇對自己立場有利的一個指標。
20.5 無法取得完整真實動態,不等於無法部署
很多已成功商業化的控制系統,也沒有完整辨識真實世界所有物理參數;它們可能透過保守控制、冗餘硬體、明確作業邊界與現場測試達到可用要求。TCTB 並不要求「全知物理模型」,而要求部署主張與可驗證證據相匹配。
20.6 不是所有資料差異都由「分布偏移」解釋
某策略可能因錯誤獎勵設計、過度擬合、訓練不穩、版本錯誤、動作單位不一致、時鐘漂移或機械故障而失敗。若沒有系統日誌,研究者不應把每次實機失敗都歸咎於 Sim-to-Real gap。
20.7 反事實驗證仍有安全與可識別界限
不能為了觀察完整物理後果而讓機器人在不安全條件下試探。高風險動作應使用安全上界、替代量測、非破壞試驗或受限代理指標。這可能造成某些反事實分支永遠無法獲得直接現場資料;應透明承認不確定性。
20.8 系列主張若被數據反駁,應當如何修正
若大量嚴格配對研究顯示,純數位世界模型對不同機體、材質、延遲、長程任務和未見場景均能穩定預測實機結果,且總成本低於其他方法,那麼本系列對架構轉化瓶頸的估計就需要下降。若一種新架構能直接學得跨本體、可校準且安全的控制,甚至可能令某些既有分層與適配方法不再必要。
本篇預設的不是「困難永遠存在」,而是在宣稱困難已解決之前,需要條件清楚的實證。
21. 證據、推導與研究狀態矩陣
| 研究敘述 | 類型 | 目前能支持的程度 | 不可宣稱 |
|---|---|---|---|
| 某些 Sim-to-Real 技術已有成功實機案例 | 外部文獻 | 已有局部實證 [R2][R3][R4][R15] | 任意任務都能零樣本轉移 |
| 模擬與實機存在多類現實差距 | 綜述與工程資料 | 已有充分文獻基礎 [R1][R14][R17] | 每種差距都必然降低成功率 |
| 有界損失受到完整軌跡 TV 上界約束 | P1 數學命題 | 在列明假設下成立 | 高維 TV 已可低成本估計 |
| 均勻一步差異可給出累積上界 | P2 數學命題 | 在同一歷史配對等條件下成立 | 長程效能必然依該界線衰退 |
| 支持域外不能僅由來源資料保證 | P3 不可辨識反例 | 在沒有附加先驗下成立 | 所有域外策略都會失敗 |
| 視覺擬真提高不保證轉移單調改善 | P4 構造反例 | 可否定無條件單調性 | 視覺品質不重要 |
| 排名一致不等於絕對校準 | P5 數學反例 | 成立 | 相關性無任何研究價值 |
| 目標行動可行集合為空就無法成功 | P6 必要條件 | 在固定任務與物理條件下成立 | 所有跨本體共用模型無效 |
| 有條件的參數涵蓋可推出部署界限 | P7 條件性命題 | 在明確強假設下成立 | 現有域隨機化已滿足這些假設 |
| TCTB 能改善實機成功率或成本 | 架構/研究假說 | 待本篇方案的實機比較 | 已被本文驗證 |
| 虛構數值表展示真實產業情況 | 假設算例 | 只用於算術與邏輯說明 | 任何公司的實測成功率 |
22. 結論:遷移成功不是畫面複製,而是因果作用在新世界中仍然成立
數位模擬的快速發展,使 AI 能以過去難以想像的規模練習、重設、比較、修正與評估行動。但從模擬到實體世界的真正轉移,仍是一個有條件的研究命題。它至少需要回答:同一任務的狀態與結果是否可比較?控制器的動作是否真的代表相同物理作用?未知材料及延遲是否仍在可驗證支持域中?目標機體是否具有必要的可供性?失敗是否能被測量、恢復與計入總成本?
本篇的七項形式化命題分別提供了不同層次的邊界。完整軌跡差異可限制有界任務損失;逐步閉環失配可累積,但不應簡化成必然指數惡化;訓練資料無法無條件識別支持域外的物理後果;視覺擬真不保證實機效能單調改善;評測排序不能取代絕對校準;共同表示不能創造不存在的物理動作;域隨機化若要支持保證,必須明確聲明參數涵蓋與模型匹配條件。
這些結論沒有否定模擬、數位孿生或生成式世界模型。恰恰相反,它們說明何以在某些任務中這些技術可以非常成功,而在其他任務中尚未成功。同樣的模擬世界,可能對導航非常有用、對抓取部分有效,卻對某些柔軟材料與長程動態工作仍然不足。這不是單純的影像品質差距,而是任務相關的因果差距。
因此,DPIED-06 的終端命題為:
可被遷移的,不是虛擬世界的外觀,而是跨越兩個世界後,仍然能可靠產生所需結果的行動關係。
如果未來前沿模型和世界模型能以更低成本學得、辨識並保持這些關係,數位與物理 AI 的能力曲線便可能加速重新耦合。若這種轉化仍昂貴、不可靠或受物理本體限制,則數位智能持續快速發展與具身部署相對遲緩仍可能並存。這兩種未來都應由證據判定,而不是由技術樂觀或悲觀事先排除。
DPIED 的第二階段至此在理論架構上完成閉合:第四篇建立觀測到行動的資訊界線,第五篇建立運行時的時序與因果契約,第六篇建立來源世界到實體目標的遷移條件。第三階段將研究長程自主可靠性、有效物理生產成本與文明尺度的再耦合可能性。
參考資料|公開且可辨識的文獻與技術來源
以下為本篇文獻核對所用的來源。論文中的研究主張與作者自建模型嚴格區分;公司或研究團隊發布的技術說明,按其原始證據等級引用,不與獨立重複實驗或安全認證等同。
- [R1] Aljalbout, E., Xing, J., Romero, A., et al. (2026). The Reality Gap in Robotics: Challenges, Solutions, and Best Practices. Annual Review of Control, Robotics, and Autonomous Systems, 9, 403–432. DOI: https://doi.org/10.1146/annurev-control-031924-100130
- [R2] Tobin, J., Fong, R., Ray, A., Schneider, J., Zaremba, W., & Abbeel, P. (2017). Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World. IROS. https://arxiv.org/abs/1703.06907 ; DOI: https://doi.org/10.1109/IROS.2017.8202133
- [R3] Kumar, A., Fu, Z., Pathak, D., & Malik, J. (2021). RMA: Rapid Motor Adaptation for Legged Robots. https://arxiv.org/abs/2107.04034
- [R4] Rudin, N., Hoeller, D., Reist, P., & Hutter, M. (2022). Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning. Proceedings of Machine Learning Research 164, 91–100. https://proceedings.mlr.press/v164/rudin22a.html
- [R5] Mittal, M., Guo, K., State, G., et al. (2025). Isaac Lab: A GPU-Accelerated Simulation Framework for Multi-Modal Robot Learning. NVIDIA Research. https://research.nvidia.com/publication/2025-09_isaac-lab-gpu-accelerated-simulation-framework-multi-modal-robot-learning
- [R6] Tao, S., Xiang, F., Shukla, A., et al. (2024–2025). ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI. https://arxiv.org/abs/2410.00425
- [R7] Nasiriany, S., Nasiriany, S., Maddukuri, A., & Zhu, Y. (2026). RoboCasa365: A Large-Scale Simulation Framework for Training and Benchmarking Generalist Robots. ICLR 2026;專案及版本說明:https://robocasa.ai/docs/build/html/introduction/overview.html
- [R8] Li, X., Hsu, K., Gu, J., et al. (2024). Evaluating Real-World Robot Manipulation Policies in Simulation(SIMPLER). https://arxiv.org/abs/2405.05941 ; https://simpler-env.github.io/
- [R9] Open X-Embodiment Collaboration (2023–2024). Open X-Embodiment: Robotic Learning Datasets and RT-X Models. https://arxiv.org/abs/2310.08864
- [R10] Doshi, R., Walke, H., Mees, O., Dasari, S., & Levine, S. (2024). Scaling Cross-Embodied Learning: One Policy for Manipulation, Navigation, Locomotion and Aviation(CrossFormer). https://arxiv.org/abs/2408.11812
- [R11] Black, K., Brown, N., Darpinian, J., et al. (2025). : a Vision-Language-Action Model with Open-World Generalization. Proceedings of Machine Learning Research, 305, 17–40. https://proceedings.mlr.press/v305/black25a.html
- [R12] CEI: A Unified Interface for Cross-Embodiment Visuomotor Policy Learning in 3D Space. (2026). IEEE Robotics and Automation Letters, 11(3), 3486–3493. DOI: https://doi.org/10.1109/LRA.2026.3656802
- [R13] Runway Robotics (2026-02-27). Accelerating Robot Policy Evaluation with General World Models. 研究團隊發布之初步評測,非通用部署認證。https://runway.com/research/accelerating-robot-policy-evaluation
- [R14] NVIDIA (accessed 2026-11-05). Simulation to Reality — Getting Started With Isaac Lab. 域隨機化、系統辨識、感測/控制失配與硬體驗證。https://docs.nvidia.com/learning/physical-ai/getting-started-with-isaac-lab/latest/robot-learning-fundamentals/08-simulation-to-reality.html
- [R15] Wang, Z., Sivakumar, K., Shang, J., et al. (2026). Efficient Sim-to-Real Transfer of World-Action Models from Synthetic Priors. arXiv:2606.31101(CVPR 2026 Embodied AI Workshop 相關成果)。https://arxiv.org/abs/2606.31101
- [R16] Jiang, F., Chen, Y., Xu, K., et al. (2026). RoboWM-Bench: A Benchmark for Evaluating World Models in Robotic Manipulation. arXiv:2604.19092;研究專案及執行評測說明:https://robowm-bench.github.io/RoboWM-Bench/
- [R17] Tiwari, R., Khapre, S., & Singh, A. (2026). Reinforcement learning in robotic systems: A review on sim-to-real transfer. Robotics and Autonomous Systems, 198, 105327. DOI: https://doi.org/10.1016/j.robot.2025.105327
既有 EveMissLab 研究的引用地位
- DPIED-01:數位—實體能力曲線的非同步辨識。
- DPIED-02:認知至物理作用的轉化損失及瓶頸。
- DPIED-03:出貨、展示、部署與合格自主工作量的證據區分。
- DPIED-04:影片觀測至具身行動的資訊缺口、辨識與多模態橋接。
- DPIED-05:跨時間尺度因果契約架構 MTCCA。
- 《具身 AI 的本地算力困境與分層學習閉環》(2026-06-30):本體、本地站及中央學習的層級協作。
- WIIW-05《當智能進入物理世界》:文明作用、實體資源及權限邊界。
- APET-06《具身的是什麼?》:非人形與分散式因果具身拓樸。
- LWCT-02《不均衡豐裕》:數位成長與必要實體生活域的稀缺差距。
這些是理論前置與內部研究脈絡,並非對本文數學命題或實驗假說的獨立外部驗證。
附錄 A|TCTB 研究的最小預註冊表
| 欄位 | 預先登記事項 |
|---|---|
| 主要任務 | 任務族、操作步驟、成功/失敗/不確定定義 |
| 本體與版本 | 機型、末端工具、控制期限、韌體與感測器 |
| 來源世界 | 物理引擎、場景及資料版本、隨機化分布 |
| 訓練策略 | 模型、種子、epoch、學習率、訓練及算力預算 |
| 轉移方法 | 校準、適配、微調、殘差控制、世界模型使用 |
| 主要結果 | 完整實機無介入合格成功率 |
| 安全結果 | 各類危險事件率、急停、軟硬體故障、操作員處置 |
| 其他結果 | 期限違規、介入率、修復成本、能源與工作量 |
| 分割方式 | 訓練、校準、驗證、獨立測試;物件與場景去重 |
| 分析計畫 | 分層模型、群聚校正、CI、主效應與交互作用 |
| 中止與回退 | 明確危險條件、停止權限、未通過記錄與上線否決 |
附錄 B|物理與統計界限的單位、前提及來源
B.1 機率界:所有機率、總變差及界限化損失均無量綱;若將物理距離、力矩或成本納入,需要先做具有物理意義的尺度選擇,不能把不同單位直接相加。
B.2 P1:要求模擬與實機的完整軌跡已在同一可測空間,且評價函數相同。若某模擬沒有真實硬體的觀測欄位,須聲明映射及資訊損失。
B.3 P2:要求對所有共同歷史存在一致的一步條件核差異界;總變差上界只適用於指定策略、任務、裝置與期限,並不提供對未見策略的普遍外推。
B.4 P3:是缺少先驗時的資訊論限制;不否認特定架構可以靠結構知識、感測與安全探索進行域外泛化。
B.5 P4、P5:為構造性反例,用來否定無條件因果或排序推論;不是對所有現實研究的平均效能估計。
B.6 P6:可行集合與任務限制固定;若加入其他工具或允許多機合作,集合改變,應另列條件。
B.7 P7:其「真實與模擬一致」條件非常強。沒有充分辨識與現場資料時,不能宣稱已滿足;真正部署必須用更保守、可稽核的工程與風險標準。
附錄 C|最小 Sim-to-Real 驗證程序示意
以下是研究規劃的偽碼,不是可直接驅動實體機器人的控制程式。所有實體安全判斷必須由經合格設計、實際測試和適當監督的系統負責。
Input:
task_spec, allowed_bodies, scene_split_manifest
simulator_manifest, policy_candidates, safety_review
for each allowed embodiment and task family:
verify physical feasibility and capability constraints
calibrate sensors and clock; record versioned provenance
for each planned experiment cell:
train or adapt candidate under preregistered budget
run held-out simulation and diagnostic interventions
record model and scene hashes
compare action-conditioned predictions and failure modes
if pre-hardware safety gate is not satisfied:
record NOT_ELIGIBLE_FOR_HARDWARE_TEST
continue
freeze policy, adapter, controller and evidence versions
perform authorized staged real-world trials
record interventions, failures, unsafe events and latency
stop or fall back whenever the independent safety authority requires
analyze paired sim/real scores, uncertainty and calibration
report all attempted cells, exclusions, risk and full costs
do not generalize beyond the tested task, body and environment scope
附錄 D|完成性檢查與證據承諾
- 本篇形式化完成七項條件性命題 P1–P7,分別列明必要假設及適用邊界。
- 本篇提出八項可反駁假說 H1–H8,並規劃實機對照與競爭解釋。
- 本篇檢視了來源域訓練、評測代理、數位孿生、生成世界模型及跨本體遷移的差異。
- 本篇所有數值範例均明確標示為虛構,並將示例計算與引用研究分開。
- 本篇不宣稱進行實際新機器人實驗、實機驗收、安全認證或外部同儕審查。
- 原稿交付以前,應檢驗 UTF-8 編碼、數學唯一 delimiter、章節、引用與算例;驗證結果另以交付訊息報告,不把聊天渲染畫面作為 canonical source。
- 本篇的後續實證工作須依資料授權、實驗安全、場景獨立性與研究稽核規格執行,不能因理論推導完成就自動獲得部署資格。
DPIED-06 完。