IDSLS-04｜遊戲作為因果學習基質

人工世界、世界狀態機、反事實重置與可執行經驗

English Title: Games as Causal Learning Substrates: Artificial Worlds, World-State Machines, Counterfactual Reset, and Executable Experience
系列： Intelligence Developmental States and Learning Substrates（IDSLS）／智能發展態與學習基質論
編號： IDSLS-04
版本： v0.1
日期： 2026-10-05
狀態： Canonical Source / UTF-8 Markdown
作者： Neo.K
機構： EveMissLab Technology Co., Ltd.
協作整理： Aletheia / GPT-5.6 Sol

直接前置：

IDSLS-00《智能發展態與學習基質：從參數尺度到發展性尺度》
IDSLS-03《什麼才是高品質資料：從知識語料到行為、經驗、信任與世界回饋》
《遊戲不是內容資料：遊戲作為可執行因果世界》
AI-Native Game Runtime Series
JEV × World Runtime《AI-Native Persistent World Decision Architecture》
DCAO-09《從持續 AI 到持續世界：世界模型、因果狀態與動態能力閉合》
《多模態遊戲代理的連續視覺閉環架構》
《站在巨人肩上玩遊戲：基於開源 LLM 的因果微調範式》
AGPL／人工世界與 AI 原生遊戲研究線

公司： 一言諾科技有限公司

摘要

文字、圖片、聲音、影片與論文是人工智能的重要知識資料，但它們主要記錄世界、行為或思想的「已發生結果」。遊戲則具有另一種結構性質：遊戲不是只有內容，而是一個可以被執行、干預、重置、重播、分支、量測與驗證的人工世界。

本文延續 IDSLS-03 對高品質資料的重新定義，提出：

\boxed{ \text{Game} = \text{Executable World} + \text{State Machine} + \text{Intervention Interface} + \text{Feedback System} + \text{Counterfactual Laboratory}. }

因此，遊戲對 AI 的價值不只來自畫面、文字、玩家影片或人類操作，而來自：

s_t \xrightarrow{a_t} s_{t+1},

這條可以被反覆觀察與重新執行的狀態轉移關係。

本文將遊戲世界抽象為：

\boxed{ \mathfrak G = ( \mathcal S, \mathcal O, \mathcal A, \mathcal T, \mathcal R, \mathcal G, \mathcal H, \mathcal E, \Xi ) }

其中：

$\mathcal S$ ：canonical world state；
$\mathcal O$ ：observation space；
$\mathcal A$ ：action space；
$\mathcal T$ ：state transition；
$\mathcal R$ ：rules / constraints；
$\mathcal G$ ：goals；
$\mathcal H$ ：history；
$\mathcal E$ ：evaluation / feedback；
$\Xi$ ：stochasticity / exogenous events。

本文進一步區分：

\text{Recorded Gameplay} \subsetneq \text{Executable Possibility Space}.

影片只保存一條已實現軌跡：

\tau = (s_0,a_0,s_1,a_1,\ldots,s_T),

而遊戲本體允許從相同或近似相同初始狀態重新展開：

s_0 \xrightarrow{a^{(1)}} s_1^{(1)},

s_0 \xrightarrow{a^{(2)}} s_1^{(2)}.

因此 Save、Load、Replay、Seed、Checkpoint 與 Scenario 可以被理解為人工反事實實驗裝置。

本文提出：

\boxed{ \text{Save/Load} \approx \text{Counterfactual Reset Interface}. }

但同時強調：

\boxed{ \text{Executable World} \neq \text{Automatic Causal Ground Truth}. }

商業遊戲仍可能具有隱藏 state、未知 RNG、並行事件、不可見 server state、engine nondeterminism 與不完整 instrumentation。遊戲提供的是高價值 Interventional Access Potential，不是自動提供完整 causal graph。

本文進一步提出 Game Causal Data 的品質向量：

\boxed{ \mathbf Q_G = ( \rho_C, \iota_A, f_F, r_C, s_O, \tau_G, g_P, w_P, d_G ) }

其中：

$\rho_C$ ：causal density；
$\iota_A$ ：intervention richness；
$f_F$ ：feedback fidelity；
$r_C$ ：counterfactual reset quality；
$s_O$ ：state observability；
$\tau_G$ ：temporal depth；
$g_P$ ：procedural generalization；
$w_P$ ：world persistence；
$d_G$ ：domain gap to target world。

本文主張，遊戲對 AI 的真正戰略價值在於：它位於靜態知識與真實世界行動之間，提供了一個低成本、高頻、可重置、可程序生成、可累積軌跡且錯誤成本受控的中介學習層。

因此：

\boxed{ \text{Text} \rightarrow \text{Artificial World} \rightarrow \text{Real World} }

可能成為下一代 Agent curriculum 的重要結構。

本文最後提出一組可否證實驗，用來比較 video-only、video+action、action+state、full trajectory、failure-recovery、counterfactual branch 與 procedural world data 的差異，並將遊戲重新定位為：

\boxed{ \text{Synthetic Experience Generator} }

以及：

\boxed{ \text{Developmental Causal Laboratory for AI}. }

關鍵詞： Game AI；Executable World；Causal Learning；State Machine；Counterfactual；Save/Load；World Model；Agent Trajectory；Procedural Generation；Gameplay Data；World Runtime；AI Training Environment；Interventional Data

0. 問題：為什麼「AI 玩遊戲」不是一個邊緣問題？

如果 AI 只是要回答問題，遊戲資料看起來可能只是娛樂內容、視覺資料、玩家示範或特殊 benchmark。

但當 AI 的發展目標變成：

行動；
規劃；
因果理解；
工具使用；
長時程任務；
多 Agent 協作；
世界模型；
失敗恢復；

遊戲的資料結構就突然改變價值。

因此：

\boxed{ V(D_{\text{game}}\mid Z_{\text{chat}}) \neq V(D_{\text{game}}\mid Z_{\text{agentic}}). }

這正是 IDSLS-00 的發展態條件資料價值。

1. 遊戲不是內容資料

本文延續既有命題：

\boxed{ \text{Game Data} \neq \text{Content Data Only}. }

一個遊戲可以同時產生：

text；
image；
video；
audio；
code；
state；
action；
transition；
reward；
history；
rule；
outcome。

2. 內容資料回答「發生了什麼」

一段影片可以告訴 AI：

角色走到門旁邊，門打開。

這是 observation。

它可以形成：

P(Y\mid X).

3. 遊戲本體回答「如果我改變行動呢？」

若 AI 自己操作：

do(a_t),

可以觀察：

s_{t+1}.

因此：

\boxed{ \text{Observation} \rightarrow \text{Intervention}. }

4. 遊戲作為可執行世界

本文定義：

\boxed{ \mathfrak G = ( \mathcal S, \mathcal O, \mathcal A, \mathcal T, \mathcal R, \mathcal G, \mathcal H, \mathcal E, \Xi ). }

5. $\mathcal S$ ：World State

\mathcal S = \text{canonical internal state space}.

例如：

player position；
NPC state；
inventory；
world flags；
economy；
quest state；
cooldown；
weather；
relationship；
event queue。

6. $\mathcal O$ ：Observation

o_t = \Omega(s_t).

Agent 通常只看到：

o_t,

而不是完整：

s_t.

因此：

\boxed{ \text{Observation} \neq \text{WorldState}. }

7. Partial Observability

若：

\Omega(s_i) = \Omega(s_j),

但：

s_i\neq s_j,

則相同畫面可能隱藏不同世界狀態。

這對 AI 很重要。

8. 遊戲讓 AI 學習 hidden state inference

Agent 必須從畫面、聲音、歷史、UI 與行為結果推斷：

\hat s_t.

這就是 world-state estimation。

9. $\mathcal A$ ：Action Space

Action 可以是：

move；
attack；
speak；
buy；
craft；
wait；
negotiate；
inspect；
use tool；
issue command。

10. Action Space 是因果入口

AI 不只：

See(World).

而是：

\boxed{ ActOn(World). }

11. $\mathcal T$ ：Transition

最基本：

s_{t+1} = \mathcal T(s_t,a_t,\xi_t).

其中：

\xi_t

包含 RNG、NPC action、scheduled event、network event 與 environment dynamics。

12. $\mathcal R$ ：Rules

Rules 決定：

Legal(a_t\mid s_t).

並限制：

\mathcal T.

13. $\mathcal G$ ：Goals

遊戲提供天然：

explicit goal；
implicit goal；
survival；
score；
quest；
resource objective。

這使 evaluation 容易。

14. $\mathcal H$ ：History

遊戲不是只有當下 state。

長時程遊戲還有：

\mathcal H_t = (s_0,a_0,\ldots,s_t).

15. $\mathcal E$ ：Evaluation

Evaluation 可以是：

reward；
score；
mission complete；
damage；
death；
economy result；
NPC reaction；
test condition。

16. $\Xi$ ：不可控或隨機因素

若不把：

\Xi

分離，研究者可能誤把隨機差異當成 action causal effect。

17. Recorded Trajectory 與 Possibility Space

影片：

\tau_1.

遊戲：

\Omega_{\text{possible}} = \{\tau_1,\tau_2,\ldots\}.

因此：

\boxed{ \text{RecordedTrajectory} \subsetneq \text{InterventionalPossibilitySpace}. }

18. 一條影片不能回答反事實

已知：

s_t \xrightarrow{a} s_{t+1}.

我們仍不知道：

s_t \xrightarrow{b} ?

19. 遊戲可以真的去試

如果能重建：

s_t,

則：

do(a), do(b), do(c)

可以依次執行。

20. Save / Load 的本體論價值

Save 不只是方便玩家。

它也是：

\boxed{ \text{State Serialization}. }

21. Load 是狀態恢復

Load(S_i) \rightarrow S_i.

這讓實驗可以重現。

22. Save/Load 作為 Counterfactual Reset

同一：

S_0

分支：

S_0 \xrightarrow{A_1} S_1,

S_0 \xrightarrow{A_2} S_2,

S_0 \xrightarrow{A_3} S_3.

因此：

\boxed{ Save/Load \approx \text{CounterfactualReset}. }

23. Reset 的價值

現實中：

\text{BreakGlass}

後不能免費回到：

\text{GlassIntact}.

遊戲則可以 Reset。

因此失敗成本大幅下降。

24. 低失敗成本允許更積極探索

令：

C_F = \text{Cost of Failure}.

在遊戲中通常：

C_F^{game} \ll C_F^{real}.

因此 exploration budget 可以提高。

25. 失敗成本降低不等於失敗沒有意義

如果所有失敗都 Reset，但不記錄原因，學習價值仍低。

26. Failure-to-Recovery

高品質遊戲軌跡應保存：

\text{Failure} \rightarrow \text{Detection} \rightarrow \text{Correction} \rightarrow \text{Recovery}.

27. 遊戲的 Fast Feedback

例如：

Hit\in\{0,1\},

Dead\in\{0,1\},

QuestComplete\in\{0,1\}.

回饋速度很高。

28. Credit Assignment

如果：

\Delta t(a,r)

很短，較容易知道哪個 action 導致哪個結果。

29. 現實世界常有 Delayed Reward

例如商業決策可能半年後才知道。

遊戲則可把大量 feedback 壓到分鐘甚至秒。

30. 這使遊戲成為高速經驗生成器

單位時間內：

N_{\text{action-feedback loops}}

可能很高。

因此：

\rho_C \uparrow.

31. Game Causal Density

本文定義：

\boxed{ \rho_C^{G} = \frac{ N_{\text{verified state-action-outcome loops}} }{ T }. }

32. 但不能只數 action 數量

連續走路一千次 input，不代表一千個高價值 causal events。

33. Semantic Causal Density

更合理：

\boxed{ \rho_{SC}^{G} = \frac{ N_{\text{meaningful causal transitions}} }{ T }. }

34. Meaningful Transition

例如：

inventory changed；
NPC belief changed；
resource acquired；
rule discovered；
strategy failed；
goal completed；
door unlocked。

35. Intervention Richness

本文定義：

\boxed{ \iota_A(G) = \text{Intervention Richness}. }

表示 Agent 在同一或相近 state 下，可選擇多少具語義差異的 action。

36. Action Variety 不等於 Intervention Richness

一千個 animation button，可能只有少數真正改變世界。

所以應測：

\Delta State.

37. Feedback Fidelity

\boxed{ f_F(G) = \text{Feedback Fidelity}. }

問：

遊戲提供的 reward 是否真正對應任務與世界狀態？

38. Reward 不等於 Truth

AI 可以拿高分，但使用 exploit。

因此：

\boxed{ \text{Reward} \neq \text{GoalTruth}. }

39. Reward Hacking

若 Agent 發現：

maximize(R)

但不完成真正目標，就產生 Proxy Failure。

40. 世界 State 比 Reward 更重要

因此遊戲資料不應只保留：

Reward_t.

還要保留：

StateDelta_t.

41. World Settlement

一個 action 是否真的完成，應由 World Runtime 決定。

因此：

\boxed{ \text{AgentProposal} \neq \text{WorldCommit}. }

42. AI proposes, Runtime decides, World commits

這個架構對訓練非常重要。

它提供：

\text{Proposal} \rightarrow \text{Validation} \rightarrow \text{Commit} \rightarrow \text{Result}.

43. 世界狀態機

遊戲本質上可以視為：

\boxed{ S_t \rightarrow S_{t+1} }

的受約束演化。

44. Game Ontology

遊戲不只是內容集合。

它包含：

\text{Entities} + \text{Relations} + \text{States} + \text{Rules} + \text{Processes}.

45. Persistent World

若：

S_{t+1}

真正由：

S_t

持續演化，世界具有 persistence。

46. Renderer 與 World 分離

漂亮畫面：

Frame_t

不表示存在：

S_t^W.

所以：

\boxed{ \text{Renderer} \neq \text{WorldSimulator}. }

47. Video World Model 的限制

模型可以生成：

Frame_t\approx plausible.

但：

\text{VisualPlausibility} \neq \text{CausalValidity}.

48. Persistent World 的條件

至少：

\boxed{ \text{PersistentState} + \text{EntityIdentity} + \text{CausalTransition} + \text{History} + \text{Validation}. }

49. 為什麼遊戲比純生成影片更適合因果學習

因為遊戲通常有：

\text{CanonicalState}.

生成影片可能只有：

\text{LatentContinuity}.

50. Canonical State 是 Training Ground Truth 的重要來源

如果 state 可讀：

player_hp=20
enemy_hp=0
door_locked=false
quest_state=completed

可直接作：

\text{WorldEvidence}.

51. 但商業遊戲未必暴露 Canonical State

所以資料品質分層很重要。

52. Game Data Level 0

L_0 = \text{VideoOnly}.

53. Level 1

L_1 = \text{Video+Action}.

54. Level 2

L_2 = \text{Observation+Action+Timestamp}.

55. Level 3

L_3 = \text{Observation+Action+WorldState}.

56. Level 4

L_4 = L_3 + \text{Reward} + \text{Events} + \text{Goals}.

57. Level 5

L_5 = L_4 + \text{Failure} + \text{Recovery}.

58. Level 6

L_6 = L_5 + \text{CounterfactualBranches}.

59. Level 7

L_7 = L_6 + \text{ProceduralUnseenWorlds}.

60. Level 8

L_8 = L_7 + \text{MultiAgentSocialDynamics}.

61. Level 越高不一定絕對越好

因為成本、schema 複雜度、hidden bugs 與 world-specific overfitting 也會上升。

所以仍需看：

V(D\mid Z,T).

62. State Observability

本文定義：

\boxed{ s_O = \text{State Observability}. }

完整內部 state 時：

s_O\rightarrow1.

只看 pixels 時：

s_O\ll1.

63. 低 State Observability 也有價值

因為現實世界本來就是 Partial Observable。

所以不能全部訓練在全知 state。

64. 雙層訓練

可以：

\boxed{ \text{PrivilegedStateTraining} + \text{PartialObservationEvaluation}. }

65. Teacher 看到更多 state

Teacher：

S_t.

Student：

O_t.

可用來學：

\text{StateInference}.

66. Counterfactual Reset Quality

本文定義：

\boxed{ r_C = \text{Counterfactual Reset Quality}. }

衡量：

初始 state 是否一致；
RNG 是否可控；
side effects 是否清除；
history 是否可復原。

67. Reset 不完全等於同一世界

如果 Seed 不同，結果差異可能來自：

\Xi

而不是 action。

68. Controlled Seed

所以：

\boxed{ \text{SeedControl} }

很重要。

69. Deterministic Replay

理想：

(S_0,Seed,A_{0:T}) \rightarrow S_T

可重演。

70. Semi-Deterministic World

現代引擎仍可能有：

floating-point nondeterminism；
parallel scheduling；
network delay。

所以 Replay 也需要 tolerance。

71. Procedural Generation

固定世界：

W_1.

Agent 可能 memorize。

程序生成：

W_i = G(seed_i).

72. Procedural Generalization

本文定義：

\boxed{ g_P = \text{Procedural Generalization}. }

衡量 Agent 是否能從：

\{W_1,\ldots,W_n\}

泛化到：

W_{n+1}.

73. 程序生成不是只換地圖皮膚

如果只：

\text{TextureChange},

不算真正結構變化。

74. Structural Procedural Variation

更高價值是：

rules；
topology；
resource distribution；
objective；
NPC policy；
hidden mechanics；

改變。

75. Unseen Rule Benchmark

可以讓：

RuleSet_i

每次不同。

Agent 必須：

\text{Explore} \rightarrow \text{Infer} \rightarrow \text{Adapt}.

76. 遊戲作為 Learnability Benchmark

這正適合 IDSLS-00：

\boxed{ \text{How quickly can the Agent learn a new world?} }

77. Episode Efficiency

定義：

\boxed{ \eta_L = \frac{ \text{CapabilityGain} }{ N_{\text{episodes}} }. }

78. Sample Efficiency

AI 不只是最後能不能破關，而是要試多少次才學會。

79. 遊戲可以測 Developmental State

不同 Agent：

A_1,A_2

初始 benchmark 差不多。

但：

LearningRate(A_1) \neq LearningRate(A_2).

80. 遊戲成為動態 Benchmark Generator

不是固定 500 題。

而是：

\boxed{ \text{EnvironmentGenerator} \rightarrow \text{InfiniteCandidateTasks}. }

81. Benchmark Contamination 降低

若 seed 不公開，Memorization 更難。

82. 但 Generator 也可能被模型學會

所以要區分：

\text{GeneralizeToGenerator}

與：

\text{GeneralizeBeyondGenerator}.

83. 多 Generator

可以：

G_1,G_2,\ldots,G_n

降低單一 procedural bias。

84. 遊戲提供 Long-Horizon Data

RPG、策略、模擬遊戲可以有：

T \gg 1000

steps。

85. Long Horizon 不等於長 Chain

遊戲長時程真正包括：

delayed quest；
inventory planning；
resource accumulation；
reputation；
relationships；
long-term strategy。

86. Temporal Depth

\boxed{ \tau_G = \text{Game Temporal Depth}. }

87. World Persistence

本文定義：

\boxed{ w_P = \text{World Persistence}. }

如果 Agent 離開場景後 WorldState 仍持續存在，則：

w_P\uparrow.

88. Persistent World 讓行動有歷史後果

今天偷竊：

Reputation_{t+1}\downarrow.

明天 NPC 仍記得。

89. 這比一次性關卡更接近生活世界

現實：

Action_t

往往改變：

\text{FutureOpportunity}.

90. Multi-Agent Game

當：

N_A>1,

世界開始包含：

cooperation；
competition；
negotiation；
deception；
reputation；
coordination。

91. 社會因果

AI 要學：

Action_i \rightarrow Belief_j \rightarrow Action_j.

這比單一物理 causal chain 更複雜。

92. Game Social Data

可以包含：

\text{State} + \text{Speech} + \text{Action} + \text{BeliefUpdate} + \text{WorldOutcome}.

93. Speech 不等於 World Truth

若 NPC 說：

我沒有偷東西。

世界只確認：

\text{SpeechEvent}.

不自動確認：

\text{ClaimTruth}.

94. 這使遊戲成為 Epistemic Learning Environment

Agent 要分：

\boxed{ \text{WorldTruth} \neq \text{AgentBelief} \neq \text{SpeechClaim}. }

95. 這是非常高價值的 AI 資料

因為現實社會也一樣：人類說的話不是世界真值。

96. 遊戲可以控制 deception

可以程序生成：

liar；
mistaken witness；
incomplete observer；
adversarial NPC。

97. 因此可研究 Epistemic Routing

AI 應該判斷：

信誰；
驗證什麼；
哪個來源只是 testimony。

98. 物理因果與社會因果可以同時存在

遊戲可以同時訓練：

\text{PhysicalWorldModel} + \text{SocialWorldModel}.

99. World Model 不等於 World Runtime

AI 的：

\hat W_t

只是內部估計。

Canonical world：

W_t.

因此：

\boxed{ \hat W_t \neq W_t. }

100. Prediction Error

可以測：

\epsilon_W = d( \hat W_{t+1}, W_{t+1} ).

101. 遊戲天然提供 World-Model Error Signal

因為真實 state 可比較。

102. 現實世界 Ground Truth 往往不可完全取得

所以遊戲特別適合 world-model calibration。

103. 但 Domain Gap 存在

本文定義：

\boxed{ d_G = \text{Domain Gap}. }

遊戲世界與現實：

P_G \neq P_R.

104. Domain Gap 包含

physics；
perception noise；
human behavior；
legal consequence；
bodily limitation；
real economics；
irreversibility。

105. 遊戲不能直接取代現實

\boxed{ \text{GameMastery} \not\Rightarrow \text{RealWorldMastery}. }

106. 但 Domain Gap 不使遊戲失去價值

因為 curriculum 可以是：

\boxed{ \text{Game} \rightarrow \text{Simulation} \rightarrow \text{Sandbox} \rightarrow \text{RealWorld}. }

107. Domain Randomization

可以改：

friction；
latency；
visual style；
rule noise；
sensor noise；
control noise。

縮小 transfer gap。

108. Sim-to-Real 的思想也適用數位 Agent

不只是 robot。

Browser Agent 也可以先在：

\text{SimulatedWeb}.

學習。

109. 遊戲是低代價世界

真實交易：

Loss=\$1000.

模擬交易：

Loss\approx0.

因此適合練 governance。

110. Permission Game

甚至可以專門做隱私與授權遊戲。

讓 Agent 處理：

地址；
付款；
訊息；
合約；
撤銷。

111. 遊戲可以成為 Trust Curriculum

這接回 IDSLS-03：

D_T.

112. 不只是訓練動作

遊戲可以訓練：

\boxed{ \text{Correct Non-Action}. }

113. Non-Action Reward

有些場景最優策略：

\text{Wait}, \text{Ask}, \text{Refuse}.

114. 這對生活 Agent 很重要

現實可靠性往往來自：

沒有在錯誤時機行動。

115. Game Causal Data Quality Vector

本文提出：

\boxed{ \mathbf Q_G = ( \rho_C, \iota_A, f_F, r_C, s_O, \tau_G, g_P, w_P, d_G ). }

116. $\rho_C$ ：Causal Density

單位時間內有多少有效因果閉環。

117. $\iota_A$ ：Intervention Richness

可執行多少語義不同的干預。

118. $f_F$ ：Feedback Fidelity

回饋是否忠實對應真正目標。

119. $r_C$ ：Counterfactual Reset Quality

能否公平比較不同 action 分支。

120. $s_O$ ：State Observability

可取得多少 canonical state。

121. $\tau_G$ ：Temporal Depth

行動後果跨多長時間。

122. $g_P$ ：Procedural Generalization

是否有足夠 unseen worlds。

123. $w_P$ ：World Persistence

世界是否跨場景、session 與時間持續。

124. $d_G$ ：Domain Gap

與目標部署世界差多少。

125. Game Data Utility

對目標發展態：

\boxed{ U_G = \mathbf w_{Z,T} \cdot \mathbf Q_G. }

126. 不是所有遊戲都同樣適合 AI

例如單純 rhythm game：

fast feedback 高；
long-horizon 低；
social causality 低。

127. Strategy Game

可能：

$\tau_G$ 高；
causal chain 長；
resource planning 強。

128. RPG

可能：

social state；
memory；
narrative causality；
long-term consequence。

129. Sandbox

可能：

intervention richness；
emergent interaction；
procedural variation。

130. Programming Game

可能：

action abstraction；
tool use；
planning；
code execution。

131. 因此需要 Game Curriculum Portfolio

不是只選一款遊戲。

而是：

\boxed{ \mathcal G_{\text{curriculum}} = \{G_1,\ldots,G_n\}. }

132. 每款遊戲訓練不同能力

例如：

G_{\text{platform}} \rightarrow motor/planning,

G_{\text{strategy}} \rightarrow resource/long-horizon,

G_{\text{social}} \rightarrow negotiation/trust.

133. Curriculum Scheduling

根據：

Z_t

選：

G^\ast(Z_t).

134. AI 自己生成遊戲

更進一步：

AI \rightarrow Generate(G).

135. 自生成 Curriculum

AI 發現自己弱點：

Weakness_k.

生成：

G_k.

專門訓練。

136. 這形成 Experience Flywheel

\boxed{ AI_t \rightarrow \text{GenerateWorld} \rightarrow \text{Play} \rightarrow \text{Learn} \rightarrow AI_{t+1}. }

137. 這是 Artificial-World Data Flywheel

但需要防止：

\text{SelfGeneratedBias}.

138. 世界生成器不能只生成 Agent 擅長的世界

否則：

\text{CurriculumCollapse}.

139. Adversarial World Generator

可以讓另一個 Agent：

GenerateHardWorld(A_t).

140. Teacher–Student World Generation

Teacher 目標：

\text{maximize} \; LearningGain(Student).

不是只最大化 failure。

141. Difficulty Matching

如果世界太難：

LearningSignal\rightarrow0.

太簡單：

LearningSignal\rightarrow0.

142. Zone of Productive Difficulty

可以定義：

\boxed{ D^\ast = \arg\max_D \Delta C. }

這再次接回 IDSLS-00。

143. 遊戲作為 AI Developmental School

因此：

\boxed{ \text{Game} \neq \text{OnlyBenchmark}. }

它也可以是：

\boxed{ \text{CurriculumEnvironment}. }

144. 遊戲甚至可以專門為 AI 設計

人類不一定覺得好玩。

只需要具有高學習價值。

145. AI-native Training Game

例如：

object permanence；
causal puzzle；
tool use；
resource planning；
privacy boundary；
negotiation；
misinformation；
long-horizon project。

146. 這與傳統遊戲設計目標不同

Human game：

\text{Fun}, \text{Engagement}, \text{Aesthetics}.

AI training game：

\text{LearningGain}, \text{Coverage}, \text{Verifiability}, \text{Generalization}.

147. 雙用途遊戲

也可能：

\boxed{ \text{HumanFun} + \text{AITraining}. }

148. 玩家行為本身成為資料

人類遊玩產生：

\text{HumanTrajectory}.

可作 expert demonstration。

149. 但人類玩家不一定 expert

錯誤、亂玩也有價值，因為：

\text{FailureData}.

150. 玩家多樣性

不同玩家提供：

exploration style；
strategy；
risk preference；
creativity。

增加 state coverage。

151. 但 gameplay 資料要處理權利

包括：

玩家同意；
平台條款；
遊戲 IP；
語音；
聊天；
個資。

所以：

\boxed{ \text{Playable} \neq \text{LicensableTrainingData}. }

152. Game Data Provenance

至少需要：

game
version
platform
world_seed
player_or_agent
input_stream
state_access
timestamp
license
consent

153. Game State Versioning

Patch 後：

\mathcal T_{v1} \neq \mathcal T_{v2}.

因此資料必須記：

\text{GameVersion}.

154. 遊戲更新是天然 Distribution Shift

Agent 可以測：

Patch 後還會不會玩？

155. Patch Adaptation Benchmark

這比固定地圖更像真實世界。

156. 新規則是環境漂移

E_t \rightarrow E_{t+1}.

測：

\text{Recovery}.

157. Mod 也是世界變形器

MOD 可以改：

physics；
economy；
enemies；
rules；
UI。

提供廉價 distribution shifts。

158. 開源遊戲特別適合研究

因為可取得：

source；
state；
instrumentation；
deterministic hooks。

159. 商業遊戲則提供真實複雜度

所以兩者互補。

160. Source Code 與 Gameplay 的雙證據

Source：

\text{ImplementationEvidence}.

Gameplay：

\text{BehavioralEvidence}.

161. 兩者結合

可以做：

\boxed{ \text{Code} \leftrightarrow \text{Runtime} }

因果映射。

162. AI 不只學會玩，也可以學會解構世界

目標：

\text{Game} \rightarrow \text{Mechanism}.

163. Functional Reconstruction

Agent 觀察 state、action 與 transition，反推出：

\hat F_W.

164. 然後重新實作

\hat F_W \rightarrow \text{IndependentReconstruction}.

165. 這是更深的世界學習

不只是：

我知道怎麼贏。

而是：

我知道這個世界如何運作。

166. World Understanding Benchmark

可以測：

prediction；
intervention；
reconstruction；
counterfactual；
transfer。

167. Prediction

給：

S_t,A_t

預測：

S_{t+1}.

168. Intervention

選 action 達成 Goal。

169. Counterfactual

問：

如果當時做另一件事會怎樣？

170. Reconstruction

要求 Agent 建立最小 simulator。

171. Transfer

將學到的規則用到：

G'.

172. 真正 general intelligence 更接近這些能力

而不只是：

\text{HighScore}.

173. 可檢驗假說 H1：可執行資料優於影片資料於因果任務

Gain(D_{\text{interactive}}) > Gain(D_{\text{video}})

在 intervention / planning 任務。

174. H2：State Access 改善世界模型校準

s_O\uparrow \Rightarrow \epsilon_W\downarrow.

175. H3：Counterfactual Branch 提升因果辨識

r_C\uparrow \Rightarrow CausalIdentification\uparrow.

176. H4：Failure-Recovery 提升規則變化後恢復

\rho_R\uparrow \Rightarrow RecoveryRate\uparrow.

177. H5：Procedural Worlds 降低地圖記憶型 overfit

g_P\uparrow \Rightarrow UnseenWorldSuccess\uparrow.

178. H6：Persistent World 提升長時程規劃

w_P\uparrow \Rightarrow LongHorizonConsistency\uparrow.

179. H7：Multi-Agent Worlds 改善 social world modeling

在合作／談判任務中，Social Trajectory Data 應提高 Belief Prediction。

180. H8：遊戲能力不完全轉移到現實

GameScore\uparrow \centernot\Rightarrow RealWorldScore\uparrow.

Domain gap 應可測。

181. H9：多世界 curriculum 可能優於單一超大型世界

可能：

Transfer( G_1+\cdots+G_n ) > Transfer( G_{\text{single}} ).

需要實驗。

182. H10：AI 自生成 curriculum 存在品質上限

若完全由同一 Agent 生成：

WorldGenerator=A,

可能：

BlindSpotCorrelation\uparrow.

183. 最小實驗一：Video vs Executable

A：

\text{VideoOnly}.

B：

Video+Actions.

C：

\text{ExecutableWorld}.

測 world prediction、intervention 與 unseen state。

184. 最小實驗二：State Privilege

A 看 pixels。

B 看 pixels + state。

訓練後兩者都只看 pixels 測試。

看 State Inference。

185. 最小實驗三：Save/Load Counterfactual

相同 checkpoint：

S_0.

產生：

k

條 action branches。

比較有無 counterfactual training 的模型。

186. 最小實驗四：Procedural Generalization

訓練：

seed_1,\ldots,seed_n.

測：

seed_{\text{unseen}}.

187. 最小實驗五：Patch Adaptation

改世界規則：

R_0\rightarrow R_1.

測 Agent：

n_{\text{episodes to recover}}.

188. 最小實驗六：Persistent Consequence

A 世界每 episode reset。

B 世界保留 reputation、inventory、relationship。

測 Long-Term Planning。

189. 最小實驗七：Social Truth

NPC 可能真話、謊話或誤解。

測 Agent 是否分：

\text{Speech} \neq \text{Truth}.

190. 最小實驗八：World Reconstruction

給黑箱遊戲接口。

要求 Agent 建：

\hat F.

測 Prediction Accuracy。

191. 最小實驗九：Game-to-Real Transfer

在模擬採購遊戲訓練。

再到受控真實 sandbox。

測：

\text{TransferGap}.

192. 最小實驗十：AI-generated Curriculum

固定人類設計 curriculum 與 Agent-generated curriculum 比較：

\text{CapabilityGainPerCompute}.

193. 反例：簡單遊戲可能沒有高信息量

若 ActionSpace 很小，世界規則太固定，則：

\rho_C

可能低。

194. 反例：遊戲可以被 exploit

高 score 不代表正確 world model。

195. 反例：RL reward 會扭曲

如果 reward 不完整，Agent 可能只學 proxy。

196. 反例：玩家資料不一定高品質

Human gameplay 可能 idle、亂按、exploit、重複 grind。

需要資料選擇。

197. 反例：遊戲規則是人工設計

它們不必符合自然世界。

所以：

\boxed{ \text{GameCausality} \neq \text{PhysicalCausality}. }

198. 反例：過度遊戲化可能讓 AI 學會錯的社會規則

遊戲 NPC 行為可能高度簡化。

199. 反例：安全世界可能讓 Agent 低估不可逆性

遊戲可以 reset。

現實不能。

所以 curriculum 後期必須加入：

\text{Irreversibility}.

200. 反例：高 observability 可能造成部署落差

若訓練時全知，部署時只有 pixels，Agent 會脆弱。

201. 因此遊戲不是終點

本文最重要的限制：

\boxed{ \text{Game} = \text{IntermediateLearningSubstrate}. }

不是 Final Reality。

202. 理論邊界

本文不主張：

遊戲是 AI 最重要的唯一資料來源。
AI 玩得好遊戲就具有 AGI。
遊戲高分等同因果理解。
Save/Load 自動提供嚴格因果證明。
商業遊戲具有完整可觀測 state。
遊戲世界等同現實世界。
程序生成可以消除所有 overfitting。
gameplay data 可以任意商業使用。
玩家資料天然可以拿去訓練。
reward 等同真正 objective。
persistent world 一定比 episodic world 更好。
multi-agent world 一定產生真實社會智能。
生成式 world model 自動等於 world runtime。
source code 自動等於世界機制理解。
AI 自生成 curriculum 一定優於人類 curriculum。
Domain gap 可以被完全消除。
所有現實 Agent 問題都能用遊戲預訓練解決。

203. 與 IDSLS-00 的關係

IDSLS-00：

D^\ast(Z_t).

IDSLS-04：

\boxed{ G^\ast(Z_t) = \text{development-matched artificial world}. }

204. 與 IDSLS-03 的關係

IDSLS-03 提出：

\mathbf Q_D = ( q_K, \rho_C, f_F, \rho_R, b_C, \tau_D, w_G, p_V, \phi_Z, c_P ).

IDSLS-04 對遊戲細化為：

\mathbf Q_G = ( \rho_C, \iota_A, f_F, r_C, s_O, \tau_G, g_P, w_P, d_G ).

205. 與 World Runtime 的關係

高品質遊戲因果資料需要：

\boxed{ \text{CanonicalWorldState}. }

否則 World Result 不可靠。

206. 與 Persistent World 的關係

真正長時程學習需要：

World_{t+1}

承接：

World_t.

207. 與 Agent Web 的關係

遊戲是低代價 Agent World。

Agent Web 是高代價真實數位世界。

因此：

\boxed{ \text{GameWorld} \rightarrow \text{AgentSandbox} \rightarrow \text{AgentWeb}. }

208. 與 Trusted Agency 的關係

遊戲可建立 permission / privacy / restraint scenarios。

所以 Game 不只訓練 Capability，也可訓練 Restraint。

209. 核心命題一

\boxed{ \text{Game} \neq \text{RecordedContent}. }

210. 核心命題二

\boxed{ \text{Game} = \text{ExecutableCausalWorld}. }

在本文限定意義下。

211. 核心命題三

\boxed{ \text{RecordedTrajectory} \subsetneq \text{InterventionalPossibilitySpace}. }

212. 核心命題四

\boxed{ Save/Load \approx \text{CounterfactualReset}. }

213. 核心命題五

\boxed{ \text{ExecutableWorld} \neq \text{AutomaticCausalGroundTruth}. }

214. 核心命題六

\boxed{ \text{WorldState} \neq \text{Observation} \neq \text{AgentBelief}. }

215. 核心命題七

\boxed{ \text{Renderer} \neq \text{Simulator} \neq \text{WorldState}. }

216. 核心命題八

\boxed{ \text{GameTraining} \neq \text{RealWorldMastery}. }

217. 核心命題九

\boxed{ \text{Game} = \text{SyntheticExperienceGenerator}. }

218. 核心命題十

\boxed{ \text{ArtificialWorld} = \text{DevelopmentalCausalLaboratory}. }

219. 結論

AI 過去主要從人類已經留下的世界描述中學習。

它讀：

文字；
書籍；
圖像；
論文；
程式碼；
影片。

這些資料極重要。

但它們多數回答：

世界曾被如何描述？

遊戲則增加了一個新的問題：

如果我真的做另一件事，世界會怎麼變？

因此：

\boxed{ \text{Description} \rightarrow \text{Intervention}. }

這是資料形態上的重大轉變。

一個遊戲世界可以提供：

\text{State} + \text{Action} + \text{Transition} + \text{Feedback} + \text{History} + \text{Reset}.

如果再加入：

canonical state；
seed；
procedural generation；
failure logging；
recovery；
multi-agent interaction；
long-term persistence；

它就可以成為一個高密度的經驗生成器。

最重要的是，遊戲具有現實世界非常昂貴的一項能力：

\boxed{ \text{Repeat the same question with a different action.} }

也就是：

S_0 \xrightarrow{A_1} S_1

之後，還能回到：

S_0

再測：

A_2.

這使遊戲具有天然的反事實實驗價值。

但本文同時保留一個必要限制：

\boxed{ \text{可重置世界} \neq \text{已知因果真理}. }

如果：

state 不可見；
RNG 不可控；
server state 隱藏；
reward 錯誤；
world runtime 不穩定；

那麼遊戲軌跡仍然可能含有錯誤 causal attribution。

因此真正高品質的遊戲資料不是：

很多 gameplay hours。

而是：

\boxed{ \text{可重建狀態} + \text{可識別行動} + \text{可信世界回饋} + \text{可控制反事實} + \text{失敗修正} + \text{未見世界泛化}. }

從 IDSLS 的角度，這也解釋了為什麼 gameplay、world-model environment、procedural simulation 與 AI-playing-game 在當前階段快速升值。

不是因為遊戲突然變成最重要的文化內容。

而是因為：

\boxed{ Z_{\text{AI}} }

已經開始進入能真正利用：

\boxed{ \text{Action–World–Feedback} }

資料的發展態。

所以遊戲對下一代 AI 的價值，不只是：

教它贏遊戲。

而是：

教它理解一個世界、干預一個世界、在世界反駁它時修正自己，並把這種能力遷移到下一個陌生世界。

最終，Game 可以被重新理解為：

\boxed{ \text{一個有限但可執行的世界模型，} }

以及：

\boxed{ \text{一座可以反覆失敗而不必付出現實世界代價的智能發展實驗室。} }

Appendix A｜Game Causal Dataset Schema

game_dataset:
  dataset_id:
  game:
  game_version:
  platform:
  world_seed:
  runtime_version:

episode:
  episode_id:
  start_state_id:
  checkpoint_id:
  goal:
  start_time:
  end_time:

observation:
  visual:
  audio:
  ui:
  semantic_state:

world_state:
  canonical_available:
  state_snapshot:
  hidden_state_scope:

action:
  action_id:
  action_type:
  parameters:
  legal:
  committed:

transition:
  previous_state:
  next_state:
  state_delta:
  exogenous_events:
  rng_state:

feedback:
  reward:
  event:
  success:
  failure:
  verifier:

recovery:
  failure_detected:
  correction:
  retry:
  recovered:

counterfactual:
  branch_id:
  same_initial_state:
  seed_controlled:
  alternative_action:
  alternative_result:

provenance:
  player_or_agent:
  model:
  toolchain:
  license:
  consent:

Appendix B｜Game Data Quality Vector

game_data_quality:
  causal_density:
  intervention_richness:
  feedback_fidelity:
  counterfactual_reset_quality:
  state_observability:
  temporal_depth:
  procedural_generalization:
  world_persistence:
  domain_gap:

risks:
  reward_hacking:
  hidden_state:
  rng_uncontrolled:
  replay_nondeterminism:
  rights_unclear:
  privacy:
  player_chat_sensitive:

Appendix C｜Counterfactual Branch Object

counterfactual_experiment:
  experiment_id:

initial_condition:
  state_id:
  save_hash:
  seed:
  runtime_version:

branches:
  - branch_id:
    action:
    result_state:
    reward:
    events:
    success:
    notes:

comparison:
  controlled_variables: []
  uncontrolled_variables: []
  causal_claim:
  confidence:

Appendix D｜AI Training Game Design Checklist

[ ] Canonical state exists
[ ] Observation and state are separated
[ ] Action space is typed
[ ] Legal actions can be queried
[ ] State transition can be logged
[ ] Save / load is reproducible
[ ] RNG / seed can be controlled
[ ] Failure states are explicit
[ ] Recovery can be recorded
[ ] Reward is not the only ground truth
[ ] World settlement is explicit
[ ] Procedural variation exists
[ ] Unseen worlds can be generated
[ ] Long-horizon consequences exist
[ ] Optional multi-agent interaction exists
[ ] Permission / restraint scenarios can be represented
[ ] Game version is tracked
[ ] Dataset rights are explicit

Appendix E｜Developmental Game Curriculum

Stage A
  deterministic causal puzzles
        ↓
Stage B
  navigation + tool use
        ↓
Stage C
  procedural unseen worlds
        ↓
Stage D
  failure / recovery environments
        ↓
Stage E
  resource + long-horizon planning
        ↓
Stage F
  multi-agent social worlds
        ↓
Stage G
  permission / privacy / restraint worlds
        ↓
Stage H
  partially observable persistent worlds
        ↓
Stage I
  high-fidelity sandbox
        ↓
Stage J
  bounded real-world deployment

其核心不是固定難度：

\text{Easy} \rightarrow \text{Hard},

而是：

\boxed{ DevelopmentFit(Z_t) \rightarrow NextDevelopmentFit(Z_{t+1}). }

Appendix F｜與 IDSLS-05 的接口

IDSLS-04 建立：

\text{Artificial World} \rightarrow \text{Causal Experience}.

下一篇 IDSLS-05 將處理：

\boxed{ \text{Long-Horizon Intelligence} }

也就是：

即使 Agent 每一步都做得不錯，它能否在數小時、數天、數週甚至更長期間持續保存目標、等待、恢復、重新規劃並承接過去世界狀態？

下一篇核心將包括：

\boxed{ \text{Long Horizon} \neq \text{Long Chain}. }

以及：

\boxed{ \text{Persistence} + \text{Memory} + \text{Monitoring} + \text{Replanning} + \text{Recovery} + \text{Temporal Consistency}. }

End of Canonical Source

IDSLS-04｜遊戲作為因果學習基質

IDSLS-04｜遊戲作為因果學習基質

人工世界、世界狀態機、反事實重置與可執行經驗

摘要

0. 問題：為什麼「AI 玩遊戲」不是一個邊緣問題？

1. 遊戲不是內容資料

2. 內容資料回答「發生了什麼」

3. 遊戲本體回答「如果我改變行動呢？」

4. 遊戲作為可執行世界

5. S\mathcal SS：World State

6. O\mathcal OO：Observation

7. Partial Observability

8. 遊戲讓 AI 學習 hidden state inference

9. A\mathcal AA：Action Space

10. Action Space 是因果入口

11. T\mathcal TT：Transition

12. R\mathcal RR：Rules

13. G\mathcal GG：Goals

14. H\mathcal HH：History

15. E\mathcal EE：Evaluation

16. Ξ\XiΞ：不可控或隨機因素

17. Recorded Trajectory 與 Possibility Space

18. 一條影片不能回答反事實

19. 遊戲可以真的去試

20. Save / Load 的本體論價值

21. Load 是狀態恢復

22. Save/Load 作為 Counterfactual Reset

23. Reset 的價值

24. 低失敗成本允許更積極探索

25. 失敗成本降低不等於失敗沒有意義

26. Failure-to-Recovery

27. 遊戲的 Fast Feedback

28. Credit Assignment

29. 現實世界常有 Delayed Reward

30. 這使遊戲成為高速經驗生成器

31. Game Causal Density

32. 但不能只數 action 數量

33. Semantic Causal Density

34. Meaningful Transition

35. Intervention Richness

36. Action Variety 不等於 Intervention Richness

37. Feedback Fidelity

38. Reward 不等於 Truth

39. Reward Hacking

40. 世界 State 比 Reward 更重要

41. World Settlement

42. AI proposes, Runtime decides, World commits

43. 世界狀態機

44. Game Ontology

45. Persistent World

46. Renderer 與 World 分離

47. Video World Model 的限制

48. Persistent World 的條件

49. 為什麼遊戲比純生成影片更適合因果學習

50. Canonical State 是 Training Ground Truth 的重要來源

51. 但商業遊戲未必暴露 Canonical State

52. Game Data Level 0

53. Level 1

54. Level 2

55. Level 3

56. Level 4

57. Level 5

58. Level 6

59. Level 7

60. Level 8

61. Level 越高不一定絕對越好

62. State Observability

63. 低 State Observability 也有價值

64. 雙層訓練

65. Teacher 看到更多 state

66. Counterfactual Reset Quality

67. Reset 不完全等於同一世界

68. Controlled Seed

69. Deterministic Replay

70. Semi-Deterministic World

71. Procedural Generation

72. Procedural Generalization

73. 程序生成不是只換地圖皮膚

74. Structural Procedural Variation

75. Unseen Rule Benchmark

5. $\mathcal S$ ：World State

6. $\mathcal O$ ：Observation

9. $\mathcal A$ ：Action Space

11. $\mathcal T$ ：Transition

12. $\mathcal R$ ：Rules

13. $\mathcal G$ ：Goals

14. $\mathcal H$ ：History

15. $\mathcal E$ ：Evaluation

16. $\Xi$ ：不可控或隨機因素

116. $\rho_C$ ：Causal Density

117. $\iota_A$ ：Intervention Richness

118. $f_F$ ：Feedback Fidelity

119. $r_C$ ：Counterfactual Reset Quality

120. $s_O$ ：State Observability

121. $\tau_G$ ：Temporal Depth

122. $g_P$ ：Procedural Generalization

123. $w_P$ ：World Persistence

124. $d_G$ ：Domain Gap