03|遊戲不是內容資料:遊戲作為可執行因果世界
Games Are Not Merely Content Data: Games as Executable Causal Worlds
系列:《可執行資料與深層解構學習》
篇次: 03 / 10
作者: Neo.K with Aletheia
機構: EveMissLab/一言諾科技有限公司
版本: v0.1 Research Draft
日期: 2026-08-16
文件性質: 遊戲 AI/可執行資料/互動環境/Agent 學習/因果與狀態轉移方法論
範圍聲明: 本文研究遊戲作為 AI 學習與解構母體的結構特性,不主張遊戲是唯一或最高等級的 AI 資料來源。
法律聲明: 本文討論一般研究方法,不構成特定遊戲逆向工程、授權或著作權法律意見。
摘要
文字、圖片、聲音與影片是現代人工智慧最重要的資料來源,但它們主要記錄世界或人類產物的「表現結果」。遊戲則具有另一種關鍵性質:遊戲是一個可以被反覆操作、重置、干預、執行與驗證的人工世界。玩家或 Agent 不只觀看世界,而能輸入行動,使世界狀態按照規則產生新的狀態。因此,遊戲資料不能完整化約為內容資料。
本文提出:
並將最小可執行遊戲世界表示為:
其中 為內部狀態空間, 為可觀測空間, 為行動空間, 為轉移機制, 為規則與約束, 為目標, 為歷史, 為評估器。
本文進一步區分「遊戲影片」與「遊戲本體」:
影片提供一條已發生軌跡,而遊戲允許研究者從相同或近似初態進行不同干預,觀察:
是否導致:
因此遊戲天然適合作為反事實、規劃、策略、控制、記憶、世界模型與 Agent 泛化研究的實驗母體。
本文同時指出,現有 AI 與遊戲研究已建立重要基礎:Arcade Learning Environment 將大量 Atari 遊戲統一為一般智能評測平台;Procgen 以程序生成環境測試泛化;MineDojo 將 Minecraft 擴展為包含數千任務與網路規模多模態知識的開放世界研究平台;BEDD 提供數千段人類示範與大量 image-action pairs;SIMA 與 SIMA 2 則進一步讓一般化 Agent 在多款商業 3D 遊戲中從畫面與自然語言指令產生鍵鼠行動。
然而,本文提出的「遊戲解構」比「讓 AI 觀看或遊玩遊戲」更深一層。研究目標不是只有:
而是:
遊戲因此不只是 AI benchmark,也可以成為一種「可執行文明遺產」:人類數十年軟體工程、遊戲設計、規則設計、控制方法、世界模擬與人工智能實作被封裝在可操作系統中。系統性解構這些世界,可以建立比單純影音語料更接近「如何做出系統」的深層學習資料。
關鍵詞: 遊戲 AI、Executable Data、Causal World、State-Action Transition、Agent、World Model、Reinforcement Learning、Game Archaeology、SIMA、MineDojo、ALE
1. 內容資料與可執行資料不是同一類資料
令一般內容資料為:
它可以包括:
- text;
- image;
- audio;
- video;
- static code snapshot;
- document;
- illustration;
- novel;
- film。
這些資料主要回答:
某個產物是什麼?
或者:
某件事情曾如何被描述或呈現?
但可執行資料需要回答:
如果我做另一個動作,會發生什麼?
因此本文提出:
其中:
2. 影片只能保存一條已發生軌跡
假設一段遊戲影片保存:
即使影片完整包含:
- 畫面;
- 聲音;
- 玩家操作;
- 任務;
- 結果;
它仍然只記錄:
影片本身無法直接回答:
如果第 步沒有攻擊,而是逃跑,之後會怎樣?
除非我們有另一條對應資料。
3. 遊戲可以重新執行問題
遊戲系統允許:
如果可以保存/重建初態:
則可以測:
以及:
因此:
可以形成實際 intervention。
這種能力使遊戲與靜態影音具有本質差異。
4. 遊戲的最小結構
本文將遊戲世界抽象為:
其中:
- :內部 state space;
- :observation space;
- :action space;
- :transition mechanism;
- :rules / constraints;
- :goals;
- :history;
- :evaluation / feedback。
5. State 與 Observation 必須分離
一個常見錯誤是:
但大多數商業遊戲並非如此。
例如玩家看到:
- 一個 NPC;
- 血量條;
- 畫面上的敵人;
- 小地圖;
- UI。
但內部可能還存在:
- hidden cooldown;
- aggro table;
- scheduler state;
- relationship score;
- random seed;
- AI memory;
- future event queue;
- world flags;
- spawn controller。
因此:
其中:
為 observation function。
通常:
不是 injective。
也就是不同內部狀態可能產生相同表面畫面。
6. 為什麼「只讓 AI 看影片」還不夠?
如果 AI 只看到:
它需要反推出:
這是典型 partial observability 問題。
影片可以訓練:
- perception;
- imitation;
- action prediction;
- visual representation;
- reward inference。
但若缺少:
- hidden state;
- alternative action;
- counterfactual trial;
- reset;
- replay;
- instrumentation;
則 AI 很難區分:
與:
7. Source Code 也不自動等於遊戲理解
另一個極端是:
如果有完整開源程式碼,AI 就已經理解遊戲。
這同樣不成立。
Source code 可以提供:
但不能自動提供:
例如程式碼中可能存在:
ThinkTree
JobDriver
ActionNode
BrainComponent
BehaviorController
這些名字具有 implementation-specific semantics。
真正的解構還需要抽象成:
candidate generation
priority arbitration
task scheduling
execution controller
memory update
world-state commit
因此:
8. 遊戲作為人工因果系統
遊戲中的世界轉移通常由明確程式控制。
最簡化可寫為:
其中:
可以包含:
- RNG;
- NPC simultaneous actions;
- network events;
- scripted events;
- scheduler;
- environment dynamics。
若可以控制或記錄 ,則實驗可具有更強重現性。
9. 「因果世界」不是說我們天然知道全部因果真相
本文使用「可執行因果世界」時,需要一個重要限制。
遊戲可執行不代表研究者自動知道:
在商業遊戲中:
- source 可能不可見;
- RNG 可能未知;
- state 可能隱藏;
- subsystem 可能並行;
- engine 可能 nondeterministic;
- server state 可能不可取得。
因此遊戲提供的是:
而不是:
10. Reset 是非常珍貴的研究能力
現實世界很多行動不可逆。
但遊戲可以:
同一初態可以反覆測試。
例如:
可以從同一 checkpoint 展開:
這使大量反事實測試變得低成本。
11. Save / Replay 形成狀態實驗接口
許多遊戲具有:
- save;
- autosave;
- replay;
- seed;
- scenario;
- deterministic or semi-deterministic simulation。
研究者因此可以保存:
即使無法取得完整 state,也可以建立操作上足夠穩定的近似實驗條件。
12. 遊戲比現實便宜的地方:失敗成本
現實機器人:
可能造成:
- 硬體損壞;
- 人員風險;
- 財產損失;
- 時間成本。
遊戲中:
通常只需要:
因此:
這也是遊戲長期成為 AI 研究環境的重要原因。
13. Arcade Learning Environment:第一個重要歷史範例
Bellemare 等人在 2012 年提出 Arcade Learning Environment(ALE),將大量 Atari 2600 遊戲建立成統一介面,用於評估一般、domain-independent AI 方法。
ALE 的重要性不只是:
AI 可以玩 Atari。
而是:
它使:
- reinforcement learning;
- model learning;
- planning;
- imitation;
- transfer;
- intrinsic motivation;
可以在共同環境中比較。
這是「遊戲群作為 AI 實驗母體」的重要早期形式。
14. DQN:從畫面到動作的典型路徑
2013 年的 Atari deep reinforcement learning 工作展示:
這是遊戲學習非常重要的一條路。
然而本文關心的是另一個問題:
模型會玩,不代表我們已經將遊戲內部的可泛化結構解構出來。
因此:
兩者可以互相支持,但不能混淆。
15. Procgen:世界多樣性本身成為資料
Procgen Benchmark 提供 16 個程序生成 game-like environments,用於測試 reinforcement learning 的:
- sample efficiency;
- generalization。
其重要思想是:
本身就是學習條件。
若 Agent 只在固定關卡學習:
它可能記住環境。
若訓練於:
則更接近:
這與本系列前一篇的 coverage / diversity 問題直接相連。
16. Minecraft:從封閉任務走向開放世界
Minecraft 特別重要,因為其世界具有:
- procedural generation;
- resource system;
- crafting;
- combat;
- navigation;
- construction;
- long-horizon goals;
- open-ended interaction。
因此它比單一 arcade game 更接近:
17. MineDojo:遊戲 + 網路知識 + 任務
MineDojo 將 Minecraft 建立為開放式 embodied agent 研究框架。
其架構包含:
- 大量任務與目標;
- simulation suite;
- internet-scale multimodal knowledge;
- videos、tutorials、Wiki、forum discussions;
- 可擴展 agent learning。
這已經從:
擴展成:
18. BEDD:影片開始與 action 對齊
BASALT Evaluation and Demonstrations Dataset(BEDD)包含大量 Minecraft 人類示範。
其資料不只是影片。
它包含約:
個 image-action pairs,來自近:
段人類遊玩影片,並搭配數千筆人類 pairwise evaluation。
這個例子非常重要。
因為它把:
升級成:
19. SIMA:商業遊戲成為跨世界 Agent 訓練場
Google DeepMind 的 SIMA 研究直接在多款商業 3D 遊戲與研究環境中訓練 Agent。
第一代 SIMA 使用:
- screen images;
- natural-language instruction;
- keyboard / mouse action;
並且不要求存取遊戲 source code 或 bespoke game API。
這使:
本身成為通用 Agent interface。
20. SIMA 2:從指令跟隨走向高階意圖與遷移
2025 年公開的 SIMA 2 進一步整合 Gemini reasoning。
其研究方向包括:
- 更複雜自然語言指令;
- 多步驟目標;
- 未見遊戲泛化;
- 行動跨遊戲遷移;
- 自我改善;
- generated worlds。
其公開展示甚至將 SIMA 2 與 Genie 3 生成世界結合,讓 Agent 在未見虛擬環境中行動。
這表示:
已經成為當代 Agent 研究的重要方向。
21. 但「讓 AI 玩」仍不是本文的終點
假設 Agent:
在某遊戲取得高分:
我們仍不知道它是否能回答:
- 這個 NPC 為什麼這樣選?
- 哪些 subsystem 產生這個行為?
- 這個 scheduler 可以替換嗎?
- 哪個設計是不變量?
- 哪些只是遊戲內容?
- 哪些架構可遷移到另一款遊戲?
- 能否重建一個功能等效但程式完全獨立的系統?
因此本文提出:
不是能力高低的絕對排序,而是研究深度不同。
22. 遊戲解構需要從軌跡回到機制
一般 trajectory:
真正解構希望重建:
其中:
- :候選 transition mechanism;
- :候選 rule system;
- :候選 goal structure;
- :候選 memory / state machinery。
23. 從 implementation-specific 名稱到 functional type
不同遊戲可能使用:
ThinkTree
DecisionPackage
Brain
AIController
JobGiver
ActionPlanner
但解構後可能映射為:
或:
因此需要:
這一步是跨遊戲學習的前提。
24. Functional Type 之後才有跨遊戲比較
例如:
Game A: Hunger
Game B: FoodNeed
Game C: Nutrition
Game D: SurvivalUrgency
可能都屬於:
只有完成這一步,AI 才不是:
記住四款遊戲有四個不同欄位。
而是:
理解四種實作共享一個功能類型。
25. Composition 是遊戲智能的關鍵資料
一個完整遊戲 AI 往往不是:
而可能是:
因此解構真正要保存:
- subsystem;
- dependency;
- update order;
- interrupt;
- priority;
- fallback;
- shared state;
- event flow。
這些比單純:
使用 Behavior Tree。
具有更高的工程資訊密度。
26. 遊戲資料的三種層次
本文初步區分:
26.1 Content Layer
包括:
- image;
- text;
- dialogue;
- music;
- animation;
- map appearance。
26.2 Trajectory Layer
包括:
- observation;
- action;
- reward;
- task;
- outcome;
- replay。
26.3 Mechanism Layer
包括:
- state schema;
- rule;
- scheduler;
- transition;
- memory;
- causal dependency;
- architecture;
- invariant。
因此:
這裡的 表示解構深度,而不是絕對資料價值。
27. 第四層:Intent Layer
更深一層還存在:
它回答:
設計者為什麼要這樣做?
例如:
- 為了讓敵人看起來聰明;
- 為了避免 NPC 卡住;
- 為了讓玩家有反制空間;
- 為了降低 CPU;
- 為了維持戲劇張力;
- 為了讓世界離屏仍保持連續性。
因此:
這也是後續「意圖重建」系列終點的重要來源。
28. 可執行重建是理解驗證器
假設我們推測某遊戲機制為:
則可建立:
再比較:
與:
若在重要測試族:
上:
則候選理解得到更強支持。
29. 重建不等於複製
本文明確區分:
真正研究價值來自:
使用一般化機制,獨立重現功能或行為特徵。
例如:
可能由多個不同架構產生。
因此:
30. 遊戲本身是一種「已執行的設計論文」
傳統論文描述:
- 方法;
- 模型;
- 實驗;
- 結論。
商業遊戲則把大量設計決策封裝成:
它包含:
- 演算法;
- 工程折衷;
- 性能限制;
- UI;
- 玩家心理;
- 內容;
- 世界規則;
- 版本修正;
- 失敗經驗。
因此可以把遊戲視為:
Executable Design Document
不是因為它完整揭露設計意圖,而是因為設計決策已經被具現化為可運行系統。
31. 遊戲史是一個巨大的人工智能實驗史
從早期:
- 簡單敵人規則;
- scripted encounters;
- 有限狀態機;
到後來:
- pathfinding;
- squad tactics;
- utility;
- behavior tree;
- planning;
- director;
- autonomy;
- world simulation;
- neural agents;
電子遊戲已累積數十年的:
這些知識並沒有全部被完整整理成統一教材。
32. 因此「遊戲考古」不是遊戲史整理
一般遊戲史可以問:
哪年發售?
哪家公司開發?
銷量多少?
Game Intelligence Archaeology 問的是:
哪些智能結構真的被實作?
它如何運行?
哪些組合反覆出現?
哪些失敗被後來作品修正?
哪些架構可以被重新使用?
因此:
33. 遊戲作為 AI 訓練資料的真正優勢
遊戲具有六個特別重要的能力。
33.1 Resettable
33.2 Intervenable
33.3 Replayable
33.4 Measurable
可以測:
- score;
- completion;
- state;
- resource;
- time;
- failure。
33.5 Generative
程序生成或世界生成可以提供:
33.6 Safe Failure
大部分錯誤可在虛擬環境中低成本發生。
34. 但遊戲也有重大限制
遊戲不能直接代表現實。
原因包括:
- rules 是人工定義;
- physics 可能簡化;
- NPC 不是人;
- reward 可能扭曲;
- world state 有限;
- designer intent 影響分布;
- interface 與現實不同。
因此:
遊戲更適合被視為:
35. 下一階段資料單位:State–Action–Mechanism
傳統 imitation data:
本文提出,深層解構後可以逐漸建立:
其中:
- :mechanism;
- :constraint;
- :goal;
- :evaluation。
這比純 image-action pair 更接近:
36. 如果 state 不可見怎麼辦?
商業遊戲經常只有:
此時可以建立:
其中:
是 state inference。
並標記:
為:
而不是事實。
這與解構資料庫中的證據分級直接連接。
37. 遊戲解構應保存「不知道」
如果無法判斷:
這是 utility AI 還是 priority rule?
資料庫不應強迫:
而應保存:
以及各自:
也就是把不確定性保留在研究結構中。
38. 可執行因果資料的最終形式
本文理想化地將深層遊戲資料表示為:
其中額外:
- :mechanism abstraction;
- :design intent / inferred intent。
這已經不再只是:
而接近:
39. 命題一:遊戲—內容非同一命題
遊戲除了表面內容,還包含可執行狀態轉移與交互規則。
40. 命題二:軌跡—可能空間非同一命題
影片與 replay 保存已實現路徑,而可重置遊戲允許探索未實現路徑。
41. 命題三:遊玩能力—機制理解非同一命題
Agent 能成功完成任務,不代表已經抽取可解釋、可重建、可遷移的結構知識。
42. 命題四:Source—General Knowledge 非同一命題
原始碼必須再經功能分類、結構抽象、跨系統正規化與因果分析,才可能成為可泛化知識。
43. 命題五:可執行重建驗證命題
若某機制假說:
可以生成獨立實作:
並在指定測試域內重現核心功能:
則其理解證據強於純文字解釋。
44. 從遊戲資料走向遊戲群
一款遊戲只能提供:
真正要發現一般規律,需要:
跨遊戲後才可以判斷:
- 哪些機制普遍;
- 哪些只是一款作品特例;
- 哪些是 genre pattern;
- 哪些是年代限制;
- 哪些是性能折衷;
- 哪些是設計風格。
因此下一篇正式進入:
04|商業遊戲智能考古:從 AI 名作到普通遊戲群
45. 結論
遊戲的重要性不只是:
AI 可以在裡面學習。
更重要的是:
遊戲本身是一種可操作、可重置、可干預、可重播、可測量的人造世界。
因此:
從 AI 資料角度看:
主要提供語義;
主要提供視覺結構;
提供時間與行為軌跡;
而遊戲可以再增加:
然而,直接讓 AI 看畫面、看影片、讀 JSON、讀 source code 或直接玩遊戲,仍然只完成部分學習。
真正的深層研究還需要:
所以遊戲既是 AI training environment,也可以成為一個尚未被完整開採的「可執行知識礦山」。
下一步不再只是找一款遊戲讓 AI 學。
而是開始系統研究:
參考資料
Bellemare, M. G., Naddaf, Y., Veness, J., & Bowling, M. (2012/2013). The Arcade Learning Environment: An Evaluation Platform for General Agents.
https://arxiv.org/abs/1207.4708Mnih, V. et al. (2013). Playing Atari with Deep Reinforcement Learning.
https://arxiv.org/abs/1312.5602Cobbe, K., Hesse, C., Hilton, J., & Schulman, J. (2019). Leveraging Procedural Generation to Benchmark Reinforcement Learning.
https://arxiv.org/abs/1912.01588Mohanty, S. et al. (2021). Measuring Sample Efficiency and Generalization in Reinforcement Learning Benchmarks: NeurIPS 2020 Procgen Benchmark.
https://arxiv.org/abs/2103.15332Fan, L. et al. (2022). MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge. NeurIPS 2022 Datasets and Benchmarks.
https://arxiv.org/abs/2206.08853Milani, S. et al. (2023). BEDD: The MineRL BASALT Evaluation and Demonstrations Dataset for Training and Benchmarking Agents that Solve Fuzzy Tasks. NeurIPS 2023 Datasets and Benchmarks.
https://proceedings.neurips.cc/paper_files/paper/2023/hash/67a6726dcd555b982cabb3446ffac01d-Abstract-Datasets_and_Benchmarks.htmlWang, G. et al. (2023). Voyager: An Open-Ended Embodied Agent with Large Language Models.
https://arxiv.org/abs/2305.16291Google DeepMind (2024). A generalist AI agent for 3D virtual environments (SIMA).
https://deepmind.google/blog/sima-generalist-ai-agent-for-3d-virtual-environments/Google DeepMind (2025). SIMA 2: An Agent that Plays, Reasons, and Learns With You in Virtual 3D Worlds.
https://deepmind.google/blog/sima-2-an-agent-that-plays-reasons-and-learns-with-you-in-virtual-3d-worlds/Google DeepMind (2025). Genie 3: A new frontier for world models.
https://deepmind.google/blog/genie-3-a-new-frontier-for-world-models/Google DeepMind (2021). Generally capable agents emerge from open-ended play.
https://deepmind.google/blog/generally-capable-agents-emerge-from-open-ended-play/
系列導航
- 01|AI 時代的資料資產:從「賣資料」到授權可計算知識
- 02|高品質資料之後:從 Quality Paradigm 到 Novelty Paradigm
- 03|遊戲不是內容資料:遊戲作為可執行因果世界
- 04|商業遊戲智能考古:從 AI 名作到普通遊戲群
- 05|遊戲解構經濟學:成本、難度、資訊增益與研究深度
- 06|商業遊戲 AI 的隱藏層:真正稀缺的是組合,而非基礎演算法
- 07|餵資料不等於學習:從 Raw Exposure 到深層解構學習
- 08|理解的工程驗收:如果真的懂,就重建給我看
- 09|合成資料之後:從模仿既有設計到探索新穎可執行設計空間
- 10|慣老闆測試:意圖重建、設計生成與可執行世界考古