← Archive
lm-002849 · 2026-08

09|合成資料之後:從模仿既有設計到探索新穎可執行設計空間

下載 MD 檔 ⬇
📎 附件 · Companion files — 隨文交付的程式 / 證明 / 資料,可獨立下載重驗

09|合成資料之後:從模仿既有設計到探索新穎可執行設計空間

Beyond Synthetic Data: From Imitating Existing Designs to Exploring Novel Executable Design Spaces

系列:《可執行資料與深層解構學習》
篇次: 09 / 10
作者: Neo.K with Aletheia
機構: EveMissLab/一言諾科技有限公司
版本: v0.1 Research Draft
日期: 2026-08-17
文件性質: 合成資料/可執行生成/Novelty Search/Quality-Diversity/World Models/AI 生成式設計
範圍聲明: 本文研究在既有系統已可被解構、重建與驗證之後,AI 如何進一步生成結構上新穎且可執行的新系統。本文不主張「新穎」本身等於有價值,也不主張生成世界模型已能替代具有完整邏輯、持久狀態與工程可控性的傳統遊戲 Runtime。


摘要

前八篇逐步建立了一條從資料資產、遊戲可執行性、商業遊戲智能考古、研究經濟學、組合架構、深層解構學習,到「若真的理解,就重建給我看」的工程驗收鏈。當 AI 已能對既有系統完成可靠重建後,下一個問題不再是「能不能模仿人類做過的東西」,而是:

AI 能否在已驗證知識空間之外,提出以前沒有出現過、仍可執行、可驗證、可維護的新設計?

本文提出「可執行新穎設計空間」(Executable Novel Design Space, ENDS)框架。核心生成閉環為:

KtGθx\*CompileExecuteVerifyNoveltyArchive\boxed{ K_t \rightarrow G_\theta \rightarrow x^\* \rightarrow \text{Compile} \rightarrow \text{Execute} \rightarrow \text{Verify} \rightarrow \text{Novelty} \rightarrow \text{Archive} }

其中 KtK_t 為目前已解構並驗證的知識空間, GθG_\theta 為生成器, x\*x^\* 為候選設計。候選首先必須進入有效域:

x\*A\boxed{ x^\*\in\mathcal A }

才有資格進行新穎性比較。本文因此拒絕:

Different=Novel=Valuable\text{Different} = \text{Novel} = \text{Valuable}

的錯誤等號,而將候選區分為表面新穎、結構新穎、行為新穎、功能新穎與可遷移新穎。

本文進一步吸收 Novelty Search 與 Quality-Diversity(QD)思想:單一 objective 最佳化容易收斂到少數高分模式,而真正的探索型設計系統應在多個 behavioral / architectural niches 中保存局部優秀解。近年的 QDHF 研究更顯示,人類相似性判斷可被用來學習 diversity metric;2025 年的 LLM generation diversity 研究則提出 effective semantic diversity,即只在通過品質門檻的輸出中比較真正語義差異,而不是把 lexical variation 誤認為新穎性。

本文同時指出 synthetic generation 的兩個危險。第一,生成模型可能大量產生「高品質重複」;第二,recursive synthetic retraining 可能使資料分布逐步塌縮。2026 年的研究甚至顯示,若 synthetic outputs 被固定 reward 偏好長期篩選,representation 可能收斂到狹窄模式。因此本文提出:生成式探索必須保留歷史 archive、real/human anchors、失敗樣本、distribution tails、genealogy 與多模型差異。

Google DeepMind 的 Genie 3 與 SIMA 2 展示了另一條重要趨勢:AI 不只生成圖片或影片,而開始生成可即時互動的世界,並讓 Agent 在未見生成環境中依高階指令行動。這證明「生成可互動環境」已不再只是理論方向;但本文進一步區分:

Interactive Generative WorldVerified Executable System Architecture.\boxed{ \text{Interactive Generative World} \neq \text{Verified Executable System Architecture}. }

可視世界能互動,不代表其內部規則、持久狀態、多人一致性、長期因果與可重建介面已被完整形式化。

本文最後提出:下一代遊戲與 Agent 生成系統的真正資料資產,不應只是大量 synthetic examples,而應是:

Verified Design Archive\boxed{ \text{Verified Design Archive} }

其中每個候選包含結構、來源、父代、突變、執行軌跡、失敗、修復、新穎性、局部 niche 與價值/風格座標。這個 archive 不是靜態 Dataset,而是一個持續擴張的可執行設計空間。

關鍵詞: Synthetic Data、Novelty Search、Quality-Diversity、Executable Design Space、Genie 3、SIMA 2、World Model、Effective Semantic Diversity、Open-Ended Search、Generative Design


1. 問題:重建成功之後,下一步是什麼?

第 08 篇的核心驗收是:

If you understand it, rebuild it.\boxed{ \text{If you understand it, rebuild it.} }

假設 AI 已經可以:

  • 解構;
  • 功能類型化;
  • 找出不變量;
  • 找出可替換自由度;
  • 生成獨立重建;
  • 通過 hidden tests。

那麼:

Reconstruction Capacity\boxed{ \text{Reconstruction Capacity} }

已經成立。

下一步自然變成:

Creation Capacity.\boxed{ \text{Creation Capacity}. }

2. 模仿不是創造

如果已知:

X1,X2,,Xn,X_1,X_2,\ldots,X_n,

AI 生成:

X\*X^\*

但:

X\*XiX^\* \approx X_i

只是:

  • 換名字;
  • 換素材;
  • 換參數;
  • 換 UI;

那麼:

N(X\*Kt)0.\boxed{ N(X^\*\mid K_t)\approx0. }

即使作品「全新生成」,其結構新穎性仍可能接近零。


3. Synthetic 不等於 Novel

這是本文最重要的第一個不等式:

Synthetic⇏Novel.\boxed{ \text{Synthetic} \not\Rightarrow \text{Novel}. }

AI 自己生成的資料仍可能只是既有分布的高機率區域重採樣。


4. 高品質重複

假設生成器:

GθG_\theta

非常強。

每個候選:

xix_i

都:

  • 可編譯;
  • 可執行;
  • 沒有 bug;
  • UI 完整;
  • 行為合理。

即:

Q(xi)0.Q(x_i)\gg0.

但如果:

dstruct(xi,xj)0,d_{\mathrm{struct}}(x_i,x_j)\approx0,

則 corpus 可能只是:

High-Quality Repetition.\boxed{ \text{High-Quality Repetition}. }

5. 生成時代的新瓶頸

因此:

CgenerationC_{\mathrm{generation}}\downarrow

不意味:

CdiscoveryC_{\mathrm{discovery}}\downarrow

到相同程度。

真正瓶頸可能變成:

Search+Evaluation+Selection.\boxed{ \text{Search} + \text{Evaluation} + \text{Selection}. }

6. 可執行生成閉環

本文提出:

KtGθx\*CEVNA\boxed{ K_t \rightarrow G_\theta \rightarrow x^\* \rightarrow C \rightarrow E \rightarrow V \rightarrow N \rightarrow A }

其中:

  • KtK_t:knowledge archive;
  • GθG_\theta:generator;
  • x\*x^\*:candidate;
  • CC:compile;
  • EE:execute;
  • VV:verify;
  • NN:novelty measurement;
  • AA:archive decision。

7. 第一關不是新穎,而是有效

候選首先進:

A={x:Q(x)τQ,R(x)τR,V(x)τV}.\boxed{ \mathcal A = \{ x: Q(x)\geq\tau_Q, R(x)\geq\tau_R, V(x)\geq\tau_V \}. }

其中:

  • QQ:基本品質;
  • RR:reproducibility;
  • VV:verification success。

若:

xA,x\notin\mathcal A,

它即使非常奇怪,

也不能直接稱為有價值新穎設計。


8. 奇怪不是創新

隨機生成:

xnoisex_{\mathrm{noise}}

可能有:

d(xnoise,Kt)0.d(x_{\mathrm{noise}},K_t)\gg0.

但:

Utility(xnoise)0.Utility(x_{\mathrm{noise}})\approx0.

因此:

DistanceNovelty Value.\boxed{ \text{Distance} \neq \text{Novelty Value}. }

9. Admissible Novelty

定義:

NA(xKt)=1[xA]N(xKt).\boxed{ N_A(x\mid K_t) = \mathbf 1[x\in\mathcal A] \cdot N(x\mid K_t). }

只有有效候選才計入真正探索。


10. 表面新穎

Nsurface.N_{\mathrm{surface}}.

包括:

  • 新文字;
  • 新美術;
  • 新命名;
  • 新 layout;
  • 新 skin;
  • 新 parameter。

這類非常容易生成。


11. 結構新穎

Nstruct.N_{\mathrm{struct}}.

例如:

  • module graph 改變;
  • control hierarchy 改變;
  • scheduler 改變;
  • state decomposition 改變;
  • timing topology 改變。

12. 行為新穎

Nbehavior.N_{\mathrm{behavior}}.

若系統產生新的:

  • 策略;
  • trajectory;
  • 群體行為;
  • 失敗恢復;
  • 社會模式;

則行為空間出現擴張。


13. 功能新穎

Nfunction.N_{\mathrm{function}}.

候選可能達到:

以前同類系統沒有提供的新功能。

例如:

  • 新型玩家/NPC 協作;
  • 新種群體協調;
  • 新種 persistent simulation;
  • 新種局部—全域切換。

14. 可遷移新穎

Ntransfer.N_{\mathrm{transfer}}.

如果新機制可被搬到:

  • 遊戲;
  • 軟體;
  • 機器人;
  • workflow;

則其知識價值更高。


15. 新穎性向量

因此:

N(x)=(Ns,Nst,Nb,Nf,Nt)\boxed{ \mathbf N(x) = ( N_s, N_{st}, N_b, N_f, N_t ) }

分別表示:

  • surface;
  • structural;
  • behavioral;
  • functional;
  • transfer novelty。

16. 不應太早壓成一個分數

可能:

Nst(A)>Nst(B),N_{st}(A)>N_{st}(B),

但:

Nf(A)<Nf(B).N_f(A)<N_f(B).

所以:

N\boxed{ \mathbf N }

比單一:

NN

更有資訊量。


17. Effective Semantic Diversity

2025 年對 LLM open-ended generation 的研究提出:

Effective Semantic Diversity

其核心思想可以概括為:

多樣性必須在通過品質門檻的輸出之間衡量。

這與本文完全一致。

不是比較:

all outputs,\text{all outputs},

而是:

{x:Q(x)τQ}.\boxed{ \{x:Q(x)\geq\tau_Q\}. }

18. 語法多樣不等於語義多樣

模型可以生成:

Use shield.
Activate shield.
Deploy defensive barrier.
Raise protection field.

文字不同,

但 functional policy 可能完全相同。

因此:

Lexical Diversity≢Semantic / Behavioral Diversity.\boxed{ \text{Lexical Diversity} \not\equiv \text{Semantic / Behavioral Diversity}. }

19. Program Execution 可以測更深多樣性

在程式/系統生成中,

可以直接比較:

Behavior(Pi).Behavior(P_i).

因此:

dexec\boxed{ d_{\mathrm{exec}} }

往往比:

dtextd_{\mathrm{text}}

更有意義。


20. Quality-Diversity 的核心問題

傳統 optimisation:

x\*=argmaxxf(x).\boxed{ x^\* = \arg\max_x f(x). }

最終只保留:

x\*.x^\*.

但 open-ended design 不只需要一個最佳解。


21. 為什麼一個最佳解不夠?

遊戲中:

  • 最有效率 NPC;
  • 最強敵人;
  • 最穩定策略;

不一定是:

  • 最好玩;
  • 最可讀;
  • 最有個性;
  • 最適合所有情境。

因此:

One Optimum\boxed{ \text{One Optimum} }

本身可能是錯誤目標。


22. Quality-Diversity

QD 的目標可概括為:

Many High-Quality Solutions across Different Niches.\boxed{ \text{Many High-Quality Solutions across Different Niches}. }

不是:

One Best Solution.\boxed{ \text{One Best Solution}. }

23. Archive

令:

B={B1,,Bm}\mathcal B = \{B_1,\ldots,B_m\}

為 behavioral / architectural niches。

每個:

BjB_j

保存:

Elite(Bj).Elite(B_j).

24. MAP-Elites 思想

可將:

  • aggressiveness;
  • planning horizon;
  • cooperation;
  • resource use;
  • unpredictability;

等作為 dimensions。

每個 cell:

cc

保存局部最佳設計。


25. 這非常適合遊戲 AI

例如敵人 AI:

Aggression Coordination Planning
low low short
high low short
high high long
low high long

每格都可能存在有效設計。

不是只有:

maximum win rate.\boxed{ \text{maximum win rate}. }

26. QDHF:人類可以學習 diversity metric

QD 的傳統困難:

diversity dimensions 要由誰定?

如果人類事先只想到:

  • speed;
  • size;
  • score;

可能錯過真正重要的差異。


27. Human Similarity Feedback

Quality Diversity through Human Feedback 提出:

Human Similarity JudgmentsLearned Diversity Metric.\boxed{ \text{Human Similarity Judgments} \rightarrow \text{Learned Diversity Metric}. }

這對遊戲特別重要。

因為玩家可能說:

這兩個 AI 雖然數值不同,但玩起來一模一樣。


28. 玩家感知是另一個 embedding

可建立:

ϕH(x)\phi_H(x)

表示:

Human-Perceived Behavior Representation.\boxed{ \text{Human-Perceived Behavior Representation}. }

其距離:

dH(xi,xj)d_H(x_i,x_j)

可能比程式結構距離更接近設計價值。


29. 結構距離與感知距離可能不一致

可能:

dstruct(A,B)0d_{\mathrm{struct}}(A,B)\gg0

但:

dH(A,B)0.d_H(A,B)\approx0.

也可能反過來。

因此:

Architecture NoveltyExperience Novelty.\boxed{ \text{Architecture Novelty} \neq \text{Experience Novelty}. }

30. 第 09 篇先不判斷「哪個比較好」

這一篇主要建立:

Exploration Space.\boxed{ \text{Exploration Space}. }

至於:

  • 好玩;
  • 美;
  • 有生命感;
  • 有張力;
  • 符合使用者意圖;

會在第 10 篇正式變成:

Value / Style Selection.\boxed{ \text{Value / Style Selection}. }

31. Open-Ended Search

真正的生成研究不一定有明確終點:

x\*.x^\*.

而是持續問:

還有什麼不同的有效解?

因此:

Open-Ended Search.\boxed{ \text{Open-Ended Search}. }

32. Archive Frontier

令:

St\mathcal S_t

為已探索設計空間。

其邊界:

St.\partial\mathcal S_t.

下一批候選應優先探索:

Neighborhood(St).\boxed{ \operatorname{Neighborhood}( \partial\mathcal S_t ). }

33. Exploit 與 Explore

生成器可以兩種模式:

Exploit

Improve existing elites.\boxed{ \text{Improve existing elites}. }

Explore

Find unoccupied niches.\boxed{ \text{Find unoccupied niches}. }

34. 動態比例

令:

αt\alpha_t

為 exploitation ratio。

1αt1-\alpha_t

為 exploration ratio。

早期:

1αt.1-\alpha_t\uparrow.

成熟產品期:

αt.\alpha_t\uparrow.

35. Mutation Operator

候選可以由:

x=M(x)x' = M(x)

產生。

Mutation 可作用於:

  • architecture;
  • parameters;
  • timing;
  • priority;
  • memory;
  • communication;
  • failure handling。

36. Crossover

也可以:

x=C(xi,xj).x' = C(x_i,x_j).

例如:

Sims-like Autonomy+RTS Tactical Coordination\boxed{ \text{Sims-like Autonomy} + \text{RTS Tactical Coordination} }

生成新型 agent society。


37. 但 cross-over 不是把兩個 feature list 拼起來

真正組合需要:

  • interface compatibility;
  • state compatibility;
  • timing;
  • resource budget;
  • conflict resolution。

所以:

Concept MergeExecutable Composition.\boxed{ \text{Concept Merge} \neq \text{Executable Composition}. }

38. Composition Compiler

因此需要:

Ccompile\boxed{ \mathcal C_{\mathrm{compile}} }

檢查:

  • required inputs;
  • provided outputs;
  • type;
  • state contract;
  • control ownership;
  • timing;
  • failure path。

39. Generation Contract

每個生成模組可表示:

Mi:(Ii,Si,Ci)(Oi,ΔSi,Ei).M_i: (I_i,S_i,C_i) \rightarrow (O_i,\Delta S_i,E_i).

組合:

MiMjM_i\circ M_j

只有在契約相容時合法。


40. 這讓 novelty search 不再只是文字搜索

候選必須:

Type-check+Compile+Execute.\boxed{ \text{Type-check} + \text{Compile} + \text{Execute}. }

這是「可執行新穎性」的核心。


41. Executable Novel Design Space

本文定義:

Et={x:Compile(x)=1,Verify(x)=1}.\boxed{ \mathcal E_t = \{ x: Compile(x)=1, Verify(x)=1 \}. }

新穎搜索實際在:

Et\boxed{ \mathcal E_t }

上進行。


42. Search Space 不是固定的

AI 可以生成新的 primitive:

p\*.p^\*.

此時:

Pt+1=Pt{p\*}.\mathcal P_{t+1} = \mathcal P_t \cup \{p^\*\}.

所以:

Design Space Itself Can Expand.\boxed{ \text{Design Space Itself Can Expand}. }

43. Meta-Novelty

如果 AI 只是:

在既有 graph 裡找新節點排列,

這是一級 novelty。

更高一層是:

發明新的 module type。

即:

Nmeta.\boxed{ N_{\mathrm{meta}}. }

44. 新 primitive 必須更嚴格驗證

如果:

p\*p^\*

無法對應已知 pattern,

需要:

  • unit tests;
  • ablation;
  • benchmark;
  • cross-case;
  • resource profile。

否則「發明」很容易只是命名。


45. Synthetic Data 的第二個問題:分布塌縮

若:

MtDtsynMt+1,M_t \rightarrow D_t^{syn} \rightarrow M_{t+1},

反覆進行,

模型可能逐步失去:

  • rare modes;
  • tails;
  • minority patterns。

46. Model Collapse

已有研究指出:

Recursive Synthetic Training\boxed{ \text{Recursive Synthetic Training} }

在某些條件下會造成 distribution degradation。

因此:

More Generations⇏More Diversity.\boxed{ \text{More Generations} \not\Rightarrow \text{More Diversity}. }

47. 2026 年的新問題:Curated Collapse

即使不是全部 synthetic,

若每輪都用固定 reward:

r(x)r(x)

只保留:

argmaxr,\arg\max r,

也可能造成:

Preference Collapse.\boxed{ \text{Preference Collapse}. }

48. 固定偏好會壓縮可能空間

例如永遠選:

玩家評分最高。

久而久之 archive 可能只剩:

  • 熟悉;
  • 安全;
  • 主流;
  • 容易理解。

新穎區域被淘汰。


49. 所以不能只使用單一 reward

應使用:

r(x)=(r1,,rk).\boxed{ \mathbf r(x) = (r_1,\ldots,r_k). }

例如:

  • validity;
  • novelty;
  • efficiency;
  • readability;
  • style;
  • surprise;
  • transfer。

50. Pareto Archive

保留:

ParetoFront(r).\boxed{ \operatorname{ParetoFront}(\mathbf r). }

而不是全部壓成:

Score(x).\operatorname{Score}(x).

51. Real / Historical Anchor

生成 archive 必須保留:

Dreal\boxed{ D_{\mathrm{real}} }

與:

Dhistorical.\boxed{ D_{\mathrm{historical}}. }

其作用是:

  • distribution anchor;
  • human surprise;
  • rare pattern;
  • external reference。

52. 失敗 archive

另外保留:

D.\boxed{ D^{-}. }

包含:

  • compile fail;
  • runtime fail;
  • deadlock;
  • exploit;
  • boring equilibrium;
  • resource explosion;
  • unreadable behavior。

53. Why Failure Matters

如果只保存成功:

D+,D^+,

AI 不知道:

邊界在哪。

失敗樣本可以建立:

A.\boxed{ \partial\mathcal A. }

即有效域邊界。


54. Genealogy

每個生成候選應保存:

candidate_id:
parents:
generator:
prompt:
mutation:
crossover:
source_archive:
compile_result:
runtime_tests:
novelty_vector:
niche:
quality:
failure:
repair_history:
human_feedback:

55. Genealogy 是防止「假創新」的重要工具

如果:

x\*x^\*

只是:

M(x1)M(x_1)

中一個微小 parameter change,

genealogy 會顯示它與父代距離很近。


56. Design Lineage

因此可建立:

L=Design Lineage Graph.\boxed{ \mathcal L = \text{Design Lineage Graph}. }

不只保存 final artifact,

還保存:

它怎麼長出來。


57. 這比普通 synthetic dataset 更有價值

普通 synthetic data:

input → output

Design lineage:

parent
→ mutation
→ candidate
→ test
→ failure
→ repair
→ accepted

這是一種:

Process Supervision.\boxed{ \text{Process Supervision}. }

58. World Models 開始讓「世界本身」可生成

生成式 AI 已從:

  • text;
  • image;
  • video;

逐漸走向:

Interactive World.\boxed{ \text{Interactive World}. }

59. Genie

2024 年 Genie 已展示:

從未標註網路影片生成 action-controllable virtual worlds。

這代表:

Observed VideoInteractive Environment.\boxed{ \text{Observed Video} \rightarrow \text{Interactive Environment}. }

首次成為大規模生成研究方向之一。


60. Genie 3

2025 年 Genie 3 進一步展示:

  • text prompt;
  • real-time interaction;
  • 720p;
  • 20–24 fps;
  • world consistency;
  • promptable world events。

因此:

PromptReal-Time Generated World.\boxed{ \text{Prompt} \rightarrow \text{Real-Time Generated World}. }

已具有實際研究原型。


61. Promptable World Events

例如使用者可以:

  • 改天氣;
  • 加角色;
  • 加物件。

這等於生成:

Counterfactual Environment Variation.\boxed{ \text{Counterfactual Environment Variation}. }

對 Agent learning 非常有價值。


62. SIMA 2 + Genie 3

DeepMind 已展示:

Generated World+Generalist Agent.\boxed{ \text{Generated World} + \text{Generalist Agent}. }

SIMA 2 在未見 Genie 3 世界中仍可:

  • 定位;
  • 理解指令;
  • 朝目標行動。

這意味:

World GenerationAgent Curriculum.\boxed{ \text{World Generation} \rightarrow \text{Agent Curriculum}. }

開始成為實際研究路線。


63. 但 generated world 不等於可驗證 world

這是本文的重要保留。

Genie 3 的世界主要是生成式 world model。

而我們的 ENDS 還要求:

  • explicit state;
  • rules;
  • invariants;
  • long-term persistence;
  • testability;
  • reproducibility;
  • module contracts。

因此:

Interactive World ModelAuditable Executable World.\boxed{ \text{Interactive World Model} \neq \text{Auditable Executable World}. }

64. 兩者未來可以結合

生成 world model:

WGW_G

可以提供:

  • 視覺;
  • 環境;
  • 未知場景;
  • agent curriculum。

結構 runtime:

WRW_R

提供:

  • state;
  • rules;
  • tests;
  • persistence。

未來可能:

W=WGWR.\boxed{ W = W_G \otimes W_R. }

65. Neural Exterior + Symbolic / Executable Interior

可以想像:

Generated Appearance+Verified World Kernel.\boxed{ \text{Generated Appearance} + \text{Verified World Kernel}. }

外部世界可以生成,

內部因果與狀態仍可檢查。


66. 這對遊戲生成非常重要

一句話生成遊戲:

PromptGame\text{Prompt} \rightarrow \text{Game}

如果只生成:

  • 畫面;
  • 音樂;
  • 程式;
  • 場景;

仍不保證:

System Coherence.\boxed{ \text{System Coherence}. }

67. 真正的 One-Prompt Game Generation

至少需要:

PromptIntentSpecArchitectureContentRuntimeTestsPlayable World.\boxed{ \text{Prompt} \rightarrow \text{Intent} \rightarrow \text{Spec} \rightarrow \text{Architecture} \rightarrow \text{Content} \rightarrow \text{Runtime} \rightarrow \text{Tests} \rightarrow \text{Playable World}. }

這會在第 10 篇進入意圖重建。


68. Novelty Search 也能用多模型

不同模型:

M1,,MkM_1,\ldots,M_k

具有不同生成偏好。

因此:

Model Diversity\boxed{ \text{Model Diversity} }

本身可能成為 search operator diversity。


69. 異質研究艦隊

例如:

  • Model A 擅長保守工程;
  • Model B 擅長結構重組;
  • Model C 擅長高張力創意;
  • Model D 擅長驗證。

可以形成:

Heterogeneous Generative Search.\boxed{ \text{Heterogeneous Generative Search}. }

70. 不需要假裝所有模型一樣

每個:

MiM_i

可被視為:

Different Mutation Prior.\boxed{ \text{Different Mutation Prior}. }

這是多模型系統真正可能的優勢之一。


71. 2026 年分散式 QD 搜索的啟示

近期研究已開始探索:

用異質 LLM 作為不同 mutation operators,進行 distributed quality-diversity search。

這仍是早期研究,

但其方向與本文高度一致:

Model HeterogeneitySearch Diversity.\boxed{ \text{Model Heterogeneity} \rightarrow \text{Search Diversity}. }

72. AI 海戰術需要 archive,而不是只需要更多 Agent

如果只有:

10001000

個 Agent 同時亂生,

可能得到:

10001000

個重複答案。

所以:

ParallelismExploration.\boxed{ \text{Parallelism} \neq \text{Exploration}. }

73. Central Archive

每個 Agent 生成前先查:

At.\mathcal A_t.

避免:

  • 重複;
  • 已失敗;
  • 已填滿 niche。

74. Search Coordinator

Coordinator 決定:

  • 哪些 niche 空;
  • 哪些 elite 要改進;
  • 哪些 failure 值得 repair;
  • 哪些 architecture frontier 尚未探索。

75. Research Fleet 的成熟形式

Generator Fleet+Verifier Fleet+Archive+Search Coordinator.\boxed{ \text{Generator Fleet} + \text{Verifier Fleet} + \text{Archive} + \text{Search Coordinator}. }

76. 生成不再是單次 Prompt

真正流程:

Search Episode.\boxed{ \text{Search Episode}. }

每次包含:

  1. query archive;
  2. choose frontier;
  3. generate;
  4. compile;
  5. execute;
  6. verify;
  7. compare;
  8. archive;
  9. mutate again。

77. 停止條件

Open-ended 不等於永遠亂跑。

可以設定:

ΔCoverage<τC\boxed{ \Delta Coverage<\tau_C }

且:

ΔNovelty<τN\boxed{ \Delta Novelty<\tau_N }

持續:

kk

輪時暫停。


78. 或轉換 search dimension

如果 architecture novelty 已飽和,

可以改找:

  • style;
  • efficiency;
  • robustness;
  • social behavior。

79. Search Space 是多尺度的

Ω=Ωprimitive×Ωcomposition×Ωparameter×Ωbehavior×Ωstyle.\boxed{ \Omega = \Omega_{\mathrm{primitive}} \times \Omega_{\mathrm{composition}} \times \Omega_{\mathrm{parameter}} \times \Omega_{\mathrm{behavior}} \times \Omega_{\mathrm{style}}. }

不同階段探索不同尺度。


80. 低層新穎與高層新穎

低層:

new parameter.\text{new parameter}.

中層:

new composition.\text{new composition}.

高層:

new interaction paradigm.\text{new interaction paradigm}.

元層:

new design language.\text{new design language}.

81. Novelty Debt

如果大量候選被標:

novel

但沒有真正比較 archive,

會形成:

Novelty Debt.\boxed{ \text{Novelty Debt}. }

未來重新去重會非常昂貴。


82. 因此 novelty 必須在線評估

候選:

x\*x^\*

產生後立即計算:

N(x\*At).\mathbf N(x^\*\mid\mathcal A_t).

不能等到百萬筆後再說:

我們來看看有多少其實一樣。


83. Archive Compression

Archive 也不能無限膨脹。

對同 niche:

BjB_j

如果新候選:

xx'

支配舊:

x,x,

則:

xx.x' \succ x.

可以:

  • 替換;
  • 壓縮;
  • 降為 history。

84. History 不應刪除

被替換:

xx

仍可保留 lineage pointer。

因為:

  • failure;
  • evolution;
  • provenance;

都有學習價值。


85. Validity–Novelty–Value 三階段

本文提出:

Stage 1: Validity\boxed{ \text{Stage 1: Validity} } Stage 2: Novelty\boxed{ \text{Stage 2: Novelty} } Stage 3: Value / Style\boxed{ \text{Stage 3: Value / Style} }

86. 第 09 篇主要處理前兩層

Can it work?\boxed{ \text{Can it work?} }

與:

Is it genuinely different?\boxed{ \text{Is it genuinely different?} }

87. 第 10 篇處理第三層

即:

Do humans actually want it?\boxed{ \text{Do humans actually want it?} }

88. 命題一:Synthetic–Novel 非同一命題

Synthetic Generation≢Novel Discovery.\boxed{ \text{Synthetic Generation} \not\equiv \text{Novel Discovery}. }

生成量增加不保證結構或行為新穎性增加。


89. 命題二:Validity-Gated Novelty 命題

新穎性應在:

xA\boxed{ x\in\mathcal A }

之後評估。

否則噪聲與失敗會被錯當成創新。


90. 命題三:Effective Diversity 命題

對 open-ended generation,更有價值的是:

Diversity among valid/high-quality outputs\boxed{ \text{Diversity among valid/high-quality outputs} }

而不是所有輸出的形式差異。


91. 命題四:Executable Novelty 命題

在可執行 domain 中,

應優先測:

Behavioral+Structural+Functional\boxed{ \text{Behavioral} + \text{Structural} + \text{Functional} }

差異,

而不是只測文本/embedding 差異。


92. 命題五:QD Archive 命題

若一個 domain 存在多種合法設計風格,

則:

Niche-wise Elite Archive\boxed{ \text{Niche-wise Elite Archive} }

比只保存單一 global optimum 更適合作為生成式研究記憶。


93. 命題六:Fixed-Preference Collapse 命題

即使候選品質高,

若長期只依單一固定偏好篩選,

仍可能造成:

Representation Narrowing.\boxed{ \text{Representation Narrowing}. }

因此需要多目標、archive 與外部 anchor。


94. 命題七:Generated World–Verified World 非同一命題

Interactive Generative World≢Auditable Executable World.\boxed{ \text{Interactive Generative World} \not\equiv \text{Auditable Executable World}. }

生成式 world model 與可驗證 state/rule runtime 各自提供不同能力。


95. 命題八:Search Fleet 命題

大量 AI 的價值不只來自:

Nagents.\boxed{ N_{\mathrm{agents}}. }

而來自:

Heterogeneous Priors+Shared Archive+Verifier+Coordinator.\boxed{ \text{Heterogeneous Priors} + \text{Shared Archive} + \text{Verifier} + \text{Coordinator}. }

96. 命題九:Genealogy 資產命題

生成式系統最有價值的資料不只 final artifact,

還包括:

ParentMutationFailureRepairAcceptance.\boxed{ \text{Parent} \rightarrow \text{Mutation} \rightarrow \text{Failure} \rightarrow \text{Repair} \rightarrow \text{Acceptance}. }

97. 命題十:Design Space Expansion 命題

當 AI 不只重組既有 primitive,

而能生成並驗證新的:

p\*,p^\*,

設計空間本身會:

ΩtΩt+1.\boxed{ \Omega_t \subsetneq \Omega_{t+1}. }

這才是真正強意義的生成式創新。


98. 與下一篇的連接

第 09 篇走到這裡,

AI 已能:

  • 解構人類舊設計;
  • 重建;
  • 生成;
  • 驗證;
  • 探索新穎空間。

但剩下一個最現實的問題:

所以呢?

人類不會因為:

N(x)0N(x)\gg0

就自動喜歡它。

人類會說:

太複雜。

不好玩。

我不是要這個。

我想要的是有生命感,不是效率最大化。

我要像某種感覺,但不要複製它。

因此最後一步不是:

More Novelty.\boxed{ \text{More Novelty}. }

而是:

Intent Reconstruction+Value / Style Selection.\boxed{ \text{Intent Reconstruction} + \text{Value / Style Selection}. }

這就是最後一篇:

10|慣老闆測試:意圖重建、設計生成與可執行世界考古


99. 結論

生成式 AI 將讓:

Candidate Generation\boxed{ \text{Candidate Generation} }

變得極度便宜。

但候選便宜並不代表發現便宜。

真正難的是:

ValidNovelMeaningfully Different.\boxed{ \text{Valid} \land \text{Novel} \land \text{Meaningfully Different}. }

因此下一代 synthetic data pipeline 不應只是:

PromptMillions of Samples.\text{Prompt} \rightarrow \text{Millions of Samples}.

而應是:

Knowledge ArchiveFrontier SelectionGenerationExecutionVerificationNovelty MeasurementNiche ArchiveIteration.\boxed{ \text{Knowledge Archive} \rightarrow \text{Frontier Selection} \rightarrow \text{Generation} \rightarrow \text{Execution} \rightarrow \text{Verification} \rightarrow \text{Novelty Measurement} \rightarrow \text{Niche Archive} \rightarrow \text{Iteration}. }

當這套系統成熟後,

我們得到的不再是一個「合成資料集」。

而是一個:

可執行設計空間

其狀態隨時間:

S0S1\boxed{ \mathcal S_0 \subset \mathcal S_1 \subset \cdots }

持續擴張。

資料庫只是它的記憶。

生成器只是它的探索器。

Verifier 是它的現實邊界。

Archive 是它的歷史。

而人類接下來真正要做的事情,是決定:

在無數有效又新穎的可能世界中,我們到底想要哪一個?


參考資料

  1. Lehman, J., & Stanley, K. O. (2011). Abandoning Objectives: Evolution Through the Search for Novelty Alone. Evolutionary Computation, 19(2), 189–223.

  2. Mouret, J.-B., & Clune, J. (2015). Illuminating search spaces by mapping elites. arXiv:1504.04909.
    https://arxiv.org/abs/1504.04909

  3. Ding, L., Zhang, J., Clune, J., Spector, L., & Lehman, J. (2024). Quality Diversity through Human Feedback: Towards Open-Ended Diversity-Driven Optimization. ICML 2024, PMLR 235:11072–11090.
    https://proceedings.mlr.press/v235/ding24h.html

  4. Grillotti, L., Faldor, M., León, B. G., & Cully, A. (2024). Quality-Diversity Actor-Critic: Learning High-Performing and Diverse Behaviors via Value and Successor Features Critics. ICML 2024.
    https://proceedings.mlr.press/v235/grillotti24a.html

  5. Shypula, A., Li, S., Zhang, B., Padmakumar, V., Yin, K., & Bastani, O. (2025). Evaluating the Diversity and Quality of LLM Generated Content. COLM 2025.
    https://openreview.net/forum?id=O7bF6nlSOD

  6. Zhang, Y. et al. (2025). NoveltyBench: Evaluating Language Models for Humanlike Diversity. COLM 2025.
    https://openreview.net/forum?id=XZm1ekzERf

  7. Wan, Z. et al. (2025). Diversifying Policy Behaviors with Extrinsic Behavioral Curiosity. ICML 2025, PMLR 267:62135–62154.
    https://proceedings.mlr.press/v267/wan25i.html

  8. Shumailov, I. et al. (2024). AI models collapse when trained on recursively generated data. Nature 631, 755–759.
    https://doi.org/10.1038/s41586-024-07566-y

  9. Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences. arXiv:2605.07724, 2026.
    https://arxiv.org/abs/2605.07724

  10. Bruce, J. et al. (2024). Genie: Generative Interactive Environments. Google DeepMind.
    https://deepmind.google/research/publications/60474/

  11. Google DeepMind (2025). Genie 3: A new frontier for world models.
    https://deepmind.google/blog/genie-3-a-new-frontier-for-world-models/

  12. Google DeepMind (2025). SIMA 2: An Agent that Plays, Reasons, and Learns With You in Virtual 3D Worlds.
    https://deepmind.google/blog/sima-2-an-agent-that-plays-reasons-and-learns-with-you-in-virtual-3d-worlds/

  13. Räisä, O., van Breugel, B., & van der Schaar, M. (2025). Position: All Current Generative Fidelity and Diversity Metrics are Flawed. ICML 2025 Position Paper.
    https://openreview.net/forum?id=DMRrbb36r5

  14. Donaghy, J., & Rastogi, S. (2026). DEI: Diversity in Evolutionary Inference for Quality-Diversity Search. arXiv:2605.27130.
    https://arxiv.org/abs/2605.27130


系列導航

  • 01|AI 時代的資料資產:從「賣資料」到授權可計算知識
  • 02|高品質資料之後:從 Quality Paradigm 到 Novelty Paradigm
  • 03|遊戲不是內容資料:遊戲作為可執行因果世界
  • 04|商業遊戲智能考古:從 AI 名作到普通遊戲群
  • 05|遊戲解構經濟學:成本、難度、資訊增益與研究深度
  • 06|商業遊戲 AI 的隱藏層:真正稀缺的是組合,而非基礎演算法
  • 07|餵資料不等於學習:從 Raw Exposure 到深層解構學習
  • 08|理解的工程驗收:如果真的懂,就重建給我看
  • 09|合成資料之後:從模仿既有設計到探索新穎可執行設計空間
  • 10|慣老闆測試:意圖重建、設計生成與可執行世界考古