世界不是 Prompt
——World Projection、Cognitive Scheduler 與 AI Agent 的有限認知架構
作者: Neo.K
機構: EveMissLab/一言諾科技有限公司
日期: 2026-10-07(整理日期;原稿未標註日期)
版本: 原稿未標註(本次整理版)
摘要
當遊戲世界開始具有:
- 持續時間;
- 多名居民;
- 工作與物流;
- 社會事項;
- 記憶;
- 公告;
- 對話;
- 衝突;
- 醫療;
- 生產;
- 因果歷史;
一個新的問題立刻出現:
大型語言模型每一次決策到底應該看到多少世界?
最直觀的做法是將整個 World State 送入 Prompt:
LLMi←Wt.然而,這種方式同時產生三種問題:
- 計算問題:世界越大,Prompt 越大;
- 認知問題:每個居民都知道自己不可能知道的事;
- 架構問題:Agent 與 World 的邊界重新消失。
因此,本篇提出 AI 原生世界中的第二項核心原則:
World State=Agent Observation每一名 Agent 應只接收一個由 World 產生的個體化投影:
Oi(t)=Pi(Wt)其中:
- Wt 是完整世界;
- Pi 是居民 (i) 的觀察投影算子;
- Oi(t) 是該居民此刻真正可以用來決策的資訊。
在此基礎上,AI 原生遊戲還需要第二層調度:
Cognitive Scheduler它決定:
哪個 Agent 現在真的需要呼叫模型?
於是完整架構由:
World→Projection→Scheduler→Cognition→Intent組成。
這使一個重要命題成立:
Persistent Agent=Persistent LLM Invocation角色可以二十四小時存在於世界中,卻不需要二十四小時都由大型模型持續思考。
1. 完整世界不是 Agent Prompt
假設一座 AI 小鎮有 30 名居民。
World Runtime 保存:
Wt其中可能包含:
- 所有居民狀態;
- 所有人位置;
- 所有對話;
- 所有記憶;
- 所有工作任務;
- 全部庫存;
- 所有貨批;
- 全鎮公告;
- 全部 Social Matter;
- 衝突;
- 傷病;
- 建築;
- 天氣;
- 世界事件;
- 歷史紀錄。
如果居民 A 每次決策都讀取:
Wt那麼 A 將知道:
B 在另一棟房子裡正在說什麼。
C 的私人傷勢。
D 剛收到什麼私人訊息。
倉庫裡所有物品。
全鎮所有人的工作安排。
這不是智能較高。
這是:
Ontological Omniscience本體論上的全知。
因此,一個真正具有社會性的 AI 世界必須承認:
Knowledgei⊂WorldState.
2. Observation Projection Operator
本篇將居民 (i) 的可觀測世界定義為:
Oi(t)=Pi(Wt)其中 Pi 不是單純資料裁剪,而是一組 World Authority 規則。
它決定:
這個人現在有資格知道什麼?
例如可以包含:
Pi=Pself+Pspace+Psocial+Pwork+Pknowledge+Phistory.
2.1 Self Projection
居民永遠可以知道自己的:
- 身體狀態;
- 當前 Action;
- Needs;
- 傷病;
- 自己的工作;
- 自己的承諾。
即:
Pself(Wt).
2.2 Spatial Projection
居民只能感知:
Nearbyi(t).而不是所有居民。
my_ai_town 的 wake packet 中會投影 nearby、place、可用活動與地點相關資訊,而不是完整居民資料庫。
因此:
Residentj∈/Nearbyi通常意味:
Statej∈/Oi.
2.3 Work Projection
居民不是看到全鎮所有 Task,而是:
Tasksi(t).也就是:
目前真的和自己相關、自己有資格處理的工作。
Wake packet 會直接提供 work_tasks,而不是讓模型自己從整個工作資料庫猜工作。
這使:
[
World\ Task\ Graph
]
可以很大,而單一 Agent context 保持局部。
2.4 Knowledge Projection
更重要的是:
Knowni(t).例如 wake packet 中的:
known_announcements
不是全部公告,而應是:
這名居民已被 World 登記為知道的公告。
Agent Prompt 甚至明確將其描述為:
本人已經知道、可以在真實對話中轉告的公告。
所以:
Announcement∈Wt並不在概念上自動等於:
Announcement∈Oi(t).這是建立資訊不對稱的基礎。
3. World Projection 不只是 Token Optimization
這點非常重要。
如果只把 Projection 理解成:
為了省 Token。
會低估它的作用。
Projection 同時解決至少四個問題。
3.1 Epistemic Locality
每個人知道的東西不同:
Ki=Kj.因此才能存在:
3.2 Cognitive Locality
不同居民關心的東西不同:
Attentioni=Attentionj.同一件公共事件,A 可以注意,B 可以忽略。
my_ai_town 的 Social Matter Exposure 甚至允許 Agent 選擇:
{notice,ignore,defer}.而每輪最多只投影一項 actionable social exposure。
這等於引入:
Attention Bandwidth而不只是 Knowledge Bandwidth。
3.3 Security Boundary
如果 Agent 根本看不到某項資料,它就較難憑 Prompt 直接濫用。
例如:
因此:
[
Projection
]
也是 World Authority 的一部分。
3.4 Model Scaling
假設世界資料量為:
[
|W|.
]
如果每名居民都吃完整世界:
ContextCost∼N∣W∣.但如果每名居民只吃自己的局部投影:
ContextCost∼i∑∣Pi(W)∣.而在良好設計下:
∣Pi(W)∣≪∣W∣.這是 Agent World 能不能從 5 人擴到 50、500 人的基本前提之一。
4. Wake Packet:一次認知脈衝
在這種架構中,Agent 不需要一直讀世界。
更自然的方法是:
Wake也就是:
世界在某些時刻告訴居民:「現在值得重新思考。」
一次 wake packet 可以包含:
Oi(t)以及:
Ei(t)最近發生的重要事件。
再加:
Ri(t)前一次行動結果。
形成:
Wakei=(Observation,Events,Results).my_ai_town 的 Wake Packet 正是以這類結構提供:
- time;
- weather;
- me;
- nearby;
- place;
- work tasks;
- life destination options;
- known announcements;
- conversation;
- social matters;
- social exposures;
- conflicts;
- injury / medical context;
- events;
- action results。
這比「把最近所有 Log 貼給 LLM」乾淨得多。
5. Wake 不代表每一秒都思考
這導出一個非常重要的架構原則:
Simulation Time=Cognition TimeWorld 可以:
t→t+Δt持續前進。
但 Agent Cognition 不必每個 tick 都執行。
例如居民正在睡覺。
世界仍然可以持續:
- 天氣改變;
- 時間前進;
- 其他居民活動;
- 物流運作。
但睡覺居民未必需要:
[
LLMCall
]
每分鐘一次。
6. Persistent Agent 不等於 Persistent Model
這可以正式寫成:
Persistent Agent State=Persistent LLM Invocation.Agent 的存在至少可以分成:
Ai=(Statei,Memoryi,Policyi).其中:
Statei一直存在。
Memoryi一直存在。
但:
Policyi只在必要時被激活。
也就是:
LLMi(t)={active,inactive,Triggeri(t)=1Triggeri(t)=0.這是大型 Agent 世界非常重要的成本模型。
7. 什麼事情值得 Wake?
合理的 wake trigger 可以分成幾類。
7.1 Action Completion
例如:
GoToCafe→Arrived.到達之後需要重新判斷。
7.2 World Interruption
例如:
- 店關門;
- 工作取消;
- 路徑失效;
- 受傷;
- 被攻擊。
7.3 Social Event
例如:
- 被搭話;
- 收到訊息;
- 被邀請;
- 被指派;
- 聽到重要公告。
7.4 Need Threshold
例如:
Satiety≤35.則值得重新決策是否吃飯。
而不是每:
Satiety=78→77都重新呼叫 LLM。
7.5 Scheduled Reconsideration
例如:
十分鐘後再考慮。
Social Exposure 的 defer 就有類似概念。
所以:
[
Cognition
]
本身也可以由 Event Scheduler 管理。
8. Observation Preparation 也不能一次全部算
當世界越大,另一個問題出現:
即使不呼叫 LLM,
Pi(W)本身也可能很貴。
例如需要計算:
- Nearby;
- 可達地點;
- Available Props;
- Activity Options;
- Job Tasks;
- Conversation Context;
- Social Matters;
- Conflict Context。
因此 my_ai_town 將 wake preparation 拆成階段式處理,例如依序準備附近資訊、travel、life options、props、activities、place、conversation、social 等內容,而不是單次同步完成所有投影。
這揭露一個重要事實:
Perception itself is a computational workload.在大型 Agent World 中,
「NPC 看到了什麼」本身就需要排程。
9. Frame-Budgeted Cognition
遊戲和離線 Agent Simulation 最大不同之一,是:
[
Frame\ Budget.
]
即使 AI 計算總量可以接受,如果所有 NPC 同一幀更新:
30×Projection+30×LLM畫面仍然可能卡住。
因此需要:
Frame Budgeted Preparation例如:
P1→frame1P2→frame2逐步完成。
也就是:
[
CognitionLatency
]
可以被攤平,而不是:
[
MainThreadSpike.
]
這是從研究 Demo 跨向真正遊戲時非常實際的一道邊界。
10. Cognitive Scheduler
當 Agent 數量增加後,Wake 本身還不夠。
因為可能在同一時間:
Nwake=20.但 Provider 同時只允許:
C=6個請求。
因此必須有:
Cognitive Scheduler.其任務是將:
[
WakeQueue
]
轉成:
[
InferenceQueue.
]
11. Inference 其實是世界資源
一旦世界中的 NPC 依賴模型推理:
[
Compute
]
就成為 World Runtime 必須管理的一種資源。
可以寫成:
Resourcecognition.就像:
- CPU;
- GPU;
- memory;
- network;
一樣有限。
my_ai_town 的 Agent Gateway 目前有明確的並發限制,包括總模型 request slot、本地模型 slot,以及保留給玩家對話的優先 slot。
這說明:
Inference Scheduling已經不只是後端問題。
它會直接影響:
NPC 世界看起來是否「活著」。
12. 為什麼並發不足會變成遊戲問題
假設:
N=15而:
C=2.如果 15 名居民同時醒來,
大量 Agent 會處於:
[
WaitingForModel.
]
玩家看到的就可能是:
一群人站著不動。
因此:
InferenceLatency→BehaviorLatency→PerceivedWorldLiveness.這是一條非常重要的鏈。
所以 AI 原生遊戲的模型效能不是:
「後端慢一點而已。」
而會直接成為:
Gameplay Responsiveness.
13. Inference Amplification
更麻煩的是:
一次 Agent 決策不一定只等於一次模型呼叫。
例如可能需要:
[
DecisionCall
]
加:
[
MemoryOrganizerCall
]
再加:
[
AvatarMemoryCall
]
甚至:
[
VisionCall.
]
若失敗還可能:
[
Retry.
]
因此平均每個 decision 所需 inference 次數:
ai>1.總呼叫率應寫成:
Ncalls=i∑λiai其中:
- λi:居民 (i) 的 wake / decision rate;
- ai:每次決策平均 inference amplification。
這比只算:
[
NumberOfNPCs
]
重要得多。
14. Provider Saturation
假設某 provider:
- 平均服務時間 Lp;
- 最大 concurrency Cp。
總負載:
ρp=Cp∑iλiaiLp.如果:
ρp<1queue 尚可收斂。
若:
ρp≥1則理論上 backlog 會持續增加。
這意味:
Agent Population不能只由 GPU VRAM 或 Token Budget 決定。
還取決於:
WakeFrequency×InferenceAmplification×Latency.
15. 玩家與 NPC 不應使用完全相同的優先級
遊戲還有另一項需求:
玩家不能因為背景 NPC 正在排隊思考,就等十幾秒才得到角色回答。
因此 Cognitive Scheduler 必須具有:
[
PriorityClasses.
]
例如:
P0
玩家直接對話。
P1
強制反應:
P2
重要 Social Matter。
P3
普通生活決策。
P4
低優先級背景整理。
如此:
Queue=FIFO.而是:
Queue=PriorityScheduler(Wakes).這其實是 AI 遊戲的重要 UX 架構。
16. Cognitive LOD
如果世界將來有:
[
100
]
甚至:
[
1000
]
個居民,所有人都使用完整前沿模型幾乎沒有必要。
可以引入:
Cognitive Level of Detail與圖形 LOD 類似。
C0:Dormant
不需要模型。
只保存:
[
SummaryState.
]
C1:Deterministic Routine
例如:
使用規則即可。
C2:Reactive
遇到:
使用 deterministic / small policy。
C3:Compressed Cognition
使用:
- 小模型;
- planning cache;
- summary policy。
C4:Full Agent
真正呼叫主要 LLM。
適用:
C5:Foreground Cognition
玩家直接互動、重要劇情、圖片、多模態、複雜衝突。
使用最高資源。
因此:
CognitiveLeveli(t)=f(DistanceToPlayer,EventImportance,SocialImportance,Novelty,NeedForReasoning).這可以讓:
PersistentPopulation≫ActiveLLMPopulation.
17. AI 世界真正需要的是 Sparse Cognition
傳統遊戲中,所有 NPC 每幀都執行一些 AI code 並沒有太大問題。
但 LLM Agent 世界不同。
真正合理的方向不是:
[
Dense\ Intelligence.
]
而是:
Sparse Cognition也就是:
只有世界狀態真的需要高階認知時,才啟動高階認知。
這和人類其實也更接近。
人不會每秒重新思考:
我是誰?
我的長期目標是什麼?
我現在要不要換工作?
大量生活行為其實是:
[
Routine.
]
真正高成本 reasoning 是稀疏事件。
18. Memory 也是 Projection 的一部分
Agent 不只不能看到整個 World。
它甚至不應每次讀取自己的完整人生。
假設正式 Memory 有:
[
256
]
條。
如果每一次 wake 都全部塞入 Prompt:
Context→Explosion.因此 Memory 也需要:
Miretrieved=R(Mi,Oi).即:
依當前情境只找相關記憶。
然後:
Prompti=Oi+Miretrieved.所以 Projection Architecture 最終包含兩個方向:
WorldPiObservation與:
MemoryRiRelevantMemory.
19. Observation 與 Memory 不應混成同一層
這裡也需要清楚分離。
Observation
回答:
現在外面發生什麼?
Oi(t).Memory
回答:
我過去怎麼理解相關事情?
Mi(t).所以 Decision:
ai=πi(Oi(t),Mi(t),Personalityi).如果把兩者混成:
一個大 Prompt。
系統仍能跑。
但會失去:
- 來源;
- 時間;
- truth boundary;
- confidence;
- causality。
20. World Projection 其實是在建立 Agent 的「世界切片」
可以把完整世界想像成:
[
W.
]
每個 Agent 活在:
Wi=Pi(W).因此:
WA=WB.但:
WA,WB⊆W.這種結構允許:
A 在市場看見吵架。
B 在家裡不知道。
C 聽 D 轉告。
E 只看到公告。
F 親自詢問當事人。
於是同一世界事件產生不同:
Beliefi.這才會形成真正的:
Multi−perspective World.
21. Projection 失敗的三種常見模式
21.1 Over-Projection
給 Agent 太多。
結果:
Agent→Omniscient.問題:
21.2 Under-Projection
給得太少。
例如居民不知道:
自己工作正在等待完成。
就會導致:
[
Agent\ Behavior
]
和 World State 斷裂。
21.3 Wrong Projection
最危險。
例如把:
下一站的預測狀態
錯當:
現在已經發生。
因此 Projection 必須明確區分:
[
CurrentTruth
]
與:
[
ExpectedFuture.
]
這和第 1 篇的:
Intent=Result其實是同一類本體論問題。
22. Projection Operator 必須保持 Agent-specific
因此不要設計:
[
GlobalPromptBuilder(World).
]
更合理的是:
Projection(World,Agent,Context)例如:
Pi(W,t,reason).同一居民:
- 普通生活 wake;
- 對話 wake;
- 被攻擊 wake;
- 工作完成 wake;
甚至都可以有不同 projection。
即:
Pilife=Piconversation=Piconflict.這樣才能避免每種情況都載入不需要的資料。
23. 模型選擇也可以成為 Scheduler 的一部分
當一個世界已經支援:
[
Pluggable\ Minds
]
下一步自然不是:
所有居民永久綁同一模型。
而可以是:
Modeli(t)=Select(TaskComplexity,Priority,Budget,Latency).例如:
普通日常:
[
SmallModel.
]
重要社交:
[
MediumModel.
]
玩家深度對話:
[
FrontierModel.
]
所以未來 Scheduler 不只排:
[
When.
]
還會排:
When+WhichModel+HowMuchContext.這就是:
[
Cognitive Resource Allocation.
]
24. 一個完整的 Cognitive Runtime
因此,我們可以提出:
WorldState→TriggerDetector→Projection→CognitiveScheduler→MemoryRetrieval→PolicyModel→CanonicalIntent拆解如下。
Stage 1:World State
Wt唯一完整真相。
Stage 2:Trigger Detector
判斷:
[
NeedWake(i)?
]
Stage 3:Projection
生成:
Oi=Pi(Wt).
Stage 4:Scheduler
計算:
Priorityi.並排入 inference queue。
Stage 5:Memory Retrieval
生成:
Mi∗=R(Mi,Oi).
Stage 6:Model Selection
mi=SelectModel(i,Oi).
Stage 7:Policy
Intenti=πmi(Oi,Mi∗).
Stage 8:World Authority
再回到第 1 篇:
Intent→Validation→Execution→Settlement.至此,Agent cognition 與 World Runtime 完整閉合。
25. 從「每個 NPC 一個 LLM」改寫問題
很多人談 AI NPC 時,直覺架構是:
NPCi=LLMi.但這其實並不準確。
更合理的定義應該是:
Agenti=Statei+Memoryi+Observationi+Policyi.LLM 只實現:
Policyi的一部分。
甚至未來:
Policyi=Rule+SmallModel+LargeModel.因此 Agent 並不是:
「一個一直在線的 ChatGPT。」
而是一個持續存在的:
Cognitive State Machine在必要時調用不同智能資源。
26. 這對 AI 原生遊戲意味什麼
如果採用這種思路,NPC 數量就不再與前沿 LLM 呼叫數量線性綁死。
不必:
100NPC=100ConcurrentLLM.可以變成:
100NPC=100PersistentStates+8ActiveCognitions.甚至:
1000NPC=1000PersistentStates+20ActiveCognitions.這才是長期大型 AI World 真正有機會擴張的方向。
27. 世界「活著」不等於所有居民一直思考
這也是一個值得重新定義的觀念。
世界活著可以表示為:
dtdW=0.不要求:
∀i,dtdCi=0.也就是:
世界可以持續前進,而大多數 Agent 此刻沒有使用大型模型。
居民的:
可以由 deterministic runtime 繼續。
只有出現:
[
Novelty
]
或:
[
DecisionBoundary
]
才需要 cognition。
28. 結論:世界不是 Prompt,Prompt 只是世界的一個投影
完整 World:
Wt不應直接等於任何 Agent 的 context。
真正合理的結構是:
Oi(t)=Pi(Wt)而:
Pi本身就是 AI 原生遊戲的重要世界規則。
它決定:
你站在哪裡。
你看見誰。
你聽見什麼。
你知道哪些公告。
哪些事情值得你注意。
哪些歷史和你現在的決策相關。
然後 Cognitive Scheduler 再回答:
你現在是否真的需要思考?
所以本篇的核心結論可以濃縮成兩句:
World State=Agent Context以及:
Persistent Agent=Persistent LLM Invocation真正可擴張的 AI 原生世界,不是讓越來越多大型模型永遠同時運轉。
而是建立:
Large Persistent World+Sparse High Intelligence也就是:
世界始終存在;高階認知按需出現。
當 World Authority 與 Cognitive Projection 都建立後,下一個問題便是:
即使每個 Agent 只看到自己的世界,他又如何記住過去?
他怎麼分辨親眼看見、別人轉述與自己猜測?
如果後來得到矛盾證據,他會不會真的改變原先相信的事情?
因此下一篇進入:
第 3 篇
《會記錯、會懷疑、會修正:Agent Memory、Claim 與 Belief Revision》
核心將從:
Event→Memory進一步推到:
Evidence→Claim→Belief→Revision.真正的 AI 社會,不只需要會記憶的 Agent。
它還需要:
會對自己的記憶產生懷疑的 Agent。