# 世界不是 Prompt ## ——World Projection、Cognitive Scheduler 與 AI Agent 的有限認知架構 **作者：** Neo.K **機構：** EveMissLab／一言諾科技有限公司 **日期：** 2026-10-07（整理日期；原稿未標註日期） **版本：** 原稿未標註（本次整理版） ### 摘要 當遊戲世界開始具有： - 持續時間； - 多名居民； - 工作與物流； - 社會事項； - 記憶； - 公告； - 對話； - 衝突； - 醫療； - 生產； - 因果歷史； 一個新的問題立刻出現： > **大型語言模型每一次決策到底應該看到多少世界？** 最直觀的做法是將整個 World State 送入 Prompt： \[ LLM_i\leftarrow W_t. \] 然而，這種方式同時產生三種問題： 1. **計算問題**：世界越大，Prompt 越大； 2. **認知問題**：每個居民都知道自己不可能知道的事； 3. **架構問題**：Agent 與 World 的邊界重新消失。 因此，本篇提出 AI 原生世界中的第二項核心原則： \[ \boxed{ World\ State \neq Agent\ Observation } \] 每一名 Agent 應只接收一個由 World 產生的個體化投影： \[ \boxed{ O_i(t)=P_i(W_t) } \] 其中： - \(W_t\) 是完整世界； - \(P_i\) 是居民 \(i\) 的觀察投影算子； - \(O_i(t)\) 是該居民此刻真正可以用來決策的資訊。 在此基礎上，AI 原生遊戲還需要第二層調度： \[ \boxed{ Cognitive\ Scheduler } \] 它決定： > 哪個 Agent 現在真的需要呼叫模型？ 於是完整架構由： \[ World \rightarrow Projection \rightarrow Scheduler \rightarrow Cognition \rightarrow Intent \] 組成。 這使一個重要命題成立： \[ \boxed{ Persistent\ Agent \neq Persistent\ LLM\ Invocation } \] 角色可以二十四小時存在於世界中，卻不需要二十四小時都由大型模型持續思考。 --- # 1. 完整世界不是 Agent Prompt 假設一座 AI 小鎮有 30 名居民。 World Runtime 保存： \[ W_t \] 其中可能包含： - 所有居民狀態； - 所有人位置； - 所有對話； - 所有記憶； - 所有工作任務； - 全部庫存； - 所有貨批； - 全鎮公告； - 全部 Social Matter； - 衝突； - 傷病； - 建築； - 天氣； - 世界事件； - 歷史紀錄。 如果居民 A 每次決策都讀取： \[ W_t \] 那麼 A 將知道： > B 在另一棟房子裡正在說什麼。 > C 的私人傷勢。 > D 剛收到什麼私人訊息。 > 倉庫裡所有物品。 > 全鎮所有人的工作安排。 這不是智能較高。 這是： \[ \boxed{ Ontological\ Omniscience } \] 本體論上的全知。 因此，一個真正具有社會性的 AI 世界必須承認： \[ Knowledge_i \subset WorldState. \] --- # 2. Observation Projection Operator 本篇將居民 \(i\) 的可觀測世界定義為： \[ \boxed{ O_i(t)=P_i(W_t) } \] 其中 \(P_i\) 不是單純資料裁剪，而是一組 World Authority 規則。 它決定： > 這個人現在有資格知道什麼？ 例如可以包含： \[ P_i= P_{self} + P_{space} + P_{social} + P_{work} + P_{knowledge} + P_{history}. \] --- ## 2.1 Self Projection 居民永遠可以知道自己的： - 身體狀態； - 當前 Action； - Needs； - 傷病； - 自己的工作； - 自己的承諾。 即： \[ P_{self}(W_t). \] --- ## 2.2 Spatial Projection 居民只能感知： \[ Nearby_i(t). \] 而不是所有居民。 `my_ai_town` 的 wake packet 中會投影 `nearby`、`place`、可用活動與地點相關資訊，而不是完整居民資料庫。 因此： \[ Resident_j \notin Nearby_i \] 通常意味： \[ State_j \notin O_i. \] --- ## 2.3 Work Projection 居民不是看到全鎮所有 Task，而是： \[ Tasks_i(t). \] 也就是： > 目前真的和自己相關、自己有資格處理的工作。 Wake packet 會直接提供 `work_tasks`，而不是讓模型自己從整個工作資料庫猜工作。 這使： \[ World\ Task\ Graph \] 可以很大，而單一 Agent context 保持局部。 --- ## 2.4 Knowledge Projection 更重要的是： \[ Known_i(t). \] 例如 wake packet 中的： ```text known_announcements ``` 不是全部公告，而應是： > **這名居民已被 World 登記為知道的公告。** Agent Prompt 甚至明確將其描述為： > 本人已經知道、可以在真實對話中轉告的公告。 所以： \[ Announcement\in W_t \] 並不在概念上自動等於： \[ Announcement\in O_i(t). \] 這是建立資訊不對稱的基礎。 --- # 3. World Projection 不只是 Token Optimization 這點非常重要。 如果只把 Projection 理解成： > 為了省 Token。 會低估它的作用。 Projection 同時解決至少四個問題。 --- ## 3.1 Epistemic Locality 每個人知道的東西不同： \[ K_i\neq K_j. \] 因此才能存在： - 秘密； - 誤解； - 謠言； - 探索； - 調查； - 情報。 --- ## 3.2 Cognitive Locality 不同居民關心的東西不同： \[ Attention_i \neq Attention_j. \] 同一件公共事件，A 可以注意，B 可以忽略。 `my_ai_town` 的 Social Matter Exposure 甚至允許 Agent 選擇： \[ \{\text{notice},\text{ignore},\text{defer}\}. \] 而每輪最多只投影一項 actionable social exposure。 這等於引入： \[ \boxed{ Attention\ Bandwidth } \] 而不只是 Knowledge Bandwidth。 --- ## 3.3 Security Boundary 如果 Agent 根本看不到某項資料，它就較難憑 Prompt 直接濫用。 例如： - 私人記憶； - 未知角色； - 隱藏物品； - 不在場事件。 因此： \[ Projection \] 也是 World Authority 的一部分。 --- ## 3.4 Model Scaling 假設世界資料量為： \[ |W|. \] 如果每名居民都吃完整世界： \[ ContextCost\sim N|W|. \] 但如果每名居民只吃自己的局部投影： \[ ContextCost \sim \sum_i |P_i(W)|. \] 而在良好設計下： \[ |P_i(W)|\ll |W|. \] 這是 Agent World 能不能從 5 人擴到 50、500 人的基本前提之一。 --- # 4. Wake Packet：一次認知脈衝 在這種架構中，Agent 不需要一直讀世界。 更自然的方法是： \[ \boxed{ Wake } \] 也就是： > 世界在某些時刻告訴居民：「現在值得重新思考。」 一次 wake packet 可以包含： \[ O_i(t) \] 以及： \[ E_i(t) \] 最近發生的重要事件。 再加： \[ R_i(t) \] 前一次行動結果。 形成： \[ Wake_i = ( Observation, Events, Results ). \] `my_ai_town` 的 Wake Packet 正是以這類結構提供： - time； - weather； - me； - nearby； - place； - work tasks； - life destination options； - known announcements； - conversation； - social matters； - social exposures； - conflicts； - injury / medical context； - events； - action results。 這比「把最近所有 Log 貼給 LLM」乾淨得多。 --- # 5. Wake 不代表每一秒都思考 這導出一個非常重要的架構原則： \[ \boxed{ Simulation\ Time \neq Cognition\ Time } \] World 可以： \[ t\rightarrow t+\Delta t \] 持續前進。 但 Agent Cognition 不必每個 tick 都執行。 例如居民正在睡覺。 世界仍然可以持續： - 天氣改變； - 時間前進； - 其他居民活動； - 物流運作。 但睡覺居民未必需要： \[ LLMCall \] 每分鐘一次。 --- # 6. Persistent Agent 不等於 Persistent Model 這可以正式寫成： \[ \boxed{ Persistent\ Agent\ State \neq Persistent\ LLM\ Invocation. } \] Agent 的存在至少可以分成： \[ A_i= ( State_i, Memory_i, Policy_i ). \] 其中： \[ State_i \] 一直存在。 \[ Memory_i \] 一直存在。 但： \[ Policy_i \] 只在必要時被激活。 也就是： \[ LLM_i(t) = \begin{cases} \text{active},& Trigger_i(t)=1\\ \text{inactive},& Trigger_i(t)=0. \end{cases} \] 這是大型 Agent 世界非常重要的成本模型。 --- # 7. 什麼事情值得 Wake？ 合理的 wake trigger 可以分成幾類。 --- ## 7.1 Action Completion 例如： \[ GoToCafe \rightarrow Arrived. \] 到達之後需要重新判斷。 --- ## 7.2 World Interruption 例如： - 店關門； - 工作取消； - 路徑失效； - 受傷； - 被攻擊。 --- ## 7.3 Social Event 例如： - 被搭話； - 收到訊息； - 被邀請； - 被指派； - 聽到重要公告。 --- ## 7.4 Need Threshold 例如： \[ Satiety\le35. \] 則值得重新決策是否吃飯。 而不是每： \[ Satiety=78\rightarrow77 \] 都重新呼叫 LLM。 --- ## 7.5 Scheduled Reconsideration 例如： > 十分鐘後再考慮。 Social Exposure 的 `defer` 就有類似概念。 所以： \[ Cognition \] 本身也可以由 Event Scheduler 管理。 --- # 8. Observation Preparation 也不能一次全部算 當世界越大，另一個問題出現： 即使不呼叫 LLM， \[ P_i(W) \] 本身也可能很貴。 例如需要計算： - Nearby； - 可達地點； - Available Props； - Activity Options； - Job Tasks； - Conversation Context； - Social Matters； - Conflict Context。 因此 `my_ai_town` 將 wake preparation 拆成階段式處理，例如依序準備附近資訊、travel、life options、props、activities、place、conversation、social 等內容，而不是單次同步完成所有投影。 這揭露一個重要事實： \[ \boxed{ Perception\ itself\ is\ a\ computational\ workload. } \] 在大型 Agent World 中， > **「NPC 看到了什麼」本身就需要排程。** --- # 9. Frame-Budgeted Cognition 遊戲和離線 Agent Simulation 最大不同之一，是： \[ Frame\ Budget. \] 即使 AI 計算總量可以接受，如果所有 NPC 同一幀更新： \[ 30\times Projection + 30\times LLM \] 畫面仍然可能卡住。 因此需要： \[ \boxed{ Frame\ Budgeted\ Preparation } \] 例如： \[ P_1 \rightarrow frame_1 \] \[ P_2 \rightarrow frame_2 \] 逐步完成。 也就是： \[ CognitionLatency \] 可以被攤平，而不是： \[ MainThreadSpike. \] 這是從研究 Demo 跨向真正遊戲時非常實際的一道邊界。 --- # 10. Cognitive Scheduler 當 Agent 數量增加後，Wake 本身還不夠。 因為可能在同一時間： \[ N_{wake}=20. \] 但 Provider 同時只允許： \[ C=6 \] 個請求。 因此必須有： \[ \boxed{ Cognitive\ Scheduler. } \] 其任務是將： \[ WakeQueue \] 轉成： \[ InferenceQueue. \] --- # 11. Inference 其實是世界資源 一旦世界中的 NPC 依賴模型推理： \[ Compute \] 就成為 World Runtime 必須管理的一種資源。 可以寫成： \[ Resource_{cognition}. \] 就像： - CPU； - GPU； - memory； - network； 一樣有限。 `my_ai_town` 的 Agent Gateway 目前有明確的並發限制，包括總模型 request slot、本地模型 slot，以及保留給玩家對話的優先 slot。 這說明： \[ \boxed{ Inference\ Scheduling } \] 已經不只是後端問題。 它會直接影響： > NPC 世界看起來是否「活著」。 --- # 12. 為什麼並發不足會變成遊戲問題 假設： \[ N=15 \] 而： \[ C=2. \] 如果 15 名居民同時醒來， 大量 Agent 會處於： \[ WaitingForModel. \] 玩家看到的就可能是： > 一群人站著不動。 因此： \[ InferenceLatency \rightarrow BehaviorLatency \rightarrow PerceivedWorldLiveness. \] 這是一條非常重要的鏈。 所以 AI 原生遊戲的模型效能不是： > 「後端慢一點而已。」 而會直接成為： \[ \boxed{ Gameplay\ Responsiveness. } \] --- # 13. Inference Amplification 更麻煩的是： > 一次 Agent 決策不一定只等於一次模型呼叫。 例如可能需要： \[ DecisionCall \] 加： \[ MemoryOrganizerCall \] 再加： \[ AvatarMemoryCall \] 甚至： \[ VisionCall. \] 若失敗還可能： \[ Retry. \] 因此平均每個 decision 所需 inference 次數： \[ a_i>1. \] 總呼叫率應寫成： \[ \boxed{ N_{calls} = \sum_i \lambda_i a_i } \] 其中： - \(\lambda_i\)：居民 \(i\) 的 wake / decision rate； - \(a_i\)：每次決策平均 inference amplification。 這比只算： \[ NumberOfNPCs \] 重要得多。 --- # 14. Provider Saturation 假設某 provider： - 平均服務時間 \(L_p\)； - 最大 concurrency \(C_p\)。 總負載： \[ \rho_p = \frac{ \sum_i\lambda_i a_iL_p }{ C_p }. \] 如果： \[ \rho_p<1 \] queue 尚可收斂。 若： \[ \rho_p\ge1 \] 則理論上 backlog 會持續增加。 這意味： \[ \boxed{ Agent\ Population } \] 不能只由 GPU VRAM 或 Token Budget 決定。 還取決於： \[ WakeFrequency \times InferenceAmplification \times Latency. \] --- # 15. 玩家與 NPC 不應使用完全相同的優先級 遊戲還有另一項需求： > 玩家不能因為背景 NPC 正在排隊思考，就等十幾秒才得到角色回答。 因此 Cognitive Scheduler 必須具有： \[ PriorityClasses. \] 例如： ### P0 玩家直接對話。 ### P1 強制反應： - 被攻擊； - 必須答話； - 醫療回應。 ### P2 重要 Social Matter。 ### P3 普通生活決策。 ### P4 低優先級背景整理。 如此： \[ Queue \neq FIFO. \] 而是： \[ Queue = PriorityScheduler(Wakes). \] 這其實是 AI 遊戲的重要 UX 架構。 --- # 16. Cognitive LOD 如果世界將來有： \[ 100 \] 甚至： \[ 1000 \] 個居民，所有人都使用完整前沿模型幾乎沒有必要。 可以引入： \[ \boxed{ Cognitive\ Level\ of\ Detail } \] 與圖形 LOD 類似。 --- ## C0：Dormant 不需要模型。 只保存： \[ SummaryState. \] --- ## C1：Deterministic Routine 例如： - 睡覺； - 通勤； - 固定工作。 使用規則即可。 --- ## C2：Reactive 遇到： - 飢餓； - 天氣； - 簡單工作。 使用 deterministic / small policy。 --- ## C3：Compressed Cognition 使用： - 小模型； - planning cache； - summary policy。 --- ## C4：Full Agent 真正呼叫主要 LLM。 適用： - 社會選擇； - 重要決策； - 長期目標。 --- ## C5：Foreground Cognition 玩家直接互動、重要劇情、圖片、多模態、複雜衝突。 使用最高資源。 --- 因此： \[ CognitiveLevel_i(t) = f( DistanceToPlayer, EventImportance, SocialImportance, Novelty, NeedForReasoning ). \] 這可以讓： \[ PersistentPopulation \gg ActiveLLMPopulation. \] --- # 17. AI 世界真正需要的是 Sparse Cognition 傳統遊戲中，所有 NPC 每幀都執行一些 AI code 並沒有太大問題。 但 LLM Agent 世界不同。 真正合理的方向不是： \[ Dense\ Intelligence. \] 而是： \[ \boxed{ Sparse\ Cognition } \] 也就是： > **只有世界狀態真的需要高階認知時，才啟動高階認知。** 這和人類其實也更接近。 人不會每秒重新思考： > 我是誰？ > 我的長期目標是什麼？ > 我現在要不要換工作？ 大量生活行為其實是： \[ Routine. \] 真正高成本 reasoning 是稀疏事件。 --- # 18. Memory 也是 Projection 的一部分 Agent 不只不能看到整個 World。 它甚至不應每次讀取自己的完整人生。 假設正式 Memory 有： \[ 256 \] 條。 如果每一次 wake 都全部塞入 Prompt： \[ Context \rightarrow Explosion. \] 因此 Memory 也需要： \[ M_i^{retrieved} = R(M_i,O_i). \] 即： > 依當前情境只找相關記憶。 然後： \[ Prompt_i = O_i + M_i^{retrieved}. \] 所以 Projection Architecture 最終包含兩個方向： \[ World \xrightarrow{P_i} Observation \] 與： \[ Memory \xrightarrow{R_i} RelevantMemory. \] --- # 19. Observation 與 Memory 不應混成同一層 這裡也需要清楚分離。 ## Observation 回答： > 現在外面發生什麼？ \[ O_i(t). \] ## Memory 回答： > 我過去怎麼理解相關事情？ \[ M_i(t). \] 所以 Decision： \[ a_i = \pi_i( O_i(t), M_i(t), Personality_i ). \] 如果把兩者混成： > 一個大 Prompt。 系統仍能跑。 但會失去： - 來源； - 時間； - truth boundary； - confidence； - causality。 --- # 20. World Projection 其實是在建立 Agent 的「世界切片」 可以把完整世界想像成： \[ W. \] 每個 Agent 活在： \[ W_i=P_i(W). \] 因此： \[ W_A\neq W_B. \] 但： \[ W_A,W_B \subseteq W. \] 這種結構允許： > A 在市場看見吵架。 > B 在家裡不知道。 > C 聽 D 轉告。 > E 只看到公告。 > F 親自詢問當事人。 於是同一世界事件產生不同： \[ Belief_i. \] 這才會形成真正的： \[ \boxed{ Multi-perspective\ World. } \] --- # 21. Projection 失敗的三種常見模式 ## 21.1 Over-Projection 給 Agent 太多。 結果： \[ Agent\rightarrow Omniscient. \] 問題： - 沒有秘密； - 沒有探索； - 世界變假。 --- ## 21.2 Under-Projection 給得太少。 例如居民不知道： > 自己工作正在等待完成。 就會導致： \[ Agent\ Behavior \] 和 World State 斷裂。 --- ## 21.3 Wrong Projection 最危險。 例如把： > 下一站的預測狀態 錯當： > 現在已經發生。 因此 Projection 必須明確區分： \[ CurrentTruth \] 與： \[ ExpectedFuture. \] 這和第 1 篇的： \[ Intent\neq Result \] 其實是同一類本體論問題。 --- # 22. Projection Operator 必須保持 Agent-specific 因此不要設計： \[ GlobalPromptBuilder(World). \] 更合理的是： \[ \boxed{ Projection(World,Agent,Context) } \] 例如： \[ P_i(W,t,reason). \] 同一居民： - 普通生活 wake； - 對話 wake； - 被攻擊 wake； - 工作完成 wake； 甚至都可以有不同 projection。 即： \[ P_i^{life} \neq P_i^{conversation} \neq P_i^{conflict}. \] 這樣才能避免每種情況都載入不需要的資料。 --- # 23. 模型選擇也可以成為 Scheduler 的一部分 當一個世界已經支援： \[ Pluggable\ Minds \] 下一步自然不是： > 所有居民永久綁同一模型。 而可以是： \[ Model_i(t) = Select( TaskComplexity, Priority, Budget, Latency ). \] 例如： 普通日常： \[ SmallModel. \] 重要社交： \[ MediumModel. \] 玩家深度對話： \[ FrontierModel. \] 所以未來 Scheduler 不只排： \[ When. \] 還會排： \[ \boxed{ When + WhichModel + HowMuchContext. } \] 這就是： \[ Cognitive Resource Allocation. \] --- # 24. 一個完整的 Cognitive Runtime 因此，我們可以提出： \[ \boxed{ WorldState \rightarrow TriggerDetector \rightarrow Projection \rightarrow CognitiveScheduler \rightarrow MemoryRetrieval \rightarrow PolicyModel \rightarrow CanonicalIntent } \] 拆解如下。 --- ## Stage 1：World State \[ W_t \] 唯一完整真相。 --- ## Stage 2：Trigger Detector 判斷： \[ NeedWake(i)? \] --- ## Stage 3：Projection 生成： \[ O_i=P_i(W_t). \] --- ## Stage 4：Scheduler 計算： \[ Priority_i. \] 並排入 inference queue。 --- ## Stage 5：Memory Retrieval 生成： \[ M_i^*=R(M_i,O_i). \] --- ## Stage 6：Model Selection \[ m_i=SelectModel(i,O_i). \] --- ## Stage 7：Policy \[ Intent_i = \pi_{m_i}(O_i,M_i^*). \] --- ## Stage 8：World Authority 再回到第 1 篇： \[ Intent \rightarrow Validation \rightarrow Execution \rightarrow Settlement. \] 至此，Agent cognition 與 World Runtime 完整閉合。 --- # 25. 從「每個 NPC 一個 LLM」改寫問題 很多人談 AI NPC 時，直覺架構是： \[ NPC_i=LLM_i. \] 但這其實並不準確。 更合理的定義應該是： \[ \boxed{ Agent_i = State_i + Memory_i + Observation_i + Policy_i. } \] LLM 只實現： \[ Policy_i \] 的一部分。 甚至未來： \[ Policy_i = Rule + SmallModel + LargeModel. \] 因此 Agent 並不是： > 「一個一直在線的 ChatGPT。」 而是一個持續存在的： \[ \boxed{ Cognitive\ State\ Machine } \] 在必要時調用不同智能資源。 --- # 26. 這對 AI 原生遊戲意味什麼 如果採用這種思路，NPC 數量就不再與前沿 LLM 呼叫數量線性綁死。 不必： \[ 100NPC = 100ConcurrentLLM. \] 可以變成： \[ 100NPC = 100PersistentStates + 8ActiveCognitions. \] 甚至： \[ 1000NPC = 1000PersistentStates + 20ActiveCognitions. \] 這才是長期大型 AI World 真正有機會擴張的方向。 --- # 27. 世界「活著」不等於所有居民一直思考 這也是一個值得重新定義的觀念。 世界活著可以表示為： \[ \frac{dW}{dt}\neq0. \] 不要求： \[ \forall i,\frac{dC_i}{dt}\neq0. \] 也就是： > 世界可以持續前進，而大多數 Agent 此刻沒有使用大型模型。 居民的： - 工作； - 睡眠； - 移動； - 生產； - 貨運； 可以由 deterministic runtime 繼續。 只有出現： \[ Novelty \] 或： \[ DecisionBoundary \] 才需要 cognition。 --- # 28. 結論：世界不是 Prompt，Prompt 只是世界的一個投影 完整 World： \[ W_t \] 不應直接等於任何 Agent 的 context。 真正合理的結構是： \[ \boxed{ O_i(t)=P_i(W_t) } \] 而： \[ P_i \] 本身就是 AI 原生遊戲的重要世界規則。 它決定： > 你站在哪裡。 > 你看見誰。 > 你聽見什麼。 > 你知道哪些公告。 > 哪些事情值得你注意。 > 哪些歷史和你現在的決策相關。 然後 Cognitive Scheduler 再回答： > **你現在是否真的需要思考？** 所以本篇的核心結論可以濃縮成兩句： \[ \boxed{ World\ State\neq Agent\ Context } \] 以及： \[ \boxed{ Persistent\ Agent\neq Persistent\ LLM\ Invocation } \] 真正可擴張的 AI 原生世界，不是讓越來越多大型模型永遠同時運轉。 而是建立： \[ \boxed{ Large\ Persistent\ World + Sparse\ High\ Intelligence } \] 也就是： > **世界始終存在；高階認知按需出現。** 當 World Authority 與 Cognitive Projection 都建立後，下一個問題便是： > 即使每個 Agent 只看到自己的世界，他又如何記住過去？ > 他怎麼分辨親眼看見、別人轉述與自己猜測？ > 如果後來得到矛盾證據，他會不會真的改變原先相信的事情？ 因此下一篇進入： # 第 3 篇 ## 《會記錯、會懷疑、會修正：Agent Memory、Claim 與 Belief Revision》 核心將從： \[ Event\rightarrow Memory \] 進一步推到： \[ \boxed{ Evidence \rightarrow Claim \rightarrow Belief \rightarrow Revision. } \] 真正的 AI 社會，不只需要會記憶的 Agent。 它還需要： > **會對自己的記憶產生懷疑的 Agent。**