# 會記錯、會懷疑、會修正 ## ——Agent Memory、Claim、Evidence 與 Belief Revision Architecture **作者：** Neo.K **機構：** EveMissLab／一言諾科技有限公司 **日期：** 2026-10-07（整理日期；原稿未標註日期） **版本：** 原稿未標註（本次整理版） ### 摘要 大型語言模型 Agent 經常被描述為「具有記憶」。 然而，只要把過去對話或事件摘要存進文字檔，再於下一次 Prompt 中重新送回模型，嚴格而言只能證明： \[ \text{Agent has persistent context} \] 而不能證明： \[ \text{Agent has a memory system}. \] 真正的記憶系統至少還需要回答： - 這件事從哪裡得知？ - 是親眼看見，還是別人轉述？ - 當時相信多少？ - 是否有新的證據支持它？ - 是否出現矛盾？ - 原先的理解能否被修正？ - 一則長期沒有佐證的傳聞是否會逐漸失去影響力？ 因此，本篇提出： \[ \boxed{ Memory \neq Text\ History } \] 更完整的 Agent Memory 應被理解為： \[ \boxed{ Evidence \rightarrow Claim \rightarrow Belief \rightarrow Revision } \] 在 `my_ai_town` 的實作中，正式記憶條目已經包含： - `subject` - `interpretation` - `people` - `places` - `topics` - `source_kind` - `source_resident_id` - `claim_root_id` - `confidence` - `state` - `evidence_refs` 等結構，而且 `source_kind` 正式區分： \[ \{\text{firsthand},\text{hearsay},\text{implanted}\}. \] `confidence` 則被限制於： \[ 0\le c\le100. \] 更重要的是，它並不只保存記憶，而會根據新證據執行： - reinforce； - doubt； - anomaly； - correction。 因此，這個系統已開始跨越： \[ \text{Memory Storage} \] 走向： \[ \boxed{ Belief Dynamics. } \] --- # 1. 記憶不是世界事實的副本 在第 1 篇中，我們區分： \[ WorldTruth \] 與： \[ AgentInterpretation. \] 到了記憶層，這項區分變得更加重要。 假設 World 確認： > A 對 B 說：「C 偷了我的東西。」 世界真正能證明的是： \[ E_1= \text{A said “C stole my item.”} \] 但不能因此直接建立： \[ C\ stole\ item=\text{true}. \] 對 B 而言，他得到的是一項 evidence： \[ Evidence_B(C\ stole\ item) \] 而不是 Truth。 因此 B 應該建立： \[ Belief_B(C\ stole\ item). \] 這個 Belief 可以： - 相信； - 半信半疑； - 被後續證據強化； - 被新證據推翻。 這才是記憶系統和 World Log 的根本區別。 --- # 2. World Log 與 Agent Memory 必須分開 可以定義： \[ H_W(t) \] 為 World History。 它回答： > 客觀確認過哪些事情？ 而： \[ M_i(t) \] 則是居民 \(i\) 的記憶。 它回答： > 這個居民如何理解自己曾經接觸到的事情？ 因此： \[ \boxed{ M_i(t)\neq H_W(t) } \] 並且： \[ M_i(t)\neq M_j(t). \] 同一個世界事件： \[ E \] 可能形成： \[ M_A(E)=\text{「他拒絕了我」} \] 以及： \[ M_B(E)=\text{「我只是當時太忙」}. \] 客觀事件相同。 私人意義不同。 --- # 3. Evidence 是記憶之前的一層 很多 LLM 記憶架構直接做： \[ Event \rightarrow Summary. \] 這會失去一個非常重要的中間層： \[ \boxed{ Evidence } \] Evidence 應該保存： > 這項記憶憑什麼成立？ 例如： - world event； - conversation turn； - action result； - announcement； - heard statement； - observed conflict。 因此正式記憶不是： ```text id="si56qd" C 偷了東西 ``` 而應接近： ```text id="h0kphp" subject: C 可能拿走了東西 source_kind: hearsay source_resident_id: A evidence_refs: - conversation-17-turn-3 confidence: 58 ``` 這使： \[ Memory \] 不再只是一句話。 而成為： \[ \boxed{ Claim\ with\ Provenance. } \] --- # 4. Firsthand 與 Hearsay 不應等價 `my_ai_town` 的 Formal Memory Builder 已經直接體現這一點。 新建立的正式記憶： - firsthand 初始 confidence 為 78； - 非 firsthand 的 hearsay 初始 confidence 為 58。 因此： \[ C_{firsthand}>C_{hearsay}. \] 這個數值本身不是普遍真理。 真正重要的是架構原則： \[ \boxed{ EvidenceSource \rightarrow InitialBeliefStrength. } \] 也就是： > 親眼看到和別人告訴自己，本來就不應被系統當成完全相同的認知狀態。 --- # 5. Source Resident：二手消息必須知道是誰說的 正式記憶還有： ```text id="dqu3th" source_resident_id ``` 而且 schema 明確要求： - `hearsay` 必須具有 source resident； - 非 hearsay 則不能亂填 source resident。 所以： \[ Hearsay = ( Claim, Source ). \] 這一點非常重要。 因為： > 「有人說 C 偷東西。」 與： > 「A 說 C 偷東西。」 是兩種完全不同的資訊結構。 後者未來才可能加入： \[ Trust_{B\leftarrow A}. \] 也就是我們上一輪研究得到的下一個自然方向： \[ BeliefUpdate = f( Evidence, SourceKind, SourceTrust ). \] --- # 6. Claim Root：不同記憶可以屬於同一個命題 如果每次事件都生成完全獨立的 Memory Entry： \[ m_1,m_2,m_3,\dots \] 系統其實很難知道： > 這些是不是都在談同一件事情？ 因此正式記憶引入： ```text id="ilgoa7" claim_root_id ``` 可以理解為： \[ ClaimRoot(k). \] 例如： \[ k=\text{「鑰匙在咖啡館櫃台」}. \] 不同 evidence： \[ e_1,e_2,e_3 \] 可以全部關聯： \[ claim\_root(k). \] 因此： \[ \boxed{ Many\ Evidence \rightarrow One\ Claim. } \] 這使真正的 belief revision 成為可能。 --- # 7. Confidence：相信不是 Boolean 普通遊戲經常把知識表示成： \[ Known\in\{0,1\}. \] 但真正認知通常不是這樣。 Agent 可能： > 我好像聽說過。 > 我很確定。 > 我開始懷疑。 > 我以前以為是這樣，但現在看來不是。 因此： \[ Belief(k) \] 至少需要某種： \[ confidence(k). \] `my_ai_town` 將正式記憶 confidence 限制在： \[ [0,100]. \] 所以 Agent Memory 已經可以表示： \[ Belief_i(k) = ( claim, confidence ). \] 而不是： \[ Know_i(k)=\text{true}. \] --- # 8. Belief State：同一條記憶也有生命週期 正式記憶 state 包含： \[ \{ influencing, past, doubtful, anomalous, corrected \}. \] 這使記憶不只是： > 存在 / 不存在。 而具有認知狀態。 --- ## Influencing 目前仍影響決策。 \[ M(k)=active. \] --- ## Past 存在於歷史，但不再是高影響信念。 --- ## Doubtful 居民仍記得，但： \[ confidence\downarrow \] 並開始懷疑。 --- ## Anomalous 新 evidence 和現有理解產生明顯衝突。 --- ## Corrected 居民原本的理解被後來證據正式修正。 這是一個非常重要的進步。 因為真正的人類式記憶不是： \[ DeleteOldMemory. \] 而經常是： > 「我以前以為 X，後來才知道不是。」 --- # 9. Reinforcement：一致證據不是生成第二份記憶 假設 Agent 已有： \[ Belief(k,c=60). \] 後來又看到另一個相符 evidence。 較差的系統可能增加： ```text id="uvzh53" memory 1: k memory 2: k ``` 久了形成大量重複文字。 更好的方法是： \[ Evidence_{new} \rightarrow ExistingClaim. \] `ResidentMemoryReappraiser` 在相同 claim 獲得一致證據時會： \[ confidence \leftarrow \min(100,confidence+8). \] 也就是： \[ \boxed{ Corroboration \rightarrow BeliefStrengthening. } \] --- # 10. Doubt：矛盾證據不應立即刪除舊信念 反過來，如果新 evidence 和舊理解衝突： \[ e_{new}\perp k. \] 系統不應直接： \[ Delete(k). \] 因為單一新 evidence 本身也可能不可靠。 現在的 reappraisal 邏輯會： \[ confidence \leftarrow \max(10,confidence-20) \] 並將： \[ state=doubtful. \] 這其實很合理。 因為： \[ Contradiction \neq ImmediateCorrection. \] 而是： \[ Contradiction \rightarrow Uncertainty. \] --- # 11. Anomaly：不是所有矛盾都只是普通懷疑 系統還有： \[ anomalous. \] 在特定 intervention 情況下，衝突 evidence 可以： \[ confidence-30 \] 並進入 anomaly state。 概念上可以將 anomaly 理解為： > 新情報和既有認知模型出現需要特別處理的斷裂。 這比： \[ \text{true}/\text{false} \] 更加接近真正認知。 --- # 12. Correction：親歷證據可以推翻懷疑中的舊理解 最有意思的是： 如果原記憶已是： \[ doubtful \] 而新 evidence 為： \[ firsthand \] 且內容相反，系統可以進入： \[ corrected. \] 此時 subject 被新 evidence 更新，interpretation 也會記錄： > 後來得到的親歷證據修正了我原先的理解。 並將 confidence 重設至 72。 這就不只是： \[ MemoryUpdate. \] 而是： \[ \boxed{ BeliefRevision. } \] --- # 13. 一個完整的 Belief Revision State Machine 因此可以抽象為： \[ Belief(k,t) = ( content, confidence, state, evidence ). \] 收到新 evidence： \[ e_t \] 後： \[ B_{t+1} = R(B_t,e_t). \] 其中： \[ R= \begin{cases} reinforce,& evidence\ supports\\ doubt,& evidence\ contradicts\\ anomaly,& strong/abnormal\ conflict\\ correct,& firsthand\ correction\\ keep,& unrelated \end{cases} \] 所以： \[ \boxed{ Memory } \] 實際已經開始成為一個小型： \[ \boxed{ Epistemic\ State\ Machine. } \] --- # 14. Hearsay 甚至會自然老化 這又是很有意思的一層。 如果一項 hearsay： - 仍為 influencing； - 沒有足夠新增 evidence； - 沒有玩家 intervention； - confidence 高於 threshold； 那麼每經過： \[ 7 \] 個遊戲日： \[ confidence \leftarrow confidence-8. \] 最低降至： \[ 34. \] 當達到 threshold 後： \[ state\rightarrow past. \] 所以： \[ \boxed{ Uncorroborated\ Hearsay \rightarrow Gradual\ Cognitive\ Decay. } \] 這比所有記憶永久等權重合理很多。 --- # 15. 忘記其實不是刪除 這也值得區分。 傳統記憶系統常把： \[ Forgetting \] 理解為： \[ DeleteEntry. \] 但更自然的是： \[ Influence\downarrow. \] Agent 仍可能保有： > 「好像以前有人跟我說過。」 但不再把它作為： \[ HighConfidenceDecisionEvidence. \] 因此： \[ \boxed{ Forgetting \neq Erasure. } \] 更像： \[ Forgetting = ConfidenceDecay + InfluenceDecay. \] --- # 16. Evidence References 讓記憶具有可追溯性 每個正式 Memory Entry 還保存： ```text id="k5tw47" evidence_refs ``` 因此理論上可以從： \[ Memory \] 回溯： \[ Evidence. \] 這使系統未來可以進一步回答： > 為什麼你相信這件事？ 而不是讓 Agent 重新生成一個解釋。 也就是： \[ Belief \rightarrow EvidenceGraph. \] 這對 AI 社會尤其重要。 --- # 17. 記憶的 Interpretation 也不等於 Subject 正式 Memory Entry 同時具有： ```text id="wvpe7y" subject interpretation ``` 這也是非常合理的分離。 例如： ### Subject > B 拒絕了我的邀請。 這可以接近 evidence-supported fact。 ### Interpretation > 他大概不太想跟我來往。 這是： \[ AgentInference. \] 所以： \[ \boxed{ Observation \neq Interpretation. } \] Agent 可以形成錯誤 interpretation。 但不應反過來污染： \[ WorldTruth. \] --- # 18. 這使「誤解」成為正式遊戲可能性 假設： \[ E: B\ refused\ invitation. \] A 的 interpretation： \[ I_A: B\ dislikes\ me. \] 實際： \[ B \] 只是當時有工作。 因此： \[ I_A\neq WorldTruth. \] 如果 A 因此疏遠 B： \[ Belief \rightarrow Action \rightarrow NewWorldEvent. \] 那麼一個原本錯誤的信念，也可以產生： \[ \boxed{ Real\ Consequences. } \] 這才是真正有趣的 AI 社會。 --- # 19. Belief 可以是假的，但結果可以是真的 這裡得到一個非常重要的命題： \[ \boxed{ False\ Belief \rightarrow True\ World\ Consequence. } \] 例如： > A 誤以為 B 背叛自己。 即使： \[ Belief_A=\text{false} \] A 仍可能因此： - 拒絕合作； - 攻擊 B； - 散播消息； - 終止承諾。 於是： \[ Action_A \] 是真實的。 結果： \[ World_{t+1} \] 真的被改變。 這就是： \[ \boxed{ Epistemic\ Causality. } \] --- # 20. Claim Root 可以成為跨 Agent 的社會知識單位 目前 claim root 主要存在於個體正式記憶中。 但這個概念其實可以自然擴張。 假設： \[ ClaimRoot=k. \] 不同居民有： \[ B_A(k)=0.9 \] \[ B_B(k)=0.6 \] \[ B_C(k)=0.2. \] 於是整個社會對同一命題形成： \[ \boxed{ BeliefDistribution(k) } \] 而不是單一： \[ truthFlag. \] 這會是下一代 AI 社會非常重要的資料結構。 --- # 21. 從 Memory Archive 到 Belief Graph 因此真正更一般化的資料表示可能不是： \[ MemoryList. \] 而是： \[ \boxed{ BeliefGraph_i = (V_i,E_i) } \] 其中節點可以包含： - Claim； - Event； - Person； - Place； - Object。 邊則表示： - supports； - contradicts； - heard_from； - witnessed； - inferred_from； - corrected_by。 於是： \[ Claim \xleftarrow{support} Evidence \] 以及： \[ Claim \xleftarrow{contradict} Evidence. \] 這比單純向量檢索更具有因果結構。 --- # 22. 向量檢索不能取代 Claim Identity Embedding 非常適合： \[ RetrieveSimilarMemory. \] 但相似並不代表： \[ SameClaim. \] 例如： > 「門是開的。」 與： > 「門不是開的。」 在 embedding space 可能高度接近。 但邏輯上： \[ p \] 與： \[ \neg p \] 完全相反。 所以： \[ \boxed{ SemanticSimilarity \neq ClaimIdentity. } \] 這也是 `claim_root_id` 這類結構的重要價值。 --- # 23. Belief Revision 不能完全交給 LLM 自由重寫 如果每次記憶整理都只要求模型： > 「幫我重新整理記憶。」 那麼模型可能無意間： - 刪除重要矛盾； - 把傳聞寫成事實； - 改變來源； - 將未完成動作寫成已完成； - 把舊理解直接覆蓋掉。 因此需要： \[ \boxed{ StructuredMemoryGuard } \] 而 `my_ai_town` 的記憶規則明確要求： - World Event / Result 才能證明客觀事件； - rejected / interrupted / replaced 不能整理成完成； - 公開資料不能創造私人關係； - 猜測不能寫成事實； - 沒有新證據不能無故改寫關係。 這其實是在給 LLM Memory Organizer 一個： \[ EpistemicContract. \] --- # 24. Natural-Language Memory 與 Formal Memory 是兩種不同層 `my_ai_town` 同時保留： ### 整理後自然語言記憶 - important memories； - relationships； - current thoughts； - long-term goals； - short-term goals。 以及： ### Formal Memory Archive 具有： - source； - claim； - confidence； - evidence； - state。 這是一個值得保留的雙層結構。 可以寫成： \[ \boxed{ FormalMemory \rightarrow NarrativeMemoryProjection. } \] 正式層負責： > 一致性與證據。 自然語言層負責： > 角色感、決策上下文與可讀性。 兩者不需要互相取代。 --- # 25. Memory Compression 必須保留狀態，不只是縮短文字 當 Agent 活幾百遊戲日之後： \[ |Memory|\rightarrow large. \] 一定需要壓縮。 但壓縮不能只是： > 把 10,000 字變 2,000 字。 真正重要的是保留： \[ \boxed{ State\ sufficient\ for\ future\ decisions. } \] 例如： - 我和 B 已經不信任彼此； - 我欠 C 一個承諾； - 我曾相信 X，但已被親歷證據修正； - 某傳聞仍未證實； - 我的長期目標已改變。 所以： \[ Compression \neq SummarizationOnly. \] 而更接近： \[ History \rightarrow DecisionRelevantState. \] --- # 26. 關係其實也是一種壓縮後 Belief 自然語言 `relationships` 欄位本質上是在回答： \[ Belief_i(Person_j). \] 例如： > 唐小滿信任我的手藝，我不能讓她失望。 這不是客觀： \[ Trust=87. \] 而是 Agent 對關係的主觀模型。 因此未來可以區分： \[ RelationshipState \] 和： \[ RelationshipBelief. \] World 可能只知道： > 兩人做過什麼。 而 A 認為： > B 信任我。 B 可能反而認為： > 我只是暫時需要他。 所以： \[ R_{A\rightarrow B} \neq R_{B\rightarrow A}. \] --- # 27. 真正缺的下一層是 Source Trust 到這裡，我們可以看到 `my_ai_town` 已經具有： \[ Claim. \] 具有： \[ Evidence. \] 具有： \[ Confidence. \] 具有： \[ SourceResident. \] 具有： \[ BeliefRevision. \] 但是還缺一個一般化項： \[ \boxed{ Trust_{i\leftarrow j}. } \] 目前 hearsay 初始 confidence 主要依： \[ SourceKind \] 決定。 也就是： \[ firsthand>hearsay. \] 但未來更完整的應該是： \[ C_{new} = f( SourceKind, Trust_{i\leftarrow j}, EvidenceQuality, Corroboration ). \] --- # 28. 同一句話不應對每個人有相同可信度 假設 A 說： > 「市場明天會關門。」 對 B： \[ Trust_{B\leftarrow A}=0.9. \] 對 C： \[ Trust_{C\leftarrow A}=0.2. \] 則同一 evidence： \[ e_A \] 應產生： \[ Belief_B(k)=0.75 \] 與： \[ Belief_C(k)=0.35. \] 也就是： \[ \boxed{ Information \neq Belief. } \] 資訊相同。 可信度不同。 這會把 NPC-NPC Relationship 和 Claim System 正式接起來。 --- # 29. 專業權威也可以成為 Trust 的另一維 Trust 不一定只是： > 我喜不喜歡他。 可以分： \[ T_{social} \] \[ T_{domain}. \] 例如： A 很討厭醫生 D。 但在醫療問題上： \[ T_{medical}(D) \] 仍然很高。 所以： \[ Trust_{i\leftarrow j}(topic) \] 應該可能是 topic-dependent。 這會自然形成： \[ \boxed{ Expertise. } \] 不需要硬寫： > 這個 NPC 是權威，所以大家一定相信。 --- # 30. Hearsay 衰減也不應永遠只靠時間 目前 hearsay 每七天降低 confidence 是很好的第一步。 但更完整可以是： \[ Decay = f( Time, Corroboration, Importance, Emotion, Trust, Repetition ). \] 例如： ### 普通傳聞 快速衰減。 ### 創傷性事件 很久不忘。 ### 多人反覆確認 不容易衰減。 ### 來源被證明多次撒謊 相關 hearsay 信心下降。 這會讓： \[ MemoryDynamics \] 開始真正和 Social Dynamics 耦合。 --- # 31. Belief Revision 可以產生第二階認知 更進一步，Agent 不只可以相信： \[ k. \] 還可以相信： \[ B\ believes\ k. \] 例如： > 我知道 B 認為 C 很危險。 這就是： \[ Belief_i(Belief_j(k)). \] 如果再擴張： \[ Belief_i(Belief_j(Belief_k(x))) \] 很快會爆炸。 因此不需要無限 Theory of Mind。 但至少一階： \[ \boxed{ BeliefAboutOthers } \] 對： - 欺騙； - 談判； - 秘密； - 社交策略； 會非常有價值。 --- # 32. 不完整記憶才是遊戲性來源 如果 Agent 永遠： - 不忘記； - 不誤解； - 不懷疑錯； - 不相信謠言； 那它反而不像社會角色。 真正有趣的是： \[ Memory \] 存在有限性。 因此： \[ \boxed{ CognitiveImperfection } \] 不應被視為純粹 Bug。 它本身可能是： \[ GameplayResource. \] 例如玩家可以： - 澄清誤會； - 利用流言； - 尋找證人； - 提供反證； - 重建信任。 --- # 33. Agent 的「真實」其實有三層 到這裡可以正式區分： ## Layer 1：World Truth \[ T_W. \] 客觀世界事實。 --- ## Layer 2：Evidence \[ E_i. \] Agent 真正接觸過的資訊。 --- ## Layer 3：Belief \[ B_i. \] Agent 對 Evidence 的理解。 所以： \[ \boxed{ T_W \rightarrow E_i \rightarrow B_i. } \] 任何一層都不能直接等同下一層。 --- # 34. 完整認知循環 加入前兩篇架構後，現在可以得到： \[ W_t \xrightarrow{Projection} O_i(t) \] Agent 接收到事件： \[ O_i \rightarrow Evidence_i. \] Formal Memory： \[ Evidence_i \rightarrow Claim_i. \] Belief update： \[ Claim_i \rightarrow Belief_i. \] 再影響： \[ Intent_i = \pi_i(O_i,B_i). \] Intent 經 World： \[ Intent_i \rightarrow WorldAction. \] 最後： \[ W_{t+1}. \] 完整循環變成： \[ \boxed{ World \rightarrow Evidence \rightarrow Belief \rightarrow Intent \rightarrow Action \rightarrow World' } \] 這是整個系列第一次真正形成認知—世界閉環。 --- # 35. 從「有記憶 NPC」到「有認識論的 Agent」 因此，可以區分： ### Memory NPC \[ PastText\rightarrow Prompt. \] 以及： ### Epistemic Agent \[ Evidence \rightarrow Claim \rightarrow Confidence \rightarrow Revision. \] 前者只是： > 記得以前講過什麼。 後者開始回答： > 我為什麼相信？ > 我到底有多相信？ > 是誰告訴我的？ > 如果新的證據相反，我要不要修正？ 這是一個非常大的結構差異。 --- # 36. 結論：智能不只需要記住，也需要有能力承認自己可能記錯 一個真正長期存在於世界裡的 Agent，不可能只持續： \[ AppendMemory. \] 它必須經歷： \[ Remember \rightarrow Interpret \rightarrow Doubt \rightarrow Reinforce \rightarrow Correct \rightarrow Forget. \] 因此： \[ \boxed{ Memory = Dynamic\ Belief\ State } \] 而不是： \[ Memory = Historical\ Transcript. \] `my_ai_town` 已經展示了這種架構的幾個關鍵底座： - claim identity； - evidence provenance； - firsthand / hearsay； - confidence； - contradiction handling； - correction； - hearsay aging。 但它也揭露了下一步非常清楚的缺口： \[ \boxed{ SourceTrust } \] 還沒有完全成為正式世界與認知耦合變量。 一旦加入： \[ Trust_{i\leftarrow j} \] 便可以把： \[ SocialRelationship \] 正式接入： \[ BeliefRevision. \] 到那時，同一句話將不再對每個居民產生相同影響。 而真正的： - 流言； - 專家； - 誤導； - 信任危機； - 錯誤共識； 才會開始形成。 因此，本篇最後留下的核心命題是： \[ \boxed{ \text{A believable agent must be capable of believing incorrectly.} } \] 也就是： > **一個真正可信的 Agent，必須具有相信錯誤事情的可能性。** 而下一篇將把個體認知重新放回社會世界： # 第 4 篇 ## 《事情如何自己發生：Social Matter 與內生問題生成》 我們將研究： \[ WorldState \rightarrow Problem \rightarrow Awareness \rightarrow Response \rightarrow Commitment \rightarrow WorldChange \] 以及為什麼： > **真正的 AI 社會不是讓 LLM 隨機製造故事，而是讓世界狀態自己產生需要居民回應的問題。**