會記錯、會懷疑、會修正
——Agent Memory、Claim、Evidence 與 Belief Revision Architecture
作者: Neo.K
機構: EveMissLab/一言諾科技有限公司
日期: 2026-10-07(整理日期;原稿未標註日期)
版本: 原稿未標註(本次整理版)
摘要
大型語言模型 Agent 經常被描述為「具有記憶」。
然而,只要把過去對話或事件摘要存進文字檔,再於下一次 Prompt 中重新送回模型,嚴格而言只能證明:
Agent has persistent context而不能證明:
Agent has a memory system.真正的記憶系統至少還需要回答:
- 這件事從哪裡得知?
- 是親眼看見,還是別人轉述?
- 當時相信多少?
- 是否有新的證據支持它?
- 是否出現矛盾?
- 原先的理解能否被修正?
- 一則長期沒有佐證的傳聞是否會逐漸失去影響力?
因此,本篇提出:
Memory=Text History更完整的 Agent Memory 應被理解為:
Evidence→Claim→Belief→Revision在 my_ai_town 的實作中,正式記憶條目已經包含:
subject
interpretation
people
places
topics
source_kind
source_resident_id
claim_root_id
confidence
state
evidence_refs
等結構,而且 source_kind 正式區分:
{firsthand,hearsay,implanted}.confidence 則被限制於:
0≤c≤100.更重要的是,它並不只保存記憶,而會根據新證據執行:
- reinforce;
- doubt;
- anomaly;
- correction。
因此,這個系統已開始跨越:
Memory Storage走向:
BeliefDynamics.
1. 記憶不是世界事實的副本
在第 1 篇中,我們區分:
[
WorldTruth
]
與:
[
AgentInterpretation.
]
到了記憶層,這項區分變得更加重要。
假設 World 確認:
A 對 B 說:「C 偷了我的東西。」
世界真正能證明的是:
E1=A said “C stole my item.”但不能因此直接建立:
C stole item=true.對 B 而言,他得到的是一項 evidence:
EvidenceB(C stole item)而不是 Truth。
因此 B 應該建立:
BeliefB(C stole item).這個 Belief 可以:
- 相信;
- 半信半疑;
- 被後續證據強化;
- 被新證據推翻。
這才是記憶系統和 World Log 的根本區別。
2. World Log 與 Agent Memory 必須分開
可以定義:
HW(t)為 World History。
它回答:
客觀確認過哪些事情?
而:
Mi(t)則是居民 (i) 的記憶。
它回答:
這個居民如何理解自己曾經接觸到的事情?
因此:
Mi(t)=HW(t)並且:
Mi(t)=Mj(t).同一個世界事件:
[
E
]
可能形成:
MA(E)=「他拒絕了我」以及:
MB(E)=「我只是當時太忙」.客觀事件相同。
私人意義不同。
3. Evidence 是記憶之前的一層
很多 LLM 記憶架構直接做:
Event→Summary.這會失去一個非常重要的中間層:
EvidenceEvidence 應該保存:
這項記憶憑什麼成立?
例如:
- world event;
- conversation turn;
- action result;
- announcement;
- heard statement;
- observed conflict。
因此正式記憶不是:
C 偷了東西
而應接近:
subject: C 可能拿走了東西
source_kind: hearsay
source_resident_id: A
evidence_refs:
- conversation-17-turn-3
confidence: 58
這使:
[
Memory
]
不再只是一句話。
而成為:
Claim with Provenance.
4. Firsthand 與 Hearsay 不應等價
my_ai_town 的 Formal Memory Builder 已經直接體現這一點。
新建立的正式記憶:
- firsthand 初始 confidence 為 78;
- 非 firsthand 的 hearsay 初始 confidence 為 58。
因此:
Cfirsthand>Chearsay.這個數值本身不是普遍真理。
真正重要的是架構原則:
EvidenceSource→InitialBeliefStrength.也就是:
親眼看到和別人告訴自己,本來就不應被系統當成完全相同的認知狀態。
5. Source Resident:二手消息必須知道是誰說的
正式記憶還有:
source_resident_id
而且 schema 明確要求:
hearsay 必須具有 source resident;
- 非 hearsay 則不能亂填 source resident。
所以:
Hearsay=(Claim,Source).這一點非常重要。
因為:
「有人說 C 偷東西。」
與:
「A 說 C 偷東西。」
是兩種完全不同的資訊結構。
後者未來才可能加入:
TrustB←A.也就是我們上一輪研究得到的下一個自然方向:
BeliefUpdate=f(Evidence,SourceKind,SourceTrust).
6. Claim Root:不同記憶可以屬於同一個命題
如果每次事件都生成完全獨立的 Memory Entry:
m1,m2,m3,…系統其實很難知道:
這些是不是都在談同一件事情?
因此正式記憶引入:
claim_root_id
可以理解為:
[
ClaimRoot(k).
]
例如:
k=「鑰匙在咖啡館櫃台」.不同 evidence:
e1,e2,e3可以全部關聯:
claim_root(k).因此:
Many Evidence→One Claim.這使真正的 belief revision 成為可能。
7. Confidence:相信不是 Boolean
普通遊戲經常把知識表示成:
Known∈{0,1}.但真正認知通常不是這樣。
Agent 可能:
我好像聽說過。
我很確定。
我開始懷疑。
我以前以為是這樣,但現在看來不是。
因此:
[
Belief(k)
]
至少需要某種:
[
confidence(k).
]
my_ai_town 將正式記憶 confidence 限制在:
[
[0,100].
]
所以 Agent Memory 已經可以表示:
Beliefi(k)=(claim,confidence).而不是:
Knowi(k)=true.
8. Belief State:同一條記憶也有生命週期
正式記憶 state 包含:
[
{
influencing,
past,
doubtful,
anomalous,
corrected
}.
]
這使記憶不只是:
存在 / 不存在。
而具有認知狀態。
Influencing
目前仍影響決策。
M(k)=active.
Past
存在於歷史,但不再是高影響信念。
Doubtful
居民仍記得,但:
confidence↓並開始懷疑。
Anomalous
新 evidence 和現有理解產生明顯衝突。
Corrected
居民原本的理解被後來證據正式修正。
這是一個非常重要的進步。
因為真正的人類式記憶不是:
[
DeleteOldMemory.
]
而經常是:
「我以前以為 X,後來才知道不是。」
9. Reinforcement:一致證據不是生成第二份記憶
假設 Agent 已有:
Belief(k,c=60).後來又看到另一個相符 evidence。
較差的系統可能增加:
memory 1: k
memory 2: k
久了形成大量重複文字。
更好的方法是:
Evidencenew→ExistingClaim.ResidentMemoryReappraiser 在相同 claim 獲得一致證據時會:
confidence←min(100,confidence+8).也就是:
Corroboration→BeliefStrengthening.
10. Doubt:矛盾證據不應立即刪除舊信念
反過來,如果新 evidence 和舊理解衝突:
enew⊥k.系統不應直接:
[
Delete(k).
]
因為單一新 evidence 本身也可能不可靠。
現在的 reappraisal 邏輯會:
confidence←max(10,confidence−20)並將:
state=doubtful.這其實很合理。
因為:
Contradiction=ImmediateCorrection.而是:
Contradiction→Uncertainty.
11. Anomaly:不是所有矛盾都只是普通懷疑
系統還有:
[
anomalous.
]
在特定 intervention 情況下,衝突 evidence 可以:
[
confidence-30
]
並進入 anomaly state。
概念上可以將 anomaly 理解為:
新情報和既有認知模型出現需要特別處理的斷裂。
這比:
true/false更加接近真正認知。
12. Correction:親歷證據可以推翻懷疑中的舊理解
最有意思的是:
如果原記憶已是:
[
doubtful
]
而新 evidence 為:
[
firsthand
]
且內容相反,系統可以進入:
[
corrected.
]
此時 subject 被新 evidence 更新,interpretation 也會記錄:
後來得到的親歷證據修正了我原先的理解。
並將 confidence 重設至 72。
這就不只是:
[
MemoryUpdate.
]
而是:
BeliefRevision.
13. 一個完整的 Belief Revision State Machine
因此可以抽象為:
Belief(k,t)=(content,confidence,state,evidence).收到新 evidence:
et後:
Bt+1=R(Bt,et).其中:
R=⎩⎨⎧reinforce,doubt,anomaly,correct,keep,evidence supportsevidence contradictsstrong/abnormal conflictfirsthand correctionunrelated所以:
Memory實際已經開始成為一個小型:
Epistemic State Machine.
14. Hearsay 甚至會自然老化
這又是很有意思的一層。
如果一項 hearsay:
- 仍為 influencing;
- 沒有足夠新增 evidence;
- 沒有玩家 intervention;
- confidence 高於 threshold;
那麼每經過:
[
7
]
個遊戲日:
confidence←confidence−8.最低降至:
[
34.
]
當達到 threshold 後:
state→past.所以:
Uncorroborated Hearsay→Gradual Cognitive Decay.這比所有記憶永久等權重合理很多。
15. 忘記其實不是刪除
這也值得區分。
傳統記憶系統常把:
[
Forgetting
]
理解為:
[
DeleteEntry.
]
但更自然的是:
Influence↓.Agent 仍可能保有:
「好像以前有人跟我說過。」
但不再把它作為:
[
HighConfidenceDecisionEvidence.
]
因此:
Forgetting=Erasure.更像:
Forgetting=ConfidenceDecay+InfluenceDecay.
16. Evidence References 讓記憶具有可追溯性
每個正式 Memory Entry 還保存:
evidence_refs
因此理論上可以從:
[
Memory
]
回溯:
[
Evidence.
]
這使系統未來可以進一步回答:
為什麼你相信這件事?
而不是讓 Agent 重新生成一個解釋。
也就是:
Belief→EvidenceGraph.這對 AI 社會尤其重要。
17. 記憶的 Interpretation 也不等於 Subject
正式 Memory Entry 同時具有:
subject
interpretation
這也是非常合理的分離。
例如:
Subject
B 拒絕了我的邀請。
這可以接近 evidence-supported fact。
Interpretation
他大概不太想跟我來往。
這是:
[
AgentInference.
]
所以:
Observation=Interpretation.Agent 可以形成錯誤 interpretation。
但不應反過來污染:
[
WorldTruth.
]
18. 這使「誤解」成為正式遊戲可能性
假設:
[
E:
B\ refused\ invitation.
]
A 的 interpretation:
IA:B dislikes me.實際:
[
B
]
只是當時有工作。
因此:
IA=WorldTruth.如果 A 因此疏遠 B:
Belief→Action→NewWorldEvent.那麼一個原本錯誤的信念,也可以產生:
Real Consequences.這才是真正有趣的 AI 社會。
19. Belief 可以是假的,但結果可以是真的
這裡得到一個非常重要的命題:
False Belief→True World Consequence.例如:
A 誤以為 B 背叛自己。
即使:
BeliefA=falseA 仍可能因此:
於是:
ActionA是真實的。
結果:
Worldt+1真的被改變。
這就是:
Epistemic Causality.
20. Claim Root 可以成為跨 Agent 的社會知識單位
目前 claim root 主要存在於個體正式記憶中。
但這個概念其實可以自然擴張。
假設:
ClaimRoot=k.不同居民有:
BA(k)=0.9BB(k)=0.6BC(k)=0.2.於是整個社會對同一命題形成:
BeliefDistribution(k)而不是單一:
[
truthFlag.
]
這會是下一代 AI 社會非常重要的資料結構。
21. 從 Memory Archive 到 Belief Graph
因此真正更一般化的資料表示可能不是:
[
MemoryList.
]
而是:
BeliefGraphi=(Vi,Ei)其中節點可以包含:
- Claim;
- Event;
- Person;
- Place;
- Object。
邊則表示:
- supports;
- contradicts;
- heard_from;
- witnessed;
- inferred_from;
- corrected_by。
於是:
ClaimsupportEvidence以及:
ClaimcontradictEvidence.這比單純向量檢索更具有因果結構。
22. 向量檢索不能取代 Claim Identity
Embedding 非常適合:
[
RetrieveSimilarMemory.
]
但相似並不代表:
[
SameClaim.
]
例如:
「門是開的。」
與:
「門不是開的。」
在 embedding space 可能高度接近。
但邏輯上:
[
p
]
與:
¬p完全相反。
所以:
SemanticSimilarity=ClaimIdentity.這也是 claim_root_id 這類結構的重要價值。
23. Belief Revision 不能完全交給 LLM 自由重寫
如果每次記憶整理都只要求模型:
「幫我重新整理記憶。」
那麼模型可能無意間:
- 刪除重要矛盾;
- 把傳聞寫成事實;
- 改變來源;
- 將未完成動作寫成已完成;
- 把舊理解直接覆蓋掉。
因此需要:
StructuredMemoryGuard而 my_ai_town 的記憶規則明確要求:
- World Event / Result 才能證明客觀事件;
- rejected / interrupted / replaced 不能整理成完成;
- 公開資料不能創造私人關係;
- 猜測不能寫成事實;
- 沒有新證據不能無故改寫關係。
這其實是在給 LLM Memory Organizer 一個:
[
EpistemicContract.
]
24. Natural-Language Memory 與 Formal Memory 是兩種不同層
my_ai_town 同時保留:
整理後自然語言記憶
- important memories;
- relationships;
- current thoughts;
- long-term goals;
- short-term goals。
以及:
Formal Memory Archive
具有:
- source;
- claim;
- confidence;
- evidence;
- state。
這是一個值得保留的雙層結構。
可以寫成:
FormalMemory→NarrativeMemoryProjection.正式層負責:
一致性與證據。
自然語言層負責:
角色感、決策上下文與可讀性。
兩者不需要互相取代。
25. Memory Compression 必須保留狀態,不只是縮短文字
當 Agent 活幾百遊戲日之後:
∣Memory∣→large.一定需要壓縮。
但壓縮不能只是:
把 10,000 字變 2,000 字。
真正重要的是保留:
State sufficient for future decisions.例如:
- 我和 B 已經不信任彼此;
- 我欠 C 一個承諾;
- 我曾相信 X,但已被親歷證據修正;
- 某傳聞仍未證實;
- 我的長期目標已改變。
所以:
Compression=SummarizationOnly.而更接近:
History→DecisionRelevantState.
26. 關係其實也是一種壓縮後 Belief
自然語言 relationships 欄位本質上是在回答:
Beliefi(Personj).例如:
唐小滿信任我的手藝,我不能讓她失望。
這不是客觀:
Trust=87.而是 Agent 對關係的主觀模型。
因此未來可以區分:
[
RelationshipState
]
和:
[
RelationshipBelief.
]
World 可能只知道:
兩人做過什麼。
而 A 認為:
B 信任我。
B 可能反而認為:
我只是暫時需要他。
所以:
RA→B=RB→A.
27. 真正缺的下一層是 Source Trust
到這裡,我們可以看到 my_ai_town 已經具有:
[
Claim.
]
具有:
[
Evidence.
]
具有:
[
Confidence.
]
具有:
[
SourceResident.
]
具有:
[
BeliefRevision.
]
但是還缺一個一般化項:
Trusti←j.目前 hearsay 初始 confidence 主要依:
[
SourceKind
]
決定。
也就是:
firsthand>hearsay.但未來更完整的應該是:
Cnew=f(SourceKind,Trusti←j,EvidenceQuality,Corroboration).
28. 同一句話不應對每個人有相同可信度
假設 A 說:
「市場明天會關門。」
對 B:
TrustB←A=0.9.對 C:
TrustC←A=0.2.則同一 evidence:
eA應產生:
BeliefB(k)=0.75與:
BeliefC(k)=0.35.也就是:
Information=Belief.資訊相同。
可信度不同。
這會把 NPC-NPC Relationship 和 Claim System 正式接起來。
29. 專業權威也可以成為 Trust 的另一維
Trust 不一定只是:
我喜不喜歡他。
可以分:
TsocialTdomain.例如:
A 很討厭醫生 D。
但在醫療問題上:
Tmedical(D)仍然很高。
所以:
Trusti←j(topic)應該可能是 topic-dependent。
這會自然形成:
Expertise.不需要硬寫:
這個 NPC 是權威,所以大家一定相信。
30. Hearsay 衰減也不應永遠只靠時間
目前 hearsay 每七天降低 confidence 是很好的第一步。
但更完整可以是:
Decay=f(Time,Corroboration,Importance,Emotion,Trust,Repetition).例如:
普通傳聞
快速衰減。
創傷性事件
很久不忘。
多人反覆確認
不容易衰減。
來源被證明多次撒謊
相關 hearsay 信心下降。
這會讓:
[
MemoryDynamics
]
開始真正和 Social Dynamics 耦合。
31. Belief Revision 可以產生第二階認知
更進一步,Agent 不只可以相信:
[
k.
]
還可以相信:
[
B\ believes\ k.
]
例如:
我知道 B 認為 C 很危險。
這就是:
Beliefi(Beliefj(k)).如果再擴張:
Beliefi(Beliefj(Beliefk(x)))很快會爆炸。
因此不需要無限 Theory of Mind。
但至少一階:
BeliefAboutOthers對:
會非常有價值。
32. 不完整記憶才是遊戲性來源
如果 Agent 永遠:
那它反而不像社會角色。
真正有趣的是:
[
Memory
]
存在有限性。
因此:
CognitiveImperfection不應被視為純粹 Bug。
它本身可能是:
[
GameplayResource.
]
例如玩家可以:
- 澄清誤會;
- 利用流言;
- 尋找證人;
- 提供反證;
- 重建信任。
33. Agent 的「真實」其實有三層
到這裡可以正式區分:
Layer 1:World Truth
TW.客觀世界事實。
Layer 2:Evidence
Ei.Agent 真正接觸過的資訊。
Layer 3:Belief
Bi.Agent 對 Evidence 的理解。
所以:
TW→Ei→Bi.任何一層都不能直接等同下一層。
34. 完整認知循環
加入前兩篇架構後,現在可以得到:
WtProjectionOi(t)Agent 接收到事件:
Oi→Evidencei.Formal Memory:
Evidencei→Claimi.Belief update:
Claimi→Beliefi.再影響:
Intenti=πi(Oi,Bi).Intent 經 World:
Intenti→WorldAction.最後:
Wt+1.完整循環變成:
World→Evidence→Belief→Intent→Action→World′這是整個系列第一次真正形成認知—世界閉環。
35. 從「有記憶 NPC」到「有認識論的 Agent」
因此,可以區分:
Memory NPC
PastText→Prompt.以及:
Epistemic Agent
Evidence→Claim→Confidence→Revision.前者只是:
記得以前講過什麼。
後者開始回答:
我為什麼相信?
我到底有多相信?
是誰告訴我的?
如果新的證據相反,我要不要修正?
這是一個非常大的結構差異。
36. 結論:智能不只需要記住,也需要有能力承認自己可能記錯
一個真正長期存在於世界裡的 Agent,不可能只持續:
[
AppendMemory.
]
它必須經歷:
Remember→Interpret→Doubt→Reinforce→Correct→Forget.因此:
Memory=Dynamic Belief State而不是:
Memory=Historical Transcript.my_ai_town 已經展示了這種架構的幾個關鍵底座:
- claim identity;
- evidence provenance;
- firsthand / hearsay;
- confidence;
- contradiction handling;
- correction;
- hearsay aging。
但它也揭露了下一步非常清楚的缺口:
SourceTrust還沒有完全成為正式世界與認知耦合變量。
一旦加入:
Trusti←j便可以把:
[
SocialRelationship
]
正式接入:
[
BeliefRevision.
]
到那時,同一句話將不再對每個居民產生相同影響。
而真正的:
才會開始形成。
因此,本篇最後留下的核心命題是:
A believable agent must be capable of believing incorrectly.也就是:
一個真正可信的 Agent,必須具有相信錯誤事情的可能性。
而下一篇將把個體認知重新放回社會世界:
第 4 篇
《事情如何自己發生:Social Matter 與內生問題生成》
我們將研究:
WorldState→Problem→Awareness→Response→Commitment→WorldChange以及為什麼:
真正的 AI 社會不是讓 LLM 隨機製造故事,而是讓世界狀態自己產生需要居民回應的問題。