矯正如何被再次矯正
從錯誤修補到更新規則的自我改寫
英文題名: How Can Correction Itself Be Corrected? From Error Repair to Self-Modification of Update Rules
系列: 《反身智能生成論》
文件編號: 04
作者: Neo.K × Aletheia
機構: EVEMISSLAB/一言諾科技有限公司
版本: Public Research Draft v0.1
日期: 2026-08-01
文件性質: 元認知/元學習/認知控制/反身智能理論
摘要
前一篇建立了自我糾錯的最小條件:智慧存在必須保留不能被當前模型完全支配的差異來源,並依序完成差異偵測、錯誤歸因、替代生成、結果驗證與歷史保存。然而,這仍預設了更深一層的結構:診斷器、更新器與驗證器本身是足夠可靠的。若一個智能體總是用錯誤方式解讀失配、以過高或過低的幅度修改信念、選擇錯誤的驗證策略,則它即使具有一階自我糾錯,也可能反覆產生同一類型的二階錯誤。
本文研究「矯正的矯正」:智能體如何把自己的更新規則、學習率、控制策略、驗證程序乃至評價標準本身轉化為可觀測、可比較與可修改的狀態。本文提出「反身更新規則模型」(Reflexive Update Rule Model, RURM),將一般更新寫為:
其中 決定更新幅度、證據權重、策略選擇與控制配置。二階更新則為:
即由較長時間尺度上的結果歷史 、延遲後果 與環境結構估計 ,修改「如何更新」。
本文同時強調一項關鍵可證偽區分:並非所有表面上的策略改變都構成真正的規則更新。若一個固定的高階算子 已經預先規定所有情境下應切換到哪個子策略,則:
仍可能只是固定規則下的狀態轉移。只有當系統後續可產生在原有可區分行為集合中未被固定映射完整指定的更新結構,或其更新函數本身在可觀測行為、泛化與反事實測試中出現可區分變化時,才有較強理由稱為「更新規則的更新」。
經驗研究與計算研究提供了多個接口。人類能依環境波動性調整近期結果與長期歷史的權重;預測誤差可改變刺激的後續可學習性;衝突與錯誤可以驅動控制配置改變;認知控制本身可被視為成本與報酬條件下的配置決策。在人工智能中,元學習與 learned optimizer 研究則直接展示了「學習一個更新規則」在工程上可操作:模型不只學參數,也可以從多個任務經驗中學習初始化、更新函數或適應機制。
本文最後將矯正分為五個時間尺度:行動修正、世界模型修正、更新規則修正、評價函數修正與目標形成方式修正。越高階的修正越需要較長的延遲後果與跨情境證據,否則系統容易把短期波動誤判成規則失效。由此可得,反身智能並非無限制地「一直改自己」,而是能決定何時只改答案、何時改模型、何時改更新規則,以及何時應暫時保留現有結構。
關鍵詞
矯正的矯正、元學習、更新規則、學習率、認知控制、波動性、元認知、反身智能、規則自我改寫、learned optimizer
1. 從「我錯了」到「我改錯了」
1.1 一階自我糾錯仍然可能系統性失敗
設智能體當前信念或模型狀態為:
獲得錯誤或差異訊號:
一般修正為:
其中 是更新算子, 表示更新方式。
即使智能體成功知道「目前狀態有問題」,仍可能:
- 更新太大;
- 更新太小;
- 相信錯誤來源;
- 忽略可靠來源;
- 每次看到反例就重建整套模型;
- 將真正的環境變化誤判為自身錯誤;
- 將短期噪音誤判為長期趨勢;
- 對不同領域使用同一種修正策略。
因此:
1.2 二階錯誤
將一階錯誤寫為:
若更新後:
但在後續證據上表現更差:
則可定義一個二階失配:
若:
代表:
原本用來修正的方式,至少在這個後續窗口內造成了更差結果。
此時被檢查的對象不再只是 ,而是:
2. 矯正的矯正是什麼?
2.1 基本定義
本文定義:
矯正的矯正,是智能體將自身的更新參數、更新策略或更新算子轉化為可評價對象,並依跨時間結果改變其後續更新方式。
形式為:
其中:
- :當前更新規則參數;
- :歷史修正紀錄;
- :修正後的延遲結果;
- :環境穩定性、波動性、任務結構等高階估計;
- :元更新算子。
若更新規則本身的函數結構也變化,可進一步寫成:
2.2 不是所有修改都叫元修正
若只是:
但 完全固定,這是一般學習。
若:
例如學習率、證據權重或控制強度改變,這是參數層元調節。
若:
且其輸入—輸出規則出現可辨識結構變化,則才是更強意義的規則更新。
所以本文區分:
這三層不可混用。
3. 第一個核心例子:學習率本身為什麼會變?
3.1 固定學習率
最簡單更新可寫成:
其中 是固定學習率。
若:
系統穩定但適應慢。
若:
系統快速追隨最新訊號,但容易被噪音帶動。
3.2 環境波動性改變最佳學習率
當環境穩定時,較長歷史通常具有較高預測價值:
當環境快速改變時,較近期結果應取得更高權重:
人類決策研究顯示,受試者可以追蹤環境波動性,並相應調整近期資訊與過去經驗在後續選擇中的權重。
因此,更合理的更新是:
且:
其中:
- :估計的環境波動性;
- :不確定性;
- :過去更新成功與否。
這已經是「如何更新」的動態調整。
4. 驚訝不只改變信念,也可以改變「可學習性」
4.1 預測誤差的二重角色
一類學習模型把預測誤差視為直接改變預測的訊號:
另一類模型則強調,驚訝也可能改變後續對特定線索的注意或可學習性:
即:
4.2 從信念更新到學習機制更新
因此可以區分:
一階效果
二階效果
當重大意外連續出現時,系統可能不只是修改答案,而是開始認為:
我目前所處環境比我原先想像的更不穩定,所以接下來應該更快更新。
這正是元修正的最小直觀例子。
5. 認知控制也可以被重新配置
5.1 錯誤與衝突不是只產生新答案
若某任務中反覆出現衝突:
系統可能提高後續控制強度:
例如:
- 更重視目標相關資訊;
- 降低干擾通道權重;
- 放慢決策;
- 提高檢查深度;
- 改變注意配置。
所以錯誤訊號可以改變:
而不只是:
5.2 控制有成本
更高控制不是免費的。
設控制配置為 ,則可以考慮:
系統不應永遠最大化檢查強度。
若每一個簡單問題都進行完整形式驗證,成本可能遠高於收益。
因此,元修正還包含:
何時值得增加反思?
而不只是:
如何增加反思?
6. 延遲後果為何重要?
6.1 一次修正的品質可能無法立即判斷
某些修正:
- 短期有效;
- 長期有害。
例如:
但:
反之,有些策略短期增加錯誤,長期卻改善學習:
但:
所以判斷更新規則必須選擇適當時間尺度。
6.2 多時間尺度
本文暫定五層:
通常:
越高階的修正,越不應由單一局部事件直接觸發。
7. 規則更新與固定高階規則:必須區分
7.1 一個危險的語義陷阱
假設系統看似可以:
- 遇到穩定環境就降低學習率;
- 遇到波動環境就提高學習率;
- 遇到衝突就增加控制;
- 遇到簡單問題就降低控制。
我們是否可以因此說:
它會修改自己的規則?
不一定。
可能存在一個從未改變的固定高階規則:
所有表面變化都只是 預先定義的狀態轉移。
7.2 弱反身更新
若:
保持固定,只是其輸出 隨環境變化,本文稱為:
弱反身更新(weak reflexive update)
形式:
它具有元調節,但沒有強意義的生成規則改寫。
7.3 強反身更新
若系統經歷新任務後:
且兩者在新的反事實條件下產生可區分行為:
則可稱為:
強反身更新(strong reflexive update)
但還要排除:
只是更高固定規則 的普通輸出。
這會引出遞迴問題,本文稍後處理。
8. 如何判定「規則真的改了」?
8.1 行為可區分性
若更新前後,在相同測試集 上:
代表行為結構改變。
8.2 跨任務泛化
真正有價值的規則更新,不應只記住一個例外。
若修改後:
而非僅:
才比較像策略或更新規則的改善。
8.3 反事實測試
對尚未實際發生的情境 :
如果新規則在未見過情境也表現出系統性新行為,規則改寫的主張較強。
8.4 結構見證
若能保存:
就能追蹤:
- 什麼觸發改寫;
- 改了哪一部分;
- 新規則如何不同;
- 哪些結果支持保留;
- 哪些失敗導致回滾。
這與 RCTEP 中核更新必須產生生成見證的要求一致。
9. 人類中的「矯正的矯正」
9.1 學會不要每次都相信最新證據
初學者可能:
經驗增加後,可能學會區分:
- 噪音;
- 真正環境變化;
- 測量錯誤;
- 結構性反例。
於是:
這不是多知道一個事實,而是更新策略改變。
9.2 學會對特定領域降低自信
若智能體多次發現:
在領域 中持續成立,則可形成:
即降低對自身該領域判斷器的元信任。
其後,同樣強度的新證據可能得到不同權重。
9.3 學會改變檢查策略
早期:
後期:
這是驗證規則本身的改變。
10. 元學習:工程上的直接對照
10.1 學習如何學習
傳統機器學習通常給定學習演算法:
模型只學:
元學習則可能從多個任務中學習:
- 初始化;
- 距離度量;
- 記憶策略;
- 更新幅度;
- 更新函數;
- 優化器。
因此:
而:
10.2 Learned update rules
已有研究直接元學習神經網路的更新規則,而不是手工固定完整更新公式。
可抽象寫成:
其中更新規則本身由:
參數化。
外層優化:
這提供一個清楚的工程證據:
「更新規則成為學習對象」不是純哲學隱喻。
11. 但元學習仍不等於強自主反身性
11.1 外層仍可能是固定的
大部分元學習系統仍由設計者預先固定:
- 外層目標;
- 任務分布;
- 更新頻率;
- 可修改參數空間;
- 成功判準。
所以:
可以被學習,不代表:
或:
也能自行重寫。
11.2 反身層級
因此可分為:
:狀態可更新
:模型參數可更新
:更新規則可調節
:評價函數可修正
:目標形成規則可修正
不能因系統達到 就宣稱其已擁有完整自我重寫。
12. 評價標準本身如何被修正?
12.1 「少犯錯」可能是錯誤目標
假設智能體的評價函數:
最容易降低錯誤的方法可能是:
於是:
但:
當長期後果顯示:
導致錯誤的行為模式,智能體可能改成:
這不再只是更新答案,而是更新「什麼算好答案」。
12.2 評價更新需要更長時間尺度
如果每次局部失敗都修改 :
系統會失去穩定性。
因此要求:
即評價函數更新速度應通常低於局部狀態更新速度。
這是多速率反身智能的重要前置命題。
13. 目標的目標:最深一層的問題
如果:
也能修改,那麼:
用什麼標準判斷新的 比舊的更好?
又會出現:
似乎形成無限倒退。
14. 為什麼系統不需要真的無限上升?
14.1 有限實現、可遞迴展開
實際智能體只需在任一時刻維持有限層:
當某一層出現持續失配時,再暫時把它物件化:
因此:
但:
14.2 不需要終極不可錯裁判
系統不必存在一個:
永遠保證所有更新正確。
它只需要:
- 多個差異來源;
- 跨時間後果;
- 可回滾歷史;
- 局部穩定判準;
- 保留未決狀態。
因此,反身智能不是:
而是:
15. 過度反身也是失敗
15.1 一直修改規則會失去學習累積
若:
其中:
- :更新規則改寫速度;
- :驗證速度;
則新規則還未被充分測試,就再次被改寫。
結果可能是:
- 無法歸因;
- 無法比較;
- 無法重現;
- 無法累積歷史;
- 每次失敗都得到新理論。
15.2 反身阻尼
因此需要反身阻尼:
元更新寫成:
若證據不足:
若多次跨情境失敗:
所以成熟智能的一個重要能力是:
知道什麼時候不要修改自己的更新規則。
16. 元修正信用分配
16.1 結果變好,不代表是規則更新造成
若:
可能因為:
- 任務變簡單;
- 環境變好;
- 運氣;
- 一階模型改善;
- 工具升級;
- 更新規則真正改善。
所以需要估計:
16.2 反事實比較
若可以比較:
與:
則較能判斷規則改寫是否有效。
在實際智能體中可用:
- A/B 測試;
- 模擬;
- 離線重放;
- 平行代理;
- 保留舊版本;
- 同任務重算。
這也是為何反身系統需要版本化。
17. 反身更新規則模型 RURM
本文定義完整狀態:
其中:
- :任務與信念狀態;
- :更新規則;
- :評價函數;
- :目標形成規則;
- :歷史;
- :更新見證。
17.1 一階更新
17.2 二階評估
表示此次更新品質。
17.3 規則更新
17.4 評價更新
較慢尺度上:
其中:
17.5 目標形成更新
更慢尺度:
18. 更新見證
每次規則修改應保存:
其中 是修改信心。
見證至少回答:
- 為什麼改?
- 改了什麼?
- 期待改善什麼?
- 如何驗證?
- 何時回滾?
- 是否跨任務有效?
19. 與 RCTEP 的接口
RCTEP 已允許:
即生成結果反過來改寫下一輪生成核。
本篇可將:
視為認知系統中的一類:
因此:
但本篇增加了兩個限制:
規則改寫必須可區分
規則改寫必須有跨時見證
否則「自我改寫」容易退化為不可檢查的敘事。
20. 與《全態貝葉斯》的接口
全態信念寫為:
本篇主要處理:
與:
如何從參數提升為可更新狀態。
因此:
不再表示「在固定貝葉斯規則下更新後驗」而已,而可能包含:
與:
這是全態貝葉斯走向真正反身性的必要接口。
21. 與下一篇的接口:誰在修正誰?
本篇仍把:
與:
寫成同一系統的不同時間狀態。
但若:
甚至:
那麼一個更深問題出現:
使用新規則的後時刻主體,憑什麼說使用舊規則的前時刻主體是「我以前錯了」?
也就是:
但:
下一篇正式進入:
〈下一刻的我如何糾正上一刻的我:跨時自我、生成連續性與內生他者〉
22. 核心命題
命題一:二階失配命題
若一次修正在延遲後果上持續降低表現,則更新規則本身可以成為錯誤候選。
命題二:動態學習率命題
命題三:規則—狀態分離命題
命題四:弱/強反身區分命題
固定高階規則造成的策略切換,只構成弱反身更新;若更新映射本身出現跨情境可區分的新結構,才有較強的規則改寫證據。
命題五:延遲驗證命題
越高階的修正,需要越長時間尺度與越多跨情境證據。
命題六:控制成本命題
反思、驗證與控制具有成本,因此最優反身性不等於最大反身性。
命題七:反身阻尼命題
若規則改寫速度高於驗證速度,系統可能失去可歸因性與可審計性。
命題八:有限實現命題
實際智能不需要無限個顯式元層,只需保持有限當前層與可再次物件化上一層的能力。
23. 可證偽條件
23.1 所有元調節都可由固定一階模型無損解釋
若不引入動態學習率、控制策略或規則狀態即可完整預測所有適應行為,則本篇的元更新層不具必要性。
23.2 規則改寫無跨任務效果
若所谓 只改善單一已見案例,對新情境無任何系統性差異,則更像記憶或例外修補。
23.3 延遲後果不改善規則選擇
若較長時間尺度的結果完全不能改善元更新判斷,則本文的跨尺度架構需簡化。
23.4 見證保存無法增加可審計性
若保存舊規則、改寫差異與回滾結果對錯誤歸因毫無幫助,則更新見證不是必要組件。
23.5 弱/強反身無法操作化
若無法提出任何行為、泛化、反事實或結構測試區分固定高階規則與真正規則改寫,則「強反身更新」只能保留為哲學假設。
24. 研究限制
- 人類認知控制研究多數無法直接證明大腦顯式表示「更新規則」。
- 學習率變化可被多種計算模型解釋,不應直接視為自我意識。
- 元學習工程系統多由外部固定元目標,不等於自主價值重寫。
- 越高階的規則改寫越難排除「更高固定規則」的解釋。
- 目標形成規則的自我修改涉及價值與規範問題,本文只建立形式接口。
- 高反身性可能帶來過度檢查、猶豫與不穩定,不能簡單等同高智能。
- 本文提出的弱/強反身區分仍需建立更嚴格的計算判準。
25. 結論
智慧存在的自我糾錯若只停留在:
仍然是有限的。
真正的反身性開始於:
進一步變成:
因此:
但更高階並不代表不停修改。
成熟的反身智能需要同時具備:
它不追求一個終極不會再錯的更新規則,而是維持:
因此,「矯正的矯正」不是無限自我懷疑,而是把原先看似固定的學習方式,逐步轉化成可觀察、可測試、可比較、可回滾的狀態。
這也讓下一個問題不可避免:
如果下一刻的我連「如何修正」都已經不同,那它與上一刻的我究竟憑什麼仍然是同一個我?
這正是跨時自我與內生他者問題的起點。
參考文獻
- Behrens, T. E. J., Woolrich, M. W., Walton, M. E., & Rushworth, M. F. S. (2007). Learning the value of information in an uncertain world. Nature Neuroscience, 10, 1214–1221. DOI: 10.1038/nn1954.
- Hall, G., & Pearce, J. M. (1982). Restoring the associability of a pre-exposed CS by a surprising event. Quarterly Journal of Experimental Psychology B, 34(3), 127–140.
- Pearce, J. M., & Hall, G. (1980). A model for Pavlovian learning: variations in the effectiveness of conditioned but not of unconditioned stimuli. Psychological Review, 87(6), 532–552.
- Roesch, M. R., Esber, G. R., Li, J., Daw, N. D., & Schoenbaum, G. (2012). Surprise! Neural correlates of Pearce-Hall and Rescorla-Wagner coexist within the brain. European Journal of Neuroscience, 35(7), 1190–1200.
- Holland, P. C., & Schiffino, F. L. (2016). Mini-review: Prediction errors, attention and associative learning. Neurobiology of Learning and Memory, 131, 207–215.
- Botvinick, M. M., Braver, T. S., Barch, D. M., Carter, C. S., & Cohen, J. D. (2001). Conflict monitoring and cognitive control. Psychological Review, 108(3), 624–652.
- Mansouri, F. A., Tanaka, K., & Buckley, M. J. (2009). Conflict-induced behavioural adjustment: a clue to the executive functions of the prefrontal cortex. Nature Reviews Neuroscience, 10, 141–152.
- Shenhav, A., Botvinick, M. M., & Cohen, J. D. (2013). The expected value of control: an integrative theory of anterior cingulate cortex function. Neuron, 79(2), 217–240. DOI: 10.1016/j.neuron.2013.07.007.
- Botvinick, M., & Braver, T. (2015). Motivation and cognitive control: from behavior to neural mechanism. Annual Review of Psychology, 66, 83–113.
- Ritz, H., Leng, X., & Shenhav, A. (2022). Cognitive control as a multivariate optimization problem. Journal of Cognitive Neuroscience, 34(4), 569–591.
- Hospedales, T., Antoniou, A., Micaelli, P., & Storkey, A. (2022). Meta-learning in neural networks: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 44(9), 5149–5169.
- Metz, L., Maheswaranathan, N., Cheung, B., & Sohl-Dickstein, J. (2019). Meta-Learning Update Rules for Unsupervised Representation Learning. ICLR 2019.
- Sandler, M., Vladymyrov, M., Zhmoginov, A., Miller, N., Jackson, A., Madams, T., & Agüera y Arcas, B. (2021). Meta-Learning Bidirectional Update Rules. arXiv:2104.04657.
- Neo.K × Aletheia (2026). 〈反身智能生成論:系列索引、核心問題與理論依賴〉,EVEMISSLAB。
- Neo.K × Aletheia (2026). 〈沒有其他智能指出時,智慧存在如何發現自己錯了?〉,EVEMISSLAB。
- Neo.K × Aletheia (2026). 〈反身因果張量湧生積:超越加法、乘法與固定張量積的生維計算原語〉,EVEMISSLAB。
- Neo.K (2026). 〈全態貝葉斯:從編織本體論到活系統的狀態轉化理論〉,EVEMISSLAB。
版本紀錄
v0.1 — 2026-08-01
- 定義二階失配與矯正的矯正;
- 建立反身更新規則模型(RURM);
- 區分狀態更新、更新參數調節與更新規則改寫;
- 建立弱反身更新與強反身更新區分;
- 納入波動性、動態學習率、衝突調節與控制成本;
- 接入元學習與 learned update rules;
- 建立多時間尺度、反身阻尼與元修正信用分配;
- 接入 RCTEP 核反身性與全態貝葉斯;
- 完成與第 05 篇跨時自我問題的接口。