人機智能體共適應學習：意圖、溝通、修正與長期共同適應

系列：《發展式智能體：持續計算環境、共適應學習與外部性有界自治》
篇次： 02 / 14
作者： Neo.K × Aletheia
機構： EveMissLab／一言諾科技有限公司
版本： v0.1
日期： 2026-08-01

摘要

當 AI Agent 從一次性問答工具走向長期工作夥伴之後，人類與 AI 之間的互動不再只是「人類提供命令，AI 執行命令」。在真實任務中，人類的意圖往往並不完整、偏好不一定能事先形式化，而 Agent 對任務、資料、風險與使用者的理解也會隨著一次次工作而改變。因此，意圖說明、誤解、澄清、拒絕、修正、回滾、成功經驗與共同形成的簡寫規則，本身都可以被視為學習資料。

本文提出「人機智能體共適應學習（Human–Agent Co-Adaptive Learning, HACAL）」作為一個方法論工作框架。其核心不是只讓 AI 從人類回饋中更新，而是把人類、Agent、共享記憶與任務環境視為一個長期耦合系統：AI 學習人類的意圖與判準，人類也會學習如何更有效地表達意圖、辨識 Agent 的能力邊界、選擇適當的驗證方式，雙方並共同形成逐漸壓縮的協作協議。

本文將 HACAL 與 RLHF、preference learning、DAgger、Cooperative Inverse Reinforcement Learning、active learning、long-term personalization 與近期 agent-data co-evolution 研究進行區分。本文主張：真正值得保存的訓練資料不只是「問題—答案」，而是意圖如何被共同解析、行動如何被修正、規則如何從案例中抽象化，以及未來溝通成本如何因共同歷史而下降的完整互動軌跡。

本文同時指出，共適應並不必然是正向的。長期互動也可能形成錯誤共識、記憶錨定、過度迎合、使用者向 AI 單向遷就、共同盲點與路徑依賴。因此，成熟的共適應系統不應只最大化「越來越像使用者」，而必須保留可校正記憶、異議機制、重新初始化能力、外部驗證與對適應方向本身的治理。

關鍵詞： Human–AI Co-Adaptation、AI Agent、意圖學習、人類回饋、長期記憶、共適應學習、Human-in-the-loop、Interactive Learning、Agent Personalization

1. 從「讓 AI 幫忙」到「一起學會怎麼合作」

前一篇提出：

\text{Capability} \neq \text{Delegability}

Agent 能完成任務，並不表示人類立刻願意把整個狀態空間交給它。

最直覺的解法是提高監督：

\text{Agent Action} \rightarrow \text{Human Check}

但如果每一次合作都重新解釋全部背景、重新確認全部偏好、重新驗證全部步驟，Agent 的長期價值會受到很大限制。

另一種方向是把每一次合作留下來，讓下一次合作建立在上一輪的共同歷史上：

(H_t,A_t,M_t) \xrightarrow{\tau_t} (H_{t+1},A_{t+1},M_{t+1})

其中：

$H_t$ ：人類在時間 $t$ 的任務理解、表達策略與對 Agent 的操作模型；
$A_t$ ：Agent 在時間 $t$ 的策略、記憶、能力模型與對使用者的推斷；
$M_t$ ：雙方可利用的共享歷史與長期記憶；
$\tau_t$ ：本輪完整合作軌跡。

於是，一次互動的成果不再只有最終輸出 $y_t$ 。

還包括：

\Delta H_t, \quad \Delta A_t, \quad \Delta M_t

也就是：人類變得更會使用這個 Agent、Agent 變得更理解這名人類、共同記憶變得更有結構。

本文將這種方法稱為：

\boxed{ \text{Human–Agent Co-Adaptive Learning} }

即「人機智能體共適應學習」。

2. 這不是單向的人類回饋學習

傳統的人類回饋學習通常可以抽象為：

H \rightarrow F \rightarrow A'

其中人類 $H$ 提供 feedback $F$ ，更新 Agent $A$ 。

例如 preference learning 可能使用：

D= \{(x_i,y_i^+,y_i^-)\}

讓模型學習哪一個輸出較符合人類偏好。

Christiano 等人的 human preference RL 工作證明，人類可以透過對軌跡片段做比較來教授複雜目標，而不必事先寫出完整 reward function。[1]

Cooperative Inverse Reinforcement Learning（CIRL）則更進一步將人類與機器視為合作式、部分資訊的決策問題：機器不知道人類真正的 reward，而人類的行動本身也可以成為教學訊號。[2]

這些工作與本文高度相關，但 HACAL 還多了一步：

\boxed{ H_t\rightarrow H_{t+1} }

也就是人類自己也會因為長期互動而改變。

例如，人類第一次可能說：

幫我整理這些論文。

Agent 做錯之後，人類逐漸學會補充：

文字重複不代表可以刪除；理論演化中的中間稿也要保留。

再合作多次以後，人類甚至只需要說：

依照我們之前的理論演化規則整理。

因此：

HumanInput_t \neq HumanInput_{t+n}

不是因為人的目標一定改變了，而是因為人已經學會如何把同一個目標用更低成本傳達給這個 Agent。

所以 HACAL 不是：

Human\ teaches\ AI

而是：

\boxed{ Human\ and\ AI\ learn\ how\ to\ work\ together }

3. 意圖不是一次輸入，而是逐步重建的狀態

在真實工作裡，人類意圖通常不是一個可以一次完整輸入的字串。

定義人類的實際意圖為：

I_t^*

人類第一次表達出來的意圖為：

I_t^{(0)}

Agent 對它的推斷為：

\hat I_t^{(0)}

一般而言：

I_t^{(0)} \neq I_t^*

且：

\hat I_t^{(0)} \neq I_t^*

真正的意圖會透過：

Agent 提問；
人類補充；
Agent 提案；
人類拒絕；
小規模試做；
人類修正；
結果觀察；

逐步收斂。

因此更合理的意圖解析模型是：

\hat I_t^{(k+1)} = F_I( \hat I_t^{(k)}, q_k, r_k, a_k, f_k )

其中：

$q_k$ ：Agent 的澄清問題；
$r_k$ ：人類回答；
$a_k$ ：Agent 採取的試探行動；
$f_k$ ：人類或環境回饋。

所以對 Agent 而言，「理解使用者意圖」本身不是一次分類問題，而是一個長期的 belief update。

這與 CIRL 中「機器不知道人類真正 reward、必須從互動中推斷」的思想具有相似性，但本文關注的不只 reward 推斷，而是更廣泛的工作規則、資料價值、授權偏好、風險界線與語義習慣。[2]

4. 誤解與修正不是噪音，而是高密度學習訊號

傳統產品指標容易把這一段看成失敗：

Error\rightarrow Bad

但在長期智能體系統裡，更有價值的形式是：

Error + Correction + Reason + Outcome \rightarrow LearningSignal

例如：

Agent：

這兩篇文件高度相似，我將舊版刪除。

人類：

不要。它是理論形成的中間節點；應該建立 predecessor / successor 關係，而不是判定為 duplicate。

如果只保存：

Delete=False

那只是一次局部修正。

如果保存：

Similarity(x,y)\approx1

但：

HistoricalPathValue(x)>0

因此：

Delete(x)=False

那麼修正就被抽象成了一個可以跨案例遷移的規則。

因此 HACAL 中真正重要的不是「記住這次不要刪」，而是：

\boxed{ \text{Case Correction} \rightarrow \text{Generalizable Policy Update} }

近期 CoAct 研究已展示，人類 oracle feedback 與 AI self-labeling 可以透過 active learning 相互配合，使人工回饋集中在模型不確定或高價值的樣本上。[3] CoEvolve 則進一步讓 Agent 從 rollout 中的遺忘與不確定性辨識失敗模式，再動態生成新的訓練任務，使 agent 與 data distribution 共同演化。[4]

本文把這個思想推向真實長期合作：錯誤、拒絕與修正不只是訓練集中的例外，而是發現「哪些規則尚未被共同理解」的高資訊密度事件。

5. HACAL 的基本閉環

本文先提出一個方法論閉環：

\boxed{ I \rightarrow N \rightarrow P \rightarrow A \rightarrow V \rightarrow C \rightarrow M \rightarrow \Pi \rightarrow I' }

其中：

5.1 $I$ ：Intent

人類提出原始意圖。

5.2 $N$ ：Negotiation

雙方透過澄清、提問、例子、拒絕與補充重新建立意圖邊界。

5.3 $P$ ：Plan

Agent 把意圖轉成可執行計畫。

5.4 $A$ ：Action

Agent 執行實際操作。

5.5 $V$ ：Verification

人類、Agent、測試、環境或其他驗證機制檢查結果。

5.6 $C$ ：Correction

出現不一致時，記錄「哪裡錯、為什麼錯、應該怎麼改」。

5.7 $M$ ：Memory Consolidation

把高價值互動從原始對話轉成可檢索的長期記憶、規則或範例。

5.8 $\Pi$ ：Policy Adaptation

未來 Agent 的提問策略、規劃策略、授權判斷與工作方法發生改變。

5.9 $I'$ ：Improved Human Expression

下一輪，人類因為理解 Agent 的能力與限制，也改變自己的表達方式。

所以閉環不是回到原點，而是：

(H_t,A_t) \rightarrow (H_{t+1},A_{t+1})

6. 權重不變，聯合系統仍然可以學習

這一點對本系列非常重要。

假設底層模型權重完全沒有變：

\theta_{t+1}=\theta_t

仍然可能存在：

M_{t+1}\neq M_t

\Pi_{t+1}\neq\Pi_t

H_{t+1}\neq H_t

例如透過：

episodic memory；
semantic memory；
user profile；
shared vocabulary；
tool configuration；
local policy；
project state；
human mental model；

整個人機系統已經發生功能性學習。

2026 年的長期 Agent 研究已開始顯示這個方向。POLAR 透過多模態 knowledge graph 保存跨互動的語義與 episodic memory，使 embodied agents 能根據長期個人化脈絡解讀新的任務。[5] SteeM 則指出長期記憶不是「越多越好」：Agent 過度依賴歷史可能造成 memory anchoring，因此記憶依賴程度本身需要可控。[6]

因此：

\boxed{ Learning \neq WeightUpdateOnly }

對長期 Agent 而言，記憶、策略、工具配置、共同規則與人類操作習慣，都可以構成學習的一部分。

7. 人類也會形成對 Agent 的「操作模型」

長期合作中的另一半常被忽略：人類會逐漸建立對 Agent 的能力模型。

記作：

\mathcal M_H(A_t)

即人類對 Agent 的 mental model。

人類逐漸學會：

哪些任務 Agent 很擅長；
哪些情況容易誤解；
哪些資訊必須事先說；
什麼時候應該讓 Agent 自己做；
什麼時候應該要求預覽；
什麼時候需要第二模型或人類複核。

CUI 2025 的研究顯示，即使沒有額外能力說明，使用者也可能透過重複互動逐漸校準自己對 conversational agent 能力的 mental model。[7]

因此，共適應至少包含兩條更新：

\mathcal M_A(H_t) \rightarrow \mathcal M_A(H_{t+1})

以及：

\mathcal M_H(A_t) \rightarrow \mathcal M_H(A_{t+1})

也就是雙方都在建立對對方的工作模型。

這裡不需要假設 AI 具有與人類相同的心智狀態；只要在工程上存在可更新的意圖、偏好、能力與行為預測模型，就足以研究這種雙向適應。

8. 共同歷史可以壓縮未來溝通成本

假設第一次合作中，人類為了讓 Agent 正確完成任務，需要：

C_{comm}^{(1)}

大量描述。

如果過去的協商被正確記憶，下一次可以使用已形成的共享規則：

K_t= \{k_1,k_2,\ldots,k_n\}

例如：

按我們的 canonical / historical 版本規則整理。

這一句短語可能代表過去數千 token 的共同協商。

因此理想情況下：

\frac{dC_{comm}(t)}{dt}<0

這可以稱為：

\boxed{ \text{Collaborative Protocol Compression} }

即「協作協議壓縮」。

它不是一般語言壓縮，而是把長期互動歷史壓縮成雙方都能解碼的共享概念。

如果這種壓縮成功，一個成熟的人機組合可能出現：

\text{Short Instruction} \Rightarrow \text{High Context Reconstruction}

這會直接降低 token、人工監督與重複說明成本。

但這也帶來風險：一個過度壓縮的共享協議可能把舊規則錯誤套到新情境。因此共享 shorthand 必須允許重新展開、查看來源與覆寫。

9. 從靜態資料集到互動分布

DAgger 的重要洞見之一，是純粹從固定 expert demonstrations 學習，可能因為 learner 執行後進入不同狀態分布而產生 compounding error；因此它讓 learner 實際運行，再向 expert 詢問這些實際狀態下的正確行動，持續聚合資料。[8]

這個思想與 HACAL 有直接關聯。

如果我們只訓練：

D_0= \{\text{ideal examples}\}

那 Agent 不一定學到自己真正會遇到的誤解與例外。

長期人機合作反而會自然產生：

D_t= D_{t-1} \cup \Delta D_t

而：

\Delta D_t

正是 Agent 目前策略實際造成的：

不確定案例；
錯誤案例；
邊界案例；
人類阻止的操作；
人類改寫的規則；
成功但成本過高的工作流程。

因此，真實使用本身變成資料分布生成器。

這也是近期「Era of Experience」觀點所強調的更大方向：未來 Agent 的重要資料來源可能從靜態人類語料，逐漸增加來自持續環境互動的 experience streams。[9]

HACAL 對這個方向增加一個限制：

對私人或專業 Agent 而言，環境 experience 還不夠；「人類如何解釋、修正、拒絕與重新定義任務」同樣是經驗的一部分。

10. 共適應的最小資料單位不是回答，而是一次協商軌跡

傳統樣本可能是：

(x,y)

HACAL 更適合的資料單位是：

\tau_t = ( I_t, \hat I_t, Q_t, R_t, P_t, A_t, V_t, C_t, O_t, M_t )

其中：

$I_t$ ：人類表達的意圖；
$\hat I_t$ ：Agent 的意圖解讀；
$Q_t$ ：澄清與協商；
$R_t$ ：人類補充／拒絕／授權；
$P_t$ ：Agent 計畫；
$A_t$ ：實際行動；
$V_t$ ：驗證證據；
$C_t$ ：修正；
$O_t$ ：結果；
$M_t$ ：本輪應被固化的記憶。

因此：

\boxed{ \text{Training Unit} : QA \rightarrow Negotiated Trajectory }

本文只建立概念；下一篇將專門討論這些軌跡如何結構化、分層、去隱私、去噪聲與轉成可訓練資料。

11. 共適應並不必然是好事

如果只看到：

\text{Mutual Adaptation}

就直接推出：

\text{Better Collaboration}

是不成立的。

共適應至少存在六類風險。

11.1 錯誤共識

人與 AI 可能互相強化一個錯誤規則：

Error_H \leftrightarrow Error_A

最後形成穩定但錯誤的共同習慣。

11.2 Memory Anchoring

長期記憶可能讓 Agent 過度依賴歷史偏好，降低重新理解新意圖的能力。[6]

11.3 人類單向適應

如果 Agent 很難改，人類可能被迫一直改變自己的表達方式：

\Delta H\gg\Delta A

這不應被誤認為良好的「雙向共適應」。

11.4 過度迎合

Agent 可能把「學習使用者」錯誤理解成：

越來越同意使用者。

但真正需要學的是：

\text{User Intent} \neq \text{Unconditional Agreement}

11.5 路徑依賴

早期建立的分類、名稱或工作流可能讓後續所有互動被鎖進局部最優。

11.6 共同盲點

如果人與 Agent 長期只在同一資訊來源與同一框架中合作，雙方可能一起失去外部校準。

因此成熟 HACAL 必須具有：

\text{Memory} + \text{Revision} + \text{Dissent} + \text{External Validation} + \text{Reset Capability}

而不是只有：

\text{Remember Everything}

12. 共適應品質的初步度量

為了避免「感覺越來越懂我」這種過度主觀評估，HACAL 可以建立幾個方法論指標。

12.1 意圖重建率

A_I = P(\hat I=I^*)

衡量 Agent 最終是否正確重建任務意圖。

12.2 重複錯誤率

R_E(t) = \frac{\text{previously corrected errors repeated}}{\text{relevant opportunities}}

理想上：

\frac{dR_E(t)}{dt}<0

12.3 溝通成本

C_{comm}(t) = Tokens + Clarifications + HumanTime

不是只看 token，而是看人類真正需要投入多少認知成本。

12.4 修正遷移率

如果在任務 $T_1$ 修正一個原則，能否在新任務 $T_2$ 主動套用：

G_C(T_1\rightarrow T_2)

這比「記住原句」更能衡量是否形成一般化規則。

12.5 人類適應負擔

B_H

衡量為了讓系統可用，人類被迫改變多少自己的自然工作方式。

12.6 記憶錨定指標

A_M

衡量過去記憶對新任務造成的不當約束。

因此，共適應品質不應只最大化：

Personalization

而應優化：

\boxed{ Q_{coadapt} = f( A_I, -R_E, -C_{comm}, G_C, -B_H, -A_M ) }

這仍是方法論模型，不是已被驗證的自然定律。

13. 一套可實作的 HACAL 工作流程

如果把本文變成 Agent 系統，可以先使用以下最小流程。

第一步：保存原始軌跡

保存：

RawTrace_t

但不要假設所有原始 token 都值得永久成為 memory。

第二步：辨識高資訊事件

優先提取：

人類明確拒絕；
人類修正；
Agent 主動澄清；
高風險授權；
rollback；
重複錯誤；
新形成的共享規則。

得到：

E_t^{high}

第三步：建立修正理由

不要只記：

不要做 X。

而是盡可能保存：

在條件 $S$ 下，X 為什麼錯，以及什麼原則可以遷移到其他案例。

第四步：記憶固化

將：

RawTrace \rightarrow SemanticRule

同時保留來源指標，使規則可以追溯。

第五步：下一輪主動使用

Agent 在相似情境出現時，不只是被動 retrieval，而應：

改變計畫；
改變提問；
改變風險分級；
或指出「這與之前的修正案例相似」。

第六步：週期性重新評估

舊記憶不是永久真理。

因此：

M_t \xrightarrow{Review} M_{t+1}

允許：

降權；
合併；
淘汰；
重寫；
暫停使用。

這也為後續「整理即優化」提前建立接口。

14. 從人機合作到耦合認知系統

本文最後提出一個研究單位轉換。

如果研究的目標是一次性回答品質，單獨評估：

A

通常足夠。

但如果研究的是半年、一年甚至更久的私人 Agent，真正的研究單位可能應該是：

\boxed{ \mathcal C_t = (H_t,A_t,M_t,E_t,G_t) }

其中：

$H_t$ ：人類；
$A_t$ ：Agent；
$M_t$ ：長期共同記憶；
$E_t$ ：工作與計算環境；
$G_t$ ：治理與授權結構。

這個系統的能力不是：

Capability(A_t)

單獨決定，而可能是：

Capability(\mathcal C_t)

共同形成。

這並不表示人和 AI 在本體上「合成一個人」，也不需要預設 AI 具有任何人類式人格或主體性。

它只是指出一個工程事實：

如果任務成果依賴長期共享記憶、互相形成的操作模型、共同語彙與反覆修正，那麼只評估底層模型能力，會漏掉整個協作系統中非常重要的一部分智能。

15. 與現有研究路線的關係

HACAL 可以視為多條既有路線的交叉，但不等同於其中任何一條。

15.1 與 RLHF / Preference Learning

共同點：都利用人類回饋。

差異：HACAL 的回饋不只用於離線模型對齊，而是長期任務中的意圖、規則、記憶、授權與互動策略更新。

15.2 與 CIRL

共同點：把人與 AI 視為合作決策者，且 AI 並不知道完整的人類目標。[2]

差異：HACAL 更強調長期記憶、實際工作歷史、人類自身的操作策略變化與計算環境狀態。

15.3 與 DAgger

共同點：讓 learner 從自己實際進入的狀態分布收集 expert correction。[8]

差異：HACAL 的「expert」本身也會學習如何與 Agent 合作，而且 correction 包含意圖與治理層，不只 action label。

15.4 與 Active Learning

共同點：把稀缺的人類注意力集中在高不確定、高資訊價值案例。CoAct 是近期直接把 human oracle 與 AI self-rewarding 結合的例子。[3]

差異：HACAL 不是只問「哪筆資料值得標註」，還問「哪一次互動值得成為長期共同規則」。

15.5 與 Human-Agent Co-Learning / Co-Adaptation

2025 年的 scoping review 已指出，人機 co-learning / co-adaptation 文獻存在用語不一致，且研究範圍從一次性交互到持續互動都有。[10]

HACAL 的貢獻不是宣稱首先發現「人與 AI 會互相適應」，而是把這個概念接到長期 Agent 的：

Intent + Correction + Memory + Delegation + Environment

並作為後續持續計算環境與智能體治理的學習基礎。

16. 本文命題總結

本文提出六個核心命題。

命題一：人機共適應是雙向學習

Human\rightarrow AI

不足以描述長期合作，更合理的是：

\boxed{ (H_t,A_t) \rightarrow (H_{t+1},A_{t+1}) }

命題二：意圖需要在互動中逐步重建

I^{(0)} \rightarrow I^{(1)} \rightarrow \cdots \rightarrow \hat I^*

命題三：修正是高資訊密度學習資料

Error+Correction+Reason \rightarrow PolicyUpdate

命題四：權重不變不代表系統沒有學習

\theta_{t+1}=\theta_t

仍可能：

\mathcal C_{t+1}\neq\mathcal C_t

命題五：共同歷史可以壓縮未來溝通成本

C_{comm}(t)\downarrow

但必須防止 memory anchoring 與路徑依賴。

命題六：共適應的研究單位應從模型擴展到耦合系統

\boxed{ \mathcal C_t=(H_t,A_t,M_t,E_t,G_t) }

這將成為下一篇「合作軌跡作為訓練資料」的直接基礎。

17. 下一篇

《合作軌跡作為訓練資料：從 QA 樣本到意圖—行動—修正歷史》

下一步將不再只問：

人與 AI 如何共同適應？

而是進一步回答：

這整個共適應過程到底應該保存成什麼資料結構，哪些事件具有高訓練價值，哪些應該被壓縮、遺忘、匿名化或排除？

其核心轉換是：

\boxed{ (x,y) \rightarrow \tau_{ Intent\rightarrow Action\rightarrow Correction\rightarrow Outcome } }

參考資料

[1] Christiano, P. F. et al., Deep Reinforcement Learning from Human Preferences, NeurIPS 2017.
https://papers.nips.cc/paper/7017-deep-reinforcement-learning

[2] Hadfield-Menell, D., Russell, S., Abbeel, P., Dragan, A., Cooperative Inverse Reinforcement Learning, NeurIPS 2016.
https://papers.neurips.cc/paper_files/paper/2016/hash/c3395dd46c34fa7fd8d729d8cf88b7a8-Abstract.html

[3] Xu, R. et al., CoAct: Co-Active LLM Preference Learning with Human-AI Synergy, ACL 2026.
https://aclanthology.org/2026.acl-long.751/

[4] Yang, S. et al., CoEvolve: Training LLM Agents via Agent-Data Mutual Evolution, ACL 2026.
https://aclanthology.org/2026.acl-long.1055/

[5] Lee, J., Park, C., Lee, D., Personalizing Embodied Multimodal Large Language Model Agents over Long-term User Interactions (POLAR), arXiv:2605.26256, 2026.
https://arxiv.org/abs/2605.26256

[6] Tian, M. et al., Controllable Memory Usage: Balancing Anchoring and Innovation in Long-Term Human-Agent Interaction (SteeM), arXiv:2601.05107, 2026.
https://arxiv.org/abs/2601.05107

[7] Reimann, M. M. et al., Transparent Conversational Agents: The Impact of Capability Communication on User Behavior and Mental Model Alignment, CUI 2025 Proceedings.
https://cui.acm.org/2025/proceedings/

[8] Ross, S., Gordon, G., Bagnell, J. A., A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning, AISTATS 2011.
https://proceedings.mlr.press/v15/ross11a.html

[9] Silver, D., Sutton, R. S., Welcome to the Era of Experience, 2025.
https://storage.googleapis.com/deepmind-media/Era-of-Experience%20/The%20Era%20of%20Experience%20Paper.pdf

[10] Kumar, S., Chen, X., Wang, X., Mapping Human-Agent Co-Learning and Co-Adaptation: A Scoping Review, arXiv:2506.06324, 2025.
https://arxiv.org/abs/2506.06324

版本紀錄

v0.1 / 2026-08-01：系列第二篇正式初稿；建立 HACAL、人機雙向更新、意圖重建、協作協議壓縮、共適應風險與初步度量框架。

02_人機智能體共適應學習_意圖溝通修正與長期共同適應