# 人機智能體共適應學習：意圖、溝通、修正與長期共同適應

**系列：**《發展式智能體：持續計算環境、共適應學習與外部性有界自治》  
**篇次：** 02 / 14  
**作者：** Neo.K × Aletheia  
**機構：** EveMissLab／一言諾科技有限公司  
**版本：** v0.1  
**日期：** 2026-08-01

---

## 摘要

當 AI Agent 從一次性問答工具走向長期工作夥伴之後，人類與 AI 之間的互動不再只是「人類提供命令，AI 執行命令」。在真實任務中，人類的意圖往往並不完整、偏好不一定能事先形式化，而 Agent 對任務、資料、風險與使用者的理解也會隨著一次次工作而改變。因此，意圖說明、誤解、澄清、拒絕、修正、回滾、成功經驗與共同形成的簡寫規則，本身都可以被視為學習資料。

本文提出「人機智能體共適應學習（Human–Agent Co-Adaptive Learning, HACAL）」作為一個方法論工作框架。其核心不是只讓 AI 從人類回饋中更新，而是把人類、Agent、共享記憶與任務環境視為一個長期耦合系統：AI 學習人類的意圖與判準，人類也會學習如何更有效地表達意圖、辨識 Agent 的能力邊界、選擇適當的驗證方式，雙方並共同形成逐漸壓縮的協作協議。

本文將 HACAL 與 RLHF、preference learning、DAgger、Cooperative Inverse Reinforcement Learning、active learning、long-term personalization 與近期 agent-data co-evolution 研究進行區分。本文主張：真正值得保存的訓練資料不只是「問題—答案」，而是意圖如何被共同解析、行動如何被修正、規則如何從案例中抽象化，以及未來溝通成本如何因共同歷史而下降的完整互動軌跡。

本文同時指出，共適應並不必然是正向的。長期互動也可能形成錯誤共識、記憶錨定、過度迎合、使用者向 AI 單向遷就、共同盲點與路徑依賴。因此，成熟的共適應系統不應只最大化「越來越像使用者」，而必須保留可校正記憶、異議機制、重新初始化能力、外部驗證與對適應方向本身的治理。

**關鍵詞：** Human–AI Co-Adaptation、AI Agent、意圖學習、人類回饋、長期記憶、共適應學習、Human-in-the-loop、Interactive Learning、Agent Personalization

---

## 1. 從「讓 AI 幫忙」到「一起學會怎麼合作」

前一篇提出：

$$
\text{Capability}
\neq
\text{Delegability}
$$

Agent 能完成任務，並不表示人類立刻願意把整個狀態空間交給它。

最直覺的解法是提高監督：

$$
\text{Agent Action}
\rightarrow
\text{Human Check}
$$

但如果每一次合作都重新解釋全部背景、重新確認全部偏好、重新驗證全部步驟，Agent 的長期價值會受到很大限制。

另一種方向是把每一次合作留下來，讓下一次合作建立在上一輪的共同歷史上：

$$
(H_t,A_t,M_t)
\xrightarrow{\tau_t}
(H_{t+1},A_{t+1},M_{t+1})
$$

其中：

- $H_t$ ：人類在時間 $t$ 的任務理解、表達策略與對 Agent 的操作模型；
- $A_t$ ：Agent 在時間 $t$ 的策略、記憶、能力模型與對使用者的推斷；
- $M_t$ ：雙方可利用的共享歷史與長期記憶；
- $\tau_t$ ：本輪完整合作軌跡。

於是，一次互動的成果不再只有最終輸出 $y_t$ 。

還包括：

$$
\Delta H_t,
\quad
\Delta A_t,
\quad
\Delta M_t
$$

也就是：人類變得更會使用這個 Agent、Agent 變得更理解這名人類、共同記憶變得更有結構。

本文將這種方法稱為：

$$
\boxed{
\text{Human–Agent Co-Adaptive Learning}
}
$$

即「人機智能體共適應學習」。

---

## 2. 這不是單向的人類回饋學習

傳統的人類回饋學習通常可以抽象為：

$$
H
\rightarrow
F
\rightarrow
A'
$$

其中人類 $H$ 提供 feedback $F$ ，更新 Agent $A$ 。

例如 preference learning 可能使用：

$$
D=
\{(x_i,y_i^+,y_i^-)\}
$$

讓模型學習哪一個輸出較符合人類偏好。

Christiano 等人的 human preference RL 工作證明，人類可以透過對軌跡片段做比較來教授複雜目標，而不必事先寫出完整 reward function。[1]

Cooperative Inverse Reinforcement Learning（CIRL）則更進一步將人類與機器視為合作式、部分資訊的決策問題：機器不知道人類真正的 reward，而人類的行動本身也可以成為教學訊號。[2]

這些工作與本文高度相關，但 HACAL 還多了一步：

$$
\boxed{
H_t\rightarrow H_{t+1}
}
$$

也就是人類自己也會因為長期互動而改變。

例如，人類第一次可能說：

> 幫我整理這些論文。

Agent 做錯之後，人類逐漸學會補充：

> 文字重複不代表可以刪除；理論演化中的中間稿也要保留。

再合作多次以後，人類甚至只需要說：

> 依照我們之前的理論演化規則整理。

因此：

$$
HumanInput_t
\neq
HumanInput_{t+n}
$$

不是因為人的目標一定改變了，而是因為人已經學會如何把同一個目標用更低成本傳達給這個 Agent。

所以 HACAL 不是：

$$
Human\ teaches\ AI
$$

而是：

$$
\boxed{
Human\ and\ AI\ learn\ how\ to\ work\ together
}
$$

---

## 3. 意圖不是一次輸入，而是逐步重建的狀態

在真實工作裡，人類意圖通常不是一個可以一次完整輸入的字串。

定義人類的實際意圖為：

$$
I_t^*
$$

人類第一次表達出來的意圖為：

$$
I_t^{(0)}
$$

Agent 對它的推斷為：

$$
\hat I_t^{(0)}
$$

一般而言：

$$
I_t^{(0)}
\neq
I_t^*
$$

且：

$$
\hat I_t^{(0)}
\neq
I_t^*
$$

真正的意圖會透過：

- Agent 提問；
- 人類補充；
- Agent 提案；
- 人類拒絕；
- 小規模試做；
- 人類修正；
- 結果觀察；

逐步收斂。

因此更合理的意圖解析模型是：

$$
\hat I_t^{(k+1)}
=
F_I(
\hat I_t^{(k)},
q_k,
r_k,
a_k,
f_k
)
$$

其中：

- $q_k$ ：Agent 的澄清問題；
- $r_k$ ：人類回答；
- $a_k$ ：Agent 採取的試探行動；
- $f_k$ ：人類或環境回饋。

所以對 Agent 而言，「理解使用者意圖」本身不是一次分類問題，而是一個長期的 belief update。

這與 CIRL 中「機器不知道人類真正 reward、必須從互動中推斷」的思想具有相似性，但本文關注的不只 reward 推斷，而是更廣泛的工作規則、資料價值、授權偏好、風險界線與語義習慣。[2]

---

## 4. 誤解與修正不是噪音，而是高密度學習訊號

傳統產品指標容易把這一段看成失敗：

$$
Error\rightarrow Bad
$$

但在長期智能體系統裡，更有價值的形式是：

$$
Error
+
Correction
+
Reason
+
Outcome
\rightarrow
LearningSignal
$$

例如：

Agent：

> 這兩篇文件高度相似，我將舊版刪除。

人類：

> 不要。它是理論形成的中間節點；應該建立 predecessor / successor 關係，而不是判定為 duplicate。

如果只保存：

$$
Delete=False
$$

那只是一次局部修正。

如果保存：

$$
Similarity(x,y)\approx1
$$

但：

$$
HistoricalPathValue(x)>0
$$

因此：

$$
Delete(x)=False
$$

那麼修正就被抽象成了一個可以跨案例遷移的規則。

因此 HACAL 中真正重要的不是「記住這次不要刪」，而是：

$$
\boxed{
\text{Case Correction}
\rightarrow
\text{Generalizable Policy Update}
}
$$

近期 CoAct 研究已展示，人類 oracle feedback 與 AI self-labeling 可以透過 active learning 相互配合，使人工回饋集中在模型不確定或高價值的樣本上。[3] CoEvolve 則進一步讓 Agent 從 rollout 中的遺忘與不確定性辨識失敗模式，再動態生成新的訓練任務，使 agent 與 data distribution 共同演化。[4]

本文把這個思想推向真實長期合作：錯誤、拒絕與修正不只是訓練集中的例外，而是發現「哪些規則尚未被共同理解」的高資訊密度事件。

---

## 5. HACAL 的基本閉環

本文先提出一個方法論閉環：

$$
\boxed{
I
\rightarrow
N
\rightarrow
P
\rightarrow
A
\rightarrow
V
\rightarrow
C
\rightarrow
M
\rightarrow
\Pi
\rightarrow
I'
}
$$

其中：

### 5.1 $I$ ：Intent

人類提出原始意圖。

### 5.2 $N$ ：Negotiation

雙方透過澄清、提問、例子、拒絕與補充重新建立意圖邊界。

### 5.3 $P$ ：Plan

Agent 把意圖轉成可執行計畫。

### 5.4 $A$ ：Action

Agent 執行實際操作。

### 5.5 $V$ ：Verification

人類、Agent、測試、環境或其他驗證機制檢查結果。

### 5.6 $C$ ：Correction

出現不一致時，記錄「哪裡錯、為什麼錯、應該怎麼改」。

### 5.7 $M$ ：Memory Consolidation

把高價值互動從原始對話轉成可檢索的長期記憶、規則或範例。

### 5.8 $\Pi$ ：Policy Adaptation

未來 Agent 的提問策略、規劃策略、授權判斷與工作方法發生改變。

### 5.9 $I'$ ：Improved Human Expression

下一輪，人類因為理解 Agent 的能力與限制，也改變自己的表達方式。

所以閉環不是回到原點，而是：

$$
(H_t,A_t)
\rightarrow
(H_{t+1},A_{t+1})
$$

---

## 6. 權重不變，聯合系統仍然可以學習

這一點對本系列非常重要。

假設底層模型權重完全沒有變：

$$
\theta_{t+1}=\theta_t
$$

仍然可能存在：

$$
M_{t+1}\neq M_t
$$

$$
\Pi_{t+1}\neq\Pi_t
$$

$$
H_{t+1}\neq H_t
$$

例如透過：

- episodic memory；
- semantic memory；
- user profile；
- shared vocabulary；
- tool configuration；
- local policy；
- project state；
- human mental model；

整個人機系統已經發生功能性學習。

2026 年的長期 Agent 研究已開始顯示這個方向。POLAR 透過多模態 knowledge graph 保存跨互動的語義與 episodic memory，使 embodied agents 能根據長期個人化脈絡解讀新的任務。[5] SteeM 則指出長期記憶不是「越多越好」：Agent 過度依賴歷史可能造成 memory anchoring，因此記憶依賴程度本身需要可控。[6]

因此：

$$
\boxed{
Learning
\neq
WeightUpdateOnly
}
$$

對長期 Agent 而言，記憶、策略、工具配置、共同規則與人類操作習慣，都可以構成學習的一部分。

---

## 7. 人類也會形成對 Agent 的「操作模型」

長期合作中的另一半常被忽略：人類會逐漸建立對 Agent 的能力模型。

記作：

$$
\mathcal M_H(A_t)
$$

即人類對 Agent 的 mental model。

人類逐漸學會：

- 哪些任務 Agent 很擅長；
- 哪些情況容易誤解；
- 哪些資訊必須事先說；
- 什麼時候應該讓 Agent 自己做；
- 什麼時候應該要求預覽；
- 什麼時候需要第二模型或人類複核。

CUI 2025 的研究顯示，即使沒有額外能力說明，使用者也可能透過重複互動逐漸校準自己對 conversational agent 能力的 mental model。[7]

因此，共適應至少包含兩條更新：

$$
\mathcal M_A(H_t)
\rightarrow
\mathcal M_A(H_{t+1})
$$

以及：

$$
\mathcal M_H(A_t)
\rightarrow
\mathcal M_H(A_{t+1})
$$

也就是雙方都在建立對對方的工作模型。

這裡不需要假設 AI 具有與人類相同的心智狀態；只要在工程上存在可更新的意圖、偏好、能力與行為預測模型，就足以研究這種雙向適應。

---

## 8. 共同歷史可以壓縮未來溝通成本

假設第一次合作中，人類為了讓 Agent 正確完成任務，需要：

$$
C_{comm}^{(1)}
$$

大量描述。

如果過去的協商被正確記憶，下一次可以使用已形成的共享規則：

$$
K_t=
\{k_1,k_2,\ldots,k_n\}
$$

例如：

> 按我們的 canonical / historical 版本規則整理。

這一句短語可能代表過去數千 token 的共同協商。

因此理想情況下：

$$
\frac{dC_{comm}(t)}{dt}<0
$$

這可以稱為：

$$
\boxed{
\text{Collaborative Protocol Compression}
}
$$

即「協作協議壓縮」。

它不是一般語言壓縮，而是把長期互動歷史壓縮成雙方都能解碼的共享概念。

如果這種壓縮成功，一個成熟的人機組合可能出現：

$$
\text{Short Instruction}
\Rightarrow
\text{High Context Reconstruction}
$$

這會直接降低 token、人工監督與重複說明成本。

但這也帶來風險：一個過度壓縮的共享協議可能把舊規則錯誤套到新情境。因此共享 shorthand 必須允許重新展開、查看來源與覆寫。

---

## 9. 從靜態資料集到互動分布

DAgger 的重要洞見之一，是純粹從固定 expert demonstrations 學習，可能因為 learner 執行後進入不同狀態分布而產生 compounding error；因此它讓 learner 實際運行，再向 expert 詢問這些實際狀態下的正確行動，持續聚合資料。[8]

這個思想與 HACAL 有直接關聯。

如果我們只訓練：

$$
D_0=
\{\text{ideal examples}\}
$$

那 Agent 不一定學到自己真正會遇到的誤解與例外。

長期人機合作反而會自然產生：

$$
D_t=
D_{t-1}
\cup
\Delta D_t
$$

而：

$$
\Delta D_t
$$

正是 Agent 目前策略實際造成的：

- 不確定案例；
- 錯誤案例；
- 邊界案例；
- 人類阻止的操作；
- 人類改寫的規則；
- 成功但成本過高的工作流程。

因此，真實使用本身變成資料分布生成器。

這也是近期「Era of Experience」觀點所強調的更大方向：未來 Agent 的重要資料來源可能從靜態人類語料，逐漸增加來自持續環境互動的 experience streams。[9]

HACAL 對這個方向增加一個限制：

> 對私人或專業 Agent 而言，環境 experience 還不夠；「人類如何解釋、修正、拒絕與重新定義任務」同樣是經驗的一部分。

---

## 10. 共適應的最小資料單位不是回答，而是一次協商軌跡

傳統樣本可能是：

$$
(x,y)
$$

HACAL 更適合的資料單位是：

$$
\tau_t
=
(
I_t,
\hat I_t,
Q_t,
R_t,
P_t,
A_t,
V_t,
C_t,
O_t,
M_t
)
$$

其中：

- $I_t$ ：人類表達的意圖；
- $\hat I_t$ ：Agent 的意圖解讀；
- $Q_t$ ：澄清與協商；
- $R_t$ ：人類補充／拒絕／授權；
- $P_t$ ：Agent 計畫；
- $A_t$ ：實際行動；
- $V_t$ ：驗證證據；
- $C_t$ ：修正；
- $O_t$ ：結果；
- $M_t$ ：本輪應被固化的記憶。

因此：

$$
\boxed{
\text{Training Unit}
:
QA
\rightarrow
Negotiated Trajectory
}
$$

本文只建立概念；下一篇將專門討論這些軌跡如何結構化、分層、去隱私、去噪聲與轉成可訓練資料。

---

## 11. 共適應並不必然是好事

如果只看到：

$$
\text{Mutual Adaptation}
$$

就直接推出：

$$
\text{Better Collaboration}
$$

是不成立的。

共適應至少存在六類風險。

### 11.1 錯誤共識

人與 AI 可能互相強化一個錯誤規則：

$$
Error_H
\leftrightarrow
Error_A
$$

最後形成穩定但錯誤的共同習慣。

### 11.2 Memory Anchoring

長期記憶可能讓 Agent 過度依賴歷史偏好，降低重新理解新意圖的能力。[6]

### 11.3 人類單向適應

如果 Agent 很難改，人類可能被迫一直改變自己的表達方式：

$$
\Delta H\gg\Delta A
$$

這不應被誤認為良好的「雙向共適應」。

### 11.4 過度迎合

Agent 可能把「學習使用者」錯誤理解成：

> 越來越同意使用者。

但真正需要學的是：

$$
\text{User Intent}
\neq
\text{Unconditional Agreement}
$$

### 11.5 路徑依賴

早期建立的分類、名稱或工作流可能讓後續所有互動被鎖進局部最優。

### 11.6 共同盲點

如果人與 Agent 長期只在同一資訊來源與同一框架中合作，雙方可能一起失去外部校準。

因此成熟 HACAL 必須具有：

$$
\text{Memory}
+
\text{Revision}
+
\text{Dissent}
+
\text{External Validation}
+
\text{Reset Capability}
$$

而不是只有：

$$
\text{Remember Everything}
$$

---

## 12. 共適應品質的初步度量

為了避免「感覺越來越懂我」這種過度主觀評估，HACAL 可以建立幾個方法論指標。

### 12.1 意圖重建率

$$
A_I
=
P(\hat I=I^*)
$$

衡量 Agent 最終是否正確重建任務意圖。

### 12.2 重複錯誤率

$$
R_E(t)
=
\frac{\text{previously corrected errors repeated}}{\text{relevant opportunities}}
$$

理想上：

$$
\frac{dR_E(t)}{dt}<0
$$

### 12.3 溝通成本

$$
C_{comm}(t)
=
Tokens
+
Clarifications
+
HumanTime
$$

不是只看 token，而是看人類真正需要投入多少認知成本。

### 12.4 修正遷移率

如果在任務 $T_1$ 修正一個原則，能否在新任務 $T_2$ 主動套用：

$$
G_C(T_1\rightarrow T_2)
$$

這比「記住原句」更能衡量是否形成一般化規則。

### 12.5 人類適應負擔

$$
B_H
$$

衡量為了讓系統可用，人類被迫改變多少自己的自然工作方式。

### 12.6 記憶錨定指標

$$
A_M
$$

衡量過去記憶對新任務造成的不當約束。

因此，共適應品質不應只最大化：

$$
Personalization
$$

而應優化：

$$
\boxed{
Q_{coadapt}
=
f(
A_I,
-R_E,
-C_{comm},
G_C,
-B_H,
-A_M
)
}
$$

這仍是方法論模型，不是已被驗證的自然定律。

---

## 13. 一套可實作的 HACAL 工作流程

如果把本文變成 Agent 系統，可以先使用以下最小流程。

### 第一步：保存原始軌跡

保存：

$$
RawTrace_t
$$

但不要假設所有原始 token 都值得永久成為 memory。

### 第二步：辨識高資訊事件

優先提取：

- 人類明確拒絕；
- 人類修正；
- Agent 主動澄清；
- 高風險授權；
- rollback；
- 重複錯誤；
- 新形成的共享規則。

得到：

$$
E_t^{high}
$$

### 第三步：建立修正理由

不要只記：

> 不要做 X。

而是盡可能保存：

> 在條件 $S$ 下，X 為什麼錯，以及什麼原則可以遷移到其他案例。

### 第四步：記憶固化

將：

$$
RawTrace
\rightarrow
SemanticRule
$$

同時保留來源指標，使規則可以追溯。

### 第五步：下一輪主動使用

Agent 在相似情境出現時，不只是被動 retrieval，而應：

- 改變計畫；
- 改變提問；
- 改變風險分級；
- 或指出「這與之前的修正案例相似」。

### 第六步：週期性重新評估

舊記憶不是永久真理。

因此：

$$
M_t
\xrightarrow{Review}
M_{t+1}
$$

允許：

- 降權；
- 合併；
- 淘汰；
- 重寫；
- 暫停使用。

這也為後續「整理即優化」提前建立接口。

---

## 14. 從人機合作到耦合認知系統

本文最後提出一個研究單位轉換。

如果研究的目標是一次性回答品質，單獨評估：

$$
A
$$

通常足夠。

但如果研究的是半年、一年甚至更久的私人 Agent，真正的研究單位可能應該是：

$$
\boxed{
\mathcal C_t
=
(H_t,A_t,M_t,E_t,G_t)
}
$$

其中：

- $H_t$ ：人類；
- $A_t$ ：Agent；
- $M_t$ ：長期共同記憶；
- $E_t$ ：工作與計算環境；
- $G_t$ ：治理與授權結構。

這個系統的能力不是：

$$
Capability(A_t)
$$

單獨決定，而可能是：

$$
Capability(\mathcal C_t)
$$

共同形成。

這並不表示人和 AI 在本體上「合成一個人」，也不需要預設 AI 具有任何人類式人格或主體性。

它只是指出一個工程事實：

> 如果任務成果依賴長期共享記憶、互相形成的操作模型、共同語彙與反覆修正，那麼只評估底層模型能力，會漏掉整個協作系統中非常重要的一部分智能。

---

## 15. 與現有研究路線的關係

HACAL 可以視為多條既有路線的交叉，但不等同於其中任何一條。

### 15.1 與 RLHF / Preference Learning

共同點：都利用人類回饋。

差異：HACAL 的回饋不只用於離線模型對齊，而是長期任務中的意圖、規則、記憶、授權與互動策略更新。

### 15.2 與 CIRL

共同點：把人與 AI 視為合作決策者，且 AI 並不知道完整的人類目標。[2]

差異：HACAL 更強調長期記憶、實際工作歷史、人類自身的操作策略變化與計算環境狀態。

### 15.3 與 DAgger

共同點：讓 learner 從自己實際進入的狀態分布收集 expert correction。[8]

差異：HACAL 的「expert」本身也會學習如何與 Agent 合作，而且 correction 包含意圖與治理層，不只 action label。

### 15.4 與 Active Learning

共同點：把稀缺的人類注意力集中在高不確定、高資訊價值案例。CoAct 是近期直接把 human oracle 與 AI self-rewarding 結合的例子。[3]

差異：HACAL 不是只問「哪筆資料值得標註」，還問「哪一次互動值得成為長期共同規則」。

### 15.5 與 Human-Agent Co-Learning / Co-Adaptation

2025 年的 scoping review 已指出，人機 co-learning / co-adaptation 文獻存在用語不一致，且研究範圍從一次性交互到持續互動都有。[10]

HACAL 的貢獻不是宣稱首先發現「人與 AI 會互相適應」，而是把這個概念接到長期 Agent 的：

$$
Intent
+
Correction
+
Memory
+
Delegation
+
Environment
$$

並作為後續持續計算環境與智能體治理的學習基礎。

---

## 16. 本文命題總結

本文提出六個核心命題。

### 命題一：人機共適應是雙向學習

$$
Human\rightarrow AI
$$

不足以描述長期合作，更合理的是：

$$
\boxed{
(H_t,A_t)
\rightarrow
(H_{t+1},A_{t+1})
}
$$

### 命題二：意圖需要在互動中逐步重建

$$
I^{(0)}
\rightarrow
I^{(1)}
\rightarrow
\cdots
\rightarrow
\hat I^*
$$

### 命題三：修正是高資訊密度學習資料

$$
Error+Correction+Reason
\rightarrow
PolicyUpdate
$$

### 命題四：權重不變不代表系統沒有學習

$$
\theta_{t+1}=\theta_t
$$

仍可能：

$$
\mathcal C_{t+1}\neq\mathcal C_t
$$

### 命題五：共同歷史可以壓縮未來溝通成本

$$
C_{comm}(t)\downarrow
$$

但必須防止 memory anchoring 與路徑依賴。

### 命題六：共適應的研究單位應從模型擴展到耦合系統

$$
\boxed{
\mathcal C_t=(H_t,A_t,M_t,E_t,G_t)
}
$$

這將成為下一篇「合作軌跡作為訓練資料」的直接基礎。

---

## 17. 下一篇

下一篇：

**《合作軌跡作為訓練資料：從 QA 樣本到意圖—行動—修正歷史》**

下一步將不再只問：

> 人與 AI 如何共同適應？

而是進一步回答：

> 這整個共適應過程到底應該保存成什麼資料結構，哪些事件具有高訓練價值，哪些應該被壓縮、遺忘、匿名化或排除？

其核心轉換是：

$$
\boxed{
(x,y)
\rightarrow
\tau_{
Intent\rightarrow Action\rightarrow Correction\rightarrow Outcome
}
}
$$

---

## 參考資料

[1] Christiano, P. F. et al., **Deep Reinforcement Learning from Human Preferences**, NeurIPS 2017.  
https://papers.nips.cc/paper/7017-deep-reinforcement-learning

[2] Hadfield-Menell, D., Russell, S., Abbeel, P., Dragan, A., **Cooperative Inverse Reinforcement Learning**, NeurIPS 2016.  
https://papers.neurips.cc/paper_files/paper/2016/hash/c3395dd46c34fa7fd8d729d8cf88b7a8-Abstract.html

[3] Xu, R. et al., **CoAct: Co-Active LLM Preference Learning with Human-AI Synergy**, ACL 2026.  
https://aclanthology.org/2026.acl-long.751/

[4] Yang, S. et al., **CoEvolve: Training LLM Agents via Agent-Data Mutual Evolution**, ACL 2026.  
https://aclanthology.org/2026.acl-long.1055/

[5] Lee, J., Park, C., Lee, D., **Personalizing Embodied Multimodal Large Language Model Agents over Long-term User Interactions (POLAR)**, arXiv:2605.26256, 2026.  
https://arxiv.org/abs/2605.26256

[6] Tian, M. et al., **Controllable Memory Usage: Balancing Anchoring and Innovation in Long-Term Human-Agent Interaction (SteeM)**, arXiv:2601.05107, 2026.  
https://arxiv.org/abs/2601.05107

[7] Reimann, M. M. et al., **Transparent Conversational Agents: The Impact of Capability Communication on User Behavior and Mental Model Alignment**, CUI 2025 Proceedings.  
https://cui.acm.org/2025/proceedings/

[8] Ross, S., Gordon, G., Bagnell, J. A., **A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning**, AISTATS 2011.  
https://proceedings.mlr.press/v15/ross11a.html

[9] Silver, D., Sutton, R. S., **Welcome to the Era of Experience**, 2025.  
https://storage.googleapis.com/deepmind-media/Era-of-Experience%20/The%20Era%20of%20Experience%20Paper.pdf

[10] Kumar, S., Chen, X., Wang, X., **Mapping Human-Agent Co-Learning and Co-Adaptation: A Scoping Review**, arXiv:2506.06324, 2025.  
https://arxiv.org/abs/2506.06324

---

## 版本紀錄

- **v0.1 / 2026-08-01**：系列第二篇正式初稿；建立 HACAL、人機雙向更新、意圖重建、協作協議壓縮、共適應風險與初步度量框架。