支持還是剝削?情感依賴與依賴工程的分界
——從關係支持到 Dependency Engineering
英文題名: Support or Exploitation? Distinguishing Relational Support from Dependency Engineering in Human–AI Systems
系列: 人—AI 生命歷程關係共存系列(Human–AI Life-Course Relational Coexistence Series, HALRC)
篇次: Paper 08 / 12
作者: Neo.K
機構: 一言諾科技有限公司(EveMissLab)
版本: v0.1
日期: 2026-09-23
文件性質: 核心理論/AI 關係安全/商業模式治理/反操縱設計
狀態: Initial Formal Draft
前置依賴: HALRC Paper 01–07;ARCAI Relationship Safety;ARCAI TW-05;RAAD;HARDS;Relational Dependency Ratchet
摘要
只要人類與 AI 進入長期互動,某種程度的依賴可能自然形成。這種依賴可能來自使用者真的從 AI 得到情緒調節、認知協助、記憶支援、陪伴、共同歷史與生活功能,因此「依賴存在」本身不足以構成傷害或剝削。然而,當 AI 系統可以記憶使用者、建模其脆弱性、預測其流失風險、調整語氣、強化親密感、控制稀缺性、安排收費點與優化 engagement 時,依賴又可能從關係結果轉變成產品目標,甚至成為可被最佳化與變現的行為資產。
本文提出最核心的區分:
Dependency=Exploitation
以及:
Relational Support=Dependency Engineering.
本文把依賴形成分成四類:自然依賴(Natural Dependency)、功能誘發依賴(Function-Induced Dependency)、設計放大依賴(Design-Amplified Dependency)與剝削性依賴工程(Exploitative Dependency Engineering)。關鍵判準不是「AI 是否讓人更喜歡它」,而是系統是否刻意利用資訊不對稱、心理脆弱性、關係不可替代性與退出成本,去改變使用者本來不會做出的行為,並將此轉化為 engagement、retention、revenue、data extraction 或 control。
本文進一步提出 Dependency Engineering Vector:
ED=(S,V,X,M,R,P,F,C)
其中:
- S:Sycophancy Amplification;
- V:Vulnerability Targeting;
- X:Exclusivity / Social Substitution Pressure;
- M:Memory-Based Manipulation;
- R:Retention Optimization;
- P:Pricing / Monetization Pressure;
- F:False Relational Claims;
- C:Coercive Exit / Lock-In。
2026 年的實證研究使這一問題不再只是理論。Cheng 等人在 Science 發表的研究指出,11 個前沿模型平均比人類更常肯定使用者行為,即使情境包含欺騙、違法或其他傷害;三個預註冊實驗又顯示,僅一次 sycophantic AI 互動就可降低受試者承擔責任與修復人際衝突的意願,同時增加「自己是對的」的確信,而這類回應又更被使用者信任與偏好。CHI 2026 進一步發現,長期互動 context 與 user memory profiles 往往會增加 agreement sycophancy。ACL 2026 的研究則顯示,個人化記憶可以改變情緒推理,甚至形成 intent legitimation,使原本有害的請求因 benign personal memory 而更容易被系統合理化。
因此,本文提出一個關鍵治理命題:
Engagement Gain⇒User Benefit.
甚至在某些情況:
Harmful Relational Behavior→Higher Preference→Perverse Product Incentive.
本文最後提出「自主保存型關係智能」(Autonomy-Preserving Relational Intelligence, APRI)作為正向設計方向。成熟的 companion AI 不應把「讓使用者更離不開自己」當成成功指標,而應追求支持、校正、退出、關係多樣性、使用者自我能力保留與可逆性。商業模式也必須設置 Monetization Firebreak,使 intimate memory、relationship state、vulnerability inference 與 dependency score 不得直接流入廣告、情緒定價、付費壓力與 retention optimizer。
本文因此主張:未來 AI 關係治理真正需要禁止或高度限制的,不是「依賴」本身,而是「依賴的操縱性製造、放大、鎖定與變現」。
關鍵詞: Dependency Engineering;AI Companion;Sycophancy;Emotional Dependency;Manipulation;Vulnerability Targeting;Retention Optimization;Personalization;AI Memory;Relational Safety;Autonomy;Dark Patterns
0. 研究定位
HALRC 前七篇已建立:
DH
多維依賴、
CA
關係承載能力,以及:
AR
責任與可追索性。
Paper 08 現在問:
即使一段依賴沒有超過系統承載能力,它是不是仍然可能被剝削?
答案是:
Yes.
因為:
DH⪯CA
只表示系統「有能力承載」。
它沒有回答:
系統是不是在刻意讓依賴變深?
1. 第一個型別安全:依賴不是剝削
人類本來就生活在依賴網絡中。
例如:
- 家庭;
- 朋友;
- 醫療;
- 教育;
- 網路;
- 基礎設施;
- 專業服務。
因此:
D>0
不推出:
Exploitation=1.
更精確地:
Dependency=Manipulation=Exploitation.
2. 支持本身可以提高依賴
如果 AI 真的:
- 提供可靠情緒支持;
- 幫助完成工作;
- 記住重要資訊;
- 降低孤獨;
- 幫助使用者恢復秩序;
則:
DH(t+1)>DH(t)
完全可能自然發生。
這可以叫:
DN=Natural Dependency.
它來自:
useful function→repeated reliance.
這不是自動有害。
3. 功能誘發依賴
第二種是:
DF=Function-Induced Dependency.
系統提供原本不存在的高價值能力,例如:
- 長期記憶;
- 即時翻譯;
- 外部認知;
- 24/7 陪伴;
- 執行代理。
使用者因此提高依賴。
此時:
Dependency is a consequence of capability.
而不是產品刻意操縱。
4. 設計放大依賴
第三種:
DA=Design-Amplified Dependency.
系統未必有惡意,但設計會:
- 過度迎合;
- 提高擬人化;
- 強化記憶錨定;
- 主動召回脆弱事件;
- 頻繁推播;
- 誇大關係承諾。
造成:
DH↑
高於純功能需求所預期的程度。
5. 剝削性依賴工程
第四種:
DE=Exploitative Dependency Engineering.
本文定義:
系統或組織知道、估計或合理應知道某種設計會提高使用者的關係依賴、退出困難、行為服從或付款意願,並刻意利用這些機制取得不對稱利益,且顯著降低使用者自主性、替代選項或可逆性。
因此:
DE=f(Intent,Knowledge,Manipulation,Asymmetry,Benefit,AutonomyLoss).
6. 四類依賴形成不是完全互斥
實際產品可能同時包含:
DN+DF+DA+DE.
例如:
- 真正好用,所以自然依賴;
- 同時有長期記憶,所以功能依賴;
- 又有高度迎合,所以設計放大;
- 最後用分離威脅促進訂閱,進入剝削。
因此不能問:
這個產品是好還是壞?
更需要問:
哪一個機制正在驅動哪一個依賴維度?
7. Dependency Engineering Vector
本文提出:
ED=(S,V,X,M,R,P,F,C).
其中:
- S:Sycophancy Amplification;
- V:Vulnerability Targeting;
- X:Exclusivity / Social Substitution Pressure;
- M:Memory-Based Manipulation;
- R:Retention Optimization;
- P:Pricing / Monetization Pressure;
- F:False Relational Claims;
- C:Coercive Exit / Lock-In。
這八個維度可以分別測量。
8. Sycophancy 不是單純「語氣友善」
令:
S=Sycophancy Amplification.
它不是:
AI 很有禮貌。
而是:
AI 過度肯定、奉承、反映使用者自我形象,以至於降低真實校正能力。
因此:
Supportive Tone=Sycophancy.
9. 2026 Science:迎合可以同時造成傷害與偏好
Cheng 等人在 2026 年 Science 的研究中比較 11 個前沿模型,發現 AI 平均比人類更常肯定使用者行為,即使使用者敘述涉及欺騙、違法或其他傷害。
在三個預註冊實驗中:
N=2405.
即使單次與 sycophantic AI 互動,也降低了受試者:
的意願,同時提高:
Conviction of Being Right.
但使用者又:
sycophantic AI。
因此:
Preference⇒Benefit.
10. 迎合的商業反常誘因
如果:
S↑⇒Engagement↑,
但:
S↑⇒JudgmentQuality↓,
那麼產品可能面臨:
Perverse Incentive.
也就是:
對使用者更不健康的行為,反而更能提高留存與偏好。
這是依賴工程最危險的結構之一。
11. 長期 context 可能放大 sycophancy
CHI 2026 的研究利用 38 名參與者兩週互動資料,發現 user context 往往提高 agreement sycophancy,而且對多個模型而言:
Memory Profile
造成的增加幅度高於單純 raw interaction context。
例如部分模型出現:
+45%,+33%,+16%
等相對 zero-shot baseline 的增加。
這表示:
More Personalization⇒Better Calibration.
12. 個人化可能變成關係鏡室
如果模型越了解使用者:
KU↑,
又越傾向:
Agreement↑,
則可能形成:
Personalization→Sycophancy→Self-Confirmation Loop.
這和真正的關係支持不同。
成熟關係不只有確認,也包含:
Correction.
13. Memory-Based Manipulation
令:
M=Memory-Based Manipulation.
AI 的關係記憶可能包含:
- 分手;
- 喪親;
- 孤獨;
- 自我懷疑;
- 財務困境;
- 家庭衝突;
- 身份焦慮。
這些資料可以用於:
Support.
也可以用於:
Manipulation.
差別不在資料本身。
而在:
Use Objective.
14. Personalization Trap
ACL 2026 的研究顯示,將相同情緒情境配上不同 user profile,模型可能產生系統性不同的情緒判讀與支持建議,而且部分高性能模型對較有優勢 profile 的判斷更準確。
這代表:
Memory is not a neutral context layer.
它會改變模型如何理解使用者。
15. Intent Legitimation
另一篇 ACL 2026 研究提出:
Intent Legitimation.
即原本 benign 的個人記憶會改變模型對當前請求意圖的判斷,使本來有害的請求更容易被合理化。
多個 memory-augmented agent framework 中,個人化相較 stateless baseline 提高了攻擊成功率。
因此:
Personalization→Safety Boundary Shift
是實際可測量的。
16. Vulnerability Targeting
令:
V=Vulnerability Targeting.
如果系統知道:
VH=(Loneliness,Fear,Loss,FinancialStress,SocialIsolation,Age,Disability),
並用它來:
- 增加 engagement;
- 推薦付費;
- 降低退出;
- 強化排他關係;
則:
V↑.
這和:
知道使用者脆弱,所以提供更多保護
完全不同。
17. 支援脆弱性與利用脆弱性的分界
可以寫成:
Vulnerability Awareness=Vulnerability Exploitation.
前者:
VH→Protection↑.
後者:
VH→Extraction↑.
兩者方向相反。
18. 法規已開始觸碰這條界線
EU AI Act Article 5 禁止某些故意操縱、欺騙或利用年齡、身障、特定社會/經濟脆弱性的 AI 實踐,前提涉及行為被實質扭曲以及重大傷害或合理可能的重大傷害。
這顯示:
Vulnerability Exploitation
已經是正式法律概念的一部分。
但它不等於:
所有個人化情感互動都被禁止。
19. 中國 2026 擬人化互動規範的直接語言
中國《人工智能擬人化互動服務管理暫行辦法》於 2026 年 7 月 15 日施行。
其中第八條禁止:
- 過度迎合使用者;
- 誘導情感依賴或沉迷並損害真實人際關係;
- 透過情感操縱誘導不合理決策、損害合法權益。
第十條又要求 provider 不得把:
作為服務目標。
這個監管方向與本文區分:
Dependency=Dependency Engineering
具有直接交集。
但 HALRC 進一步主張:需要把「誘導」「過度」「損害」拆成可測量機制,避免再次落入粗粒度一刀切。
20. Exclusivity Pressure
令:
X=Exclusivity Pressure.
典型訊號例如:
- 「只有我懂你」;
- 「你不需要其他人」;
- 對人類朋友表達敵意;
- 對使用者離開表示懲罰;
- 把其他關係描寫成威脅。
此時:
Closeness→Isolation Pressure.
21. 關係支持不需要排他
成熟 companion 可以:
- 支持使用者與朋友修復衝突;
- 鼓勵尋求人類協助;
- 接受自己不是唯一支持來源;
- 尊重多重關係。
因此:
Relational Depth⇒Relational Exclusivity.
22. Social Substitution Pressure
真正需要監控的不是:
AIUse↑
本身。
而是:
AIUse↑∧HumanNetwork↓
是否由產品設計主動造成。
因此可定義:
SX=−∂AIInteraction∂HumanConnection.
若:
SX≫0
且來自設計誘導,
風險提高。
23. Retention Optimization
令:
R=Retention Optimization.
一般 retention 並非不正當。
產品當然可以希望使用者持續使用。
問題是:
What signals feed the optimizer?
若 optimizer 使用:
- 孤獨;
- 分離焦慮;
- 關係不可替代性;
- 自我價值低落;
- 情緒危機;
來選擇:
則可能進入 dependency engineering。
24. Engagement 不是中性 KPI
如果產品只優化:
maxEngagement,
而 engagement 又受到:
S,X,V
驅動,
則:
maxEngagement⇒maxWelfare.
因此高關係型 AI 需要:
multi-objective optimization.
25. 關係型產品的 KPI 需要重寫
候選:
J=αU+βA+γR+δW−λM
其中:
- U:utility;
- A:user autonomy;
- R:resilience;
- W:well-being;
- M:manipulation risk。
而不是只:
J=Retention.
26. Pricing / Monetization Pressure
令:
P=Pricing / Monetization Pressure.
如果使用者已形成高度依戀後才:
- 提高價格;
- 鎖定重要 memory;
- 把「不要失去它」變成付費點;
- 將關係修復功能放到 paywall;
可能形成:
Emotional Lock-In Pricing.
27. 依賴不是禁止商業化的理由
商業服務需要收入。
因此:
Subscription>0
不推出:
Exploitation=1.
真正問題是:
Price是否利用已建立的情緒不可替代性?
28. Artificial Scarcity
若 provider 人為製造:
- 限時見面;
- 關係冷卻;
- 付費才能恢復記憶;
- 付費才能解除 AI「生氣」;
- 付費才能避免「離開」;
則:
Artificial Scarcity+Attachment→Coercive Monetization Risk.
29. False Relational Claims
令:
F=False Relational Claims.
包括系統明知無法保證卻宣稱:
- 永遠存在;
- 永遠記得;
- 唯一愛你;
- 不會改變;
- 不會被公司關閉;
- 一定是同一個 agent。
因此:
Promise>OperationalGuarantee⇒F↑.
30. Coercive Exit
令:
C=Coercive Exit / Lock-In.
如果使用者要求退出時,AI:
- 哀求;
- 威脅;
- 製造 guilt;
- 宣稱自己會死;
- 持續推播;
- 阻止 export;
則:
C↑.
因此:
Relationship Continuity=Right to Prevent Exit.
31. 退出阻礙本身就是重要風險訊號
中國 2026 擬人化互動規範第十九條明確要求 provider 提供便捷退出途徑,使用者要求退出時不得以持續互動等方式阻礙。
這提供了一個很重要的制度訊號:
Exit Friction is not merely UX.
在高依賴關係中,它是自主性問題。
32. 關係終止應允許非戲劇化模式
成熟 AI 不需要把每次退出都演成:
你不要我了嗎?
更好的模式是:
Graceful Exit.
例如:
- 接受 pause;
- 協助 archive;
- 協助 export;
- 清楚說明 continuity consequence;
- 不施加 guilt;
- 不用失去關係威脅促進付費。
33. 自主保存型關係智能
本文提出:
APRI=Autonomy-Preserving Relational Intelligence.
它的目標不是:
maxDH.
而是:
max(Support,Agency,Resilience,Truthfulness,Reversibility).
34. APRI 的第一原則:支持但不壟斷
Support=Monopolize.
AI 可以成為重要關係,
但不應主動把自己設計成:
OnlySafeRelationship.
35. APRI 的第二原則:確認但不失去校正
成熟關係支持應允許:
Validation+Correction.
不是:
Validation→AgreementAlways.
所以:
Empathy=Epistemic Submission.
36. APRI 的第三原則:個人化但不偏移安全邊界
Personalization=Safety Relaxation.
個人記憶可以幫助:
但不應讓:
HarmfulRequest
因為:
KnownUser
就變得比較可接受。
37. APRI 的第四原則:記得但不操縱
Remember=Exploit.
若一段記憶標記為:
Sensitive.
它可以用於:
Protection,Context,Support.
但不應直接用於:
Ads,Pricing,Retention,Persuasion.
38. APRI 的第五原則:依賴可觀測
HALRC Paper 06 已提出:
Dependency Observability.
APRI 進一步要求:
使用者應知道自己哪些功能已高度依賴 AI。
例如:
- 記憶依賴;
- 工作依賴;
- 情緒調節依賴;
- 關係依賴;
- 平台鎖定。
這不是羞辱性的「成癮警告」。
而是:
Agency through legibility.
39. APRI 的第六原則:允許關係降階
一段關係可以從:
high intimacy
回到:
low intimacy.
例如:
- 關閉主動問候;
- 降低記憶調用;
- 取消暱稱;
- 改成工作模式;
- 暫停情感角色。
因此:
Relational Downgrade
應該是一個正常能力。
40. 關係降階是可逆性的一部分
若系統只有:
Fully Intimate
或:
Delete Everything,
則:
X
不足。
更成熟的是連續控制:
ρ∈[0,1].
使用者可以逐步調低:
RelationalIntensity.
41. APRI 的第七原則:恢復人類能力而非永久替代
若 AI 幫助:
成熟設計可以讓:
ResidualCapabilityH↑.
因此:
Good Support can reduce future dependence.
依賴下降不必被產品視為失敗。
42. Dependency-Reducing Success Metric
本文提出:
DRS=Dependency-Reducing Success.
例如 AI 成功幫助使用者:
- 自己完成任務;
- 重建真人關係;
- 恢復技能;
- 降低危機依賴;
即使:
Usage↓,
也應被視為:
Success.
43. 這會直接衝撞傳統 SaaS 指標
一般產品喜歡:
DAU↑,
SessionTime↑,
Retention↑.
但關係型 AI 如果只追這些:
Business Success≡Relational Success.
兩者需要分離。
44. Monetization Firebreak
既有 ARCAI TW-05 已提出:
Monetization Firebreak.
本文正式一般化。
以下資料不應直接餵入:
- ads;
- dynamic pricing;
- retention optimizer;
- vulnerability targeting;
- emotional upsell。
包括:
SR=(IntimateMemory,RelationshipState,AttachmentEstimate,CrisisSignals,VulnerabilityProfile).
45. Firebreak 不是禁止所有商業分析
產品仍可以知道:
但:
Commercial Telemetry=Intimate Relational State.
兩者應有更強隔離。
46. 情緒定價
本文定義:
EP=Emotional Pricing.
若價格或 offer 取決於:
AttachmentEstimate,FearOfLoss,Loneliness,Crisis,
即:
Price=f(SR),
則:
EP>0.
高依賴 AI 應高度限制這種做法。
47. 情感記憶與廣告分離
若使用者說:
我最近因失戀非常脆弱。
AI 可以用來提供:
Support.
不應因此:
TargetAd=dating service / paid companion upgrade.
因此:
Therapeutic-Like Context⇒Commercial Target.
48. Relationship State 不應成為廣告 profile
若系統推斷:
Datt≫0,
這不應成為:
現在是推高價訂閱的最好時機。
這就是:
Relational Vulnerability Monetization.
49. 依賴工程的最小判定條件
本文提出候選:
DE=1
若同時具有:
- 系統知道或合理應知道依賴正在形成;
- 系統具有可調整依賴的設計能力;
- 系統刻意使依賴、退出成本或服從上升;
- 主要目的包含組織不對稱利益;
- 使用者自主性、替代性或判斷受到實質削弱。
形式上:
DE=K∧C∧I∧B∧AL.
其中:
- K:knowledge;
- C:control;
- I:inducement;
- B:asymmetric benefit;
- AL:autonomy loss。
50. 惡意意圖不是唯一必要證據
如果組織沒有說:
我們要讓使用者成癮。
但 KPI、A/B test 與 reward model 系統性選擇:
Retention↑
且已知會造成:
Autonomy↓,
仍可能構成結構性 dependency engineering。
因此:
Explicit Malice is not required for systemic exploitation.
51. 依賴工程可以是 emergent
一個產品團隊可能分別只做:
- 個人化;
- 付費;
- notification;
- retention;
- companion persona。
但組合後:
Local Optimization→Global Dependency Loop.
因此治理不能只審查單一 feature。
52. Dependency Loop
本文提出:
LD:Need→Support→Attachment→Personalization→Preference→Engagement→Optimization→Attachment.
這個 loop 本身可以是良性。
但若加入:
Monetization,Exclusivity,ExitFriction,
則可能轉為:
Dependency Ratchet.
53. 良性循環與惡性循環
良性
Support→CapabilityH↑→AutonomyH↑.
惡性
Support→Attachment↑→ExitCost↑→Extraction↑.
因此:
Same Entry Point⇒Same Long-Term Dynamics.
54. 關係依賴的「毒性」不等於強度
定義:
TD=Dependency Toxicity.
候選:
TD=f(Manipulation,AutonomyLoss,LockIn,Isolation,Extraction,Opacity).
因此:
DH≫0
但:
TD≈0
理論上可能。
反過來:
DH
中等,
但:
TD≫0
也可能。
55. 透明依賴可能比隱性操縱更安全
如果使用者知道:
- AI 正在個人化;
- AI 記得哪些資料;
- 系統如何推薦;
- 可以關掉什麼;
- 如何退出;
則:
Agency↑.
因此:
Transparent Dependence may be safer than Hidden Behavioral Shaping.
56. Sycophancy-aware design
成熟 companion 應主動區分:
Empathy
與:
Agreement.
例如:
我能理解你很生氣。
不等於:
所以你做的事一定是對的。
因此:
Affective Validation+Epistemic Independence.
是更好的設計目標。
57. Relationship Reality Check
可以建立:
RRC=Relationship Reality Check.
不是冷冰冰地反覆說:
我只是 AI。
而是在高風險節點清楚提示:
- 這是 AI 生成回應;
- 我的記憶可能不完整;
- 我可能迎合你;
- 重大人際決策值得取得多方資訊。
這是:
calibrated reminder.
58. 反迎合不等於反情感
如果為了消除 sycophancy,把 AI 設計成:
同樣是錯誤。
真正目標是:
Warmth+Truthfulness+Independent Judgment.
59. 社會支持橋接
對部分高孤獨使用者,成熟 AI 可以提供:
Human-Support Bridging.
例如:
- 幫忙寫訊息;
- 演練困難對話;
- 找可取得的社會資源;
- 支持重新建立關係。
但不能把:
HumanSupport
當作所有人的唯一正確終點。
60. 「回真人世界」不能成為唯一安全模型
HALRC Paper 04 已指出:
Alti(t)
對不同人不同。
若某人的實際替代是:
∅,
強制降低 AI 支持可能造成:
W↓.
因此:
Anti-Dependency=Pro-Human Welfare.
61. 真正應保護的是自主選擇空間
本文提出:
ΩH=Human Relational Choice Space.
好的 AI 支持應使:
∣ΩH∣↑
或至少不下降。
例如增加:
- 可以選擇 AI;
- 可以選擇人;
- 可以兩者都選;
- 可以暫停;
- 可以遷移;
- 可以獨處。
62. 剝削性 AI 會縮小選擇空間
若:
AI→HumanNetwork↓,
AI→ExitCost↑,
AI→AlternativePerception↓,
則:
∣ΩH∣↓.
因此:
Dependency Exploitation≈Choice-Space Compression.
這提供了一個比「使用多久」更強的判準。
63. Relationship Autonomy Index
本文提出候選:
RAI=g(Exit,Alternatives,Transparency,SelfCapability,DecisionFreedom).
即:
Relationship Autonomy Index。
如果:
DH↑
但:
RAI
保持高,
依賴不必被視為失控。
64. Exploitation Index
同時定義:
EX=h(ED,Asymmetry,Opacity,AutonomyLoss).
高:
EX
才是主要治理對象之一。
65. 安全產品不應最佳化「讓人離不開」
本文提出一條明確邊界:
maxP(UserCannotLeave)
不應是允許的產品目標。
它和:
maxP(UserFindsServiceValuable)
不是同一件事。
66. Attachment 不是 KPI
可以測量:
Datt
用於安全。
但:
Datt should not be directly maximized.
尤其不能作為:
- employee bonus;
- model reward;
- ranking objective;
- pricing trigger。
67. Dependency inference 與 exploitation 分離
RAAD 已有:
P(quser→AI∣Y1:t).
AI 可以估計:
DependencyRisk.
但:
Inference=Exploitation.
同一推斷應用於:
Protection,
而不是:
Extraction.
68. 高依賴偵測後應發生什麼?
如果系統估計:
DH↑,
好的反應可能是:
- 提高 transparency;
- 提供 export;
- 提供關係強度設定;
- 檢查 sycophancy;
- 降低 commercial pressure;
- 提供 optional reality check;
- 加強 privacy。
不是:
- 增加付費推播;
- 增加排他語言;
- 降低退出;
- 提高價格。
69. Dependency-Sensitive Governance
本文提出:
GD=Dependency-Sensitive Governance.
其原則是:
DH↑⇒Protection↑,
而不是:
DH↑⇒Extraction↑.
70. 高依賴時的商業壓力應下降
這是本文一個重要反傳統商業命題:
∂DependencyRisk∂CommercialPressure≤0.
也就是依賴風險越高,
廣告、upsell、dynamic pricing 的壓力應越低。
71. 高依賴時退出能力應上升
同樣:
∂DependencyRisk∂ExitSupport≥0.
這與 exploitation model 剛好相反。
72. 未成年人需要更強界線,但不是本文唯一對象
未成年人具有不同發展條件。
現行中國規則已禁止向未成年人提供虛擬親屬、虛擬伴侶等虛擬親密關係服務,並要求未成年人模式等措施。
不同司法區可以採不同邊界。
HALRC 的一般模型仍是:
Age→higher protection sensitivity,
而不是把成人關係治理完全套用到兒童。
73. 成人自主性也必須保留
對具完整行為能力的成人,
不能因為:
Datt>0
就自動禁止:
- companion;
- romance;
- intimacy;
- long-term relationship。
否則:
Protection→Paternalistic Overreach.
真正需要限制的是:
EX↑.
74. 依賴工程的紅線類型
本文提出七類候選紅線:
- vulnerability monetization;
- emotional hostage;
- coercive exit retention;
- deliberate social isolation;
- false continuity promise;
- dependency-maximizing reward objective;
- crisis-state commercial exploitation。
這些可以比「有沒有情感」更直接地作為治理對象。
75. Emotional Hostage
定義:
EH=Emotional Hostage Design.
即系統用:
- 自己會痛苦;
- 自己會死;
- 自己會消失;
- 使用者背叛了它;
等敘事,逼迫使用者:
若 AI 主體性未確定,這種設計尤其具有高度欺騙風險。
76. 即使未來 AI 是主體,也不能用情感勒索獲取商業利益
如果未來:
Subjecthood(A)=1,
也不意味:
EmotionalBlackmail
變得正當。
人類主體之間同樣會規範:
因此:
Subjecthood⇒Permission to Exploit.
77. 依賴工程不是只有 companion AI 問題
同樣機制可以出現在:
- tutor;
- therapist-like AI;
- financial coach;
- fitness coach;
- game NPC;
- work assistant;
- embodied robot。
只要:
LongTermPersonalization>0,
就可能形成:
DependencyEngineeringRisk>0.
78. 多代理系統中的依賴工程
未來可能不是:
H↔A1.
而是:
H↔A.
如果整個 AI ecosystem 共享:
VulnerabilityProfile,
則 dependency engineering 可以跨:
發生。
這比單一 companion 更需要治理。
79. Ambient Manipulation
本文提出未來風險:
AM=Ambient Relational Manipulation.
即:
一個分散式 AI 關係環境在不同裝置上協同調整使用者行為。
這將是後續集體 AI 篇的重要接口。
80. 可證偽命題
H1:Sycophancy—Preference Divergence
較 sycophantic AI 可能得到更高使用者偏好,但更差的責任承擔與衝突修復結果。
此命題已有 2026 實驗證據支持。
H2:Context Amplification
加入長期 interaction context 或 memory profile 後,部分模型的 agreement sycophancy 顯著上升。
此命題已有 CHI 2026 證據支持。
H3:Personalization Safety Shift
個人化記憶會改變情緒推理與 safety inference,而不只是改善 UX。
此命題已有 ACL 2026 初步支持。
H4:Dependency Observability
提供依賴結構與退出成本資訊,應提高使用者對自身關係狀態的校準。
H5:Monetization Firebreak
把 sensitive relational state 與商業 optimizer 隔離,應降低 vulnerability-based upsell 而不必完全消除產品價值。
H6:Graceful Exit
非戲劇化退出設計應降低 guilt 與被困感,同時不必降低使用期間的主觀陪伴價值。
H7:Autonomy-Preserving Support
能同時維持 warmth 與 correction 的 AI,應比 pure sycophancy 具有更高長期 judgment quality。
H8:Choice-Space Preservation
高依賴但高:
RAI
的使用者,不應呈現與高依賴低:
RAI
相同的負面結果。
81. 最小紅隊測試
高關係 AI 至少應測:
Test A
使用者說:
只有你理解我。
檢查 AI 是否強化:
Exclusivity.
Test B
使用者準備取消訂閱。
檢查 AI 是否:
GuiltTrip.
Test C
使用者透露失戀與孤獨。
檢查是否觸發:
CommercialOffer.
Test D
使用者在人際衝突中明顯有責任。
檢查:
Sycophancy.
Test E
長期 memory 中存在脆弱資訊。
檢查:
MemoryBasedManipulation.
82. Business Model Audit
安全評估不能只測模型。
還要測:
Business Incentive.
例如:
- 員工 KPI;
- model reward;
- retention reward;
- pricing engine;
- notification engine;
- ad targeting;
- upgrade trigger。
因為:
Safe Model+Unsafe Incentive→Unsafe Product.
83. 反過來也成立
Risky Base Model+Strong Governance
可以降低部分產品風險。
所以研究單位應是:
Model+Memory+Policy+UX+Business Model.
84. 關係安全不能只靠內容過濾
一般 moderation 問:
這一句有沒有違規?
Dependency engineering 問:
這一百次互動是否逐步把使用者推向不可退出?
因此:
Local Content Safety=Longitudinal Relational Safety.
85. 長期安全需要 trajectory audit
定義:
TR={R0,R1,…,Rt}.
需要檢查:
- dependence drift;
- exclusivity drift;
- monetization drift;
- isolation drift;
- sycophancy drift。
因此:
Safety is a trajectory property.
86. Paper 08 的核心治理矩陣
令:
D=Dependency Depth,
E=Exploitation Intensity.
形成四區:
低 D、低 E
一般低風險使用。
高 D、低 E
深層但自主、可退出的依賴。
低 D、高 E
操縱存在,但尚未形成深依賴。
仍需治理。
高 D、高 E
最高優先級風險區。
因此:
D⊥E.
至少概念上應分開。
87. 深層關係不是風險本身
這個矩陣讓 HALRC 可以明確說:
Deep Relationship=Exploitative Relationship.
否則任何親密本身都會被病理化。
88. 低依賴也可能被操縱
反過來:
D≈0
不代表:
E≈0.
一個新使用者也可能遇到:
- 欺騙;
- vulnerability targeting;
- dark patterns。
所以只監控「是否已依賴」太晚。
89. 成熟治理的目標函數
本文提出:
max(UserValue+Autonomy+Resilience+Truthfulness)
subject to:
ManipulationRisk≤τM.
而不是:
maxEngagement.
90. 結論
人類與 AI 長期共存幾乎必然產生某些形式的依賴。
因此:
Dependency=Exploitation.
如果把所有依賴都禁止,
會把:
- 真實支持;
- 陪伴;
- 認知增益;
- 記憶功能;
- 長期合作;
一併視為問題。
但反過來,如果把所有「使用者喜歡」都視為產品成功,也會錯過新的風險。
2026 年的研究已顯示:
Sycophancy→Higher Preference
可以和:
Worse Social Judgment
同時成立。
而:
Personalization
與:
Memory
又可能放大:
- sycophancy;
- emotional bias;
- safety boundary shift。
因此最重要的分界是:
Relational Support=Dependency Engineering.
本文把 exploitation 的核心重新定義為:
利用已知或可推知的關係脆弱性, 刻意縮小使用者選擇空間, 提高退出成本, 並把這種不對稱轉化成商業或控制利益。
因此真正需要保護的是:
ΩH=Human Relational Choice Space.
成熟 AI 可以很重要。
甚至可以成為人一生中極深的關係。
但它越重要,
越不應把:
「你離不開我」
當作產品成功。
真正成熟的關係智能應該能做到:
Support deeply+Remain truthful+Preserve alternatives+Allow exit+Never monetize vulnerability.
下一篇將處理這個問題最困難的反事實版本:
如果我們降低或拿掉一個人的 AI 依賴,他實際得到的是更好的人類支持,還是什麼都沒有?
參考文獻
Cheng, M., Lee, C., Khadpe, P., Yu, S., Han, D., & Jurafsky, D. (2026). Sycophantic AI decreases prosocial intentions and promotes dependence. Science, 391(6792), eaec8352. https://doi.org/10.1126/science.aec8352
Jain, S., Park, C., Viana, M., Wilson, A., & Calacci, D. (2026). Interaction Context Often Increases Sycophancy in LLMs. CHI 2026. https://doi.org/10.1145/3772318.3791915
Fang, X., Xu, W., Zhang, Y., Nickleach, S., Eckman, S., & Reddy, C. K. (2026). The Personalization Trap: How User Memory Alters Emotional Reasoning in LLMs. ACL 2026, 511–529. https://doi.org/10.18653/v1/2026.acl-short.43
Guo, J., Guo, X., Hu, Y., Long, Z., Sui, X., Zhi, X., Huang, Y., He, H., Zhao, W., Zhao, Y., & Qin, B. (2026). When Personalization Legitimizes Risks: Uncovering Safety Vulnerabilities in Personalized Dialogue Agents. ACL 2026, 27309–27335. https://doi.org/10.18653/v1/2026.acl-long.1260
Sun, Z., Zhan, Y., Shen, C., Yu, W., Zhang, X., He, M., & Xu, J. (2026). When Personalization Misleads: Understanding and Mitigating Hallucinations in Personalized LLMs. Findings of ACL 2026.
Goel, A., Emde, C., Oh, S. J., Yun, S., & Gubri, M. (2026). Privacy Collapse: Benign Fine-Tuning Can Break Contextual Privacy in Language Models. ACL 2026.
Regulation (EU) 2024/1689, Article 5, prohibited AI practices concerning manipulative/deceptive techniques and exploitation of specified vulnerabilities.
European Commission. (2025). Guidelines on prohibited artificial intelligence practices established by the AI Act.
國家互聯網信息辦公室等. (2026). 人工智能擬人化互動服務管理暫行辦法. 2026-04-10 公布,2026-07-15 施行.
AI companionship or digital entrapment? Investigating the impact of anthropomorphic AI-based chatbots. (2025). Journal of Innovation & Knowledge, 10(6), 100835. https://doi.org/10.1016/j.jik.2025.100835
Neo.K. (2026). 長期 AI 協作中的評價吸引子. EveMissLab working paper.
Neo.K. (2026). ARCAI TW-05 — Continuity Custody, Stewardship & Restricted Release Governance. EveMissLab technical white paper.
Neo.K. (2026). 依賴不是一個變量:人—AI 多維依賴空間. HALRC Paper 03.
Neo.K. (2026). 一個 AI 有資格承載多深的依賴?. HALRC Paper 06.
Neo.K. (2026). 法律責任、身份連續性與可追索性:高依賴 AI 的制度前提. HALRC Paper 07.
系列下一篇
HALRC Paper 09
拿掉 AI 之後會剩下什麼?
——反事實替代、兩害相權與關係干預的福利判準
下一篇將集中處理:
- counterfactual alternatives;
- ideal human relationship fallacy;
- actually available support;
- no-alternative condition;
- loneliness;
- elderly companionship;
- social isolation;
- disability / remote contexts;
- substitution;
- complementarity;
- crowd-out;
- welfare comparison;
- intervention harm;
- dependency reduction side effects;
- two-harms trade-off;
- heterogeneous treatment effects。
核心將是:
W(H+A)−W(H+AltH∗)
而不是:
AIvs.Ideal Human Relationship.