# Series A — Algorithmic Observation, Recommendation & Platform Ecology

## Paper A06 — Metric Success, Product Failure

### 指標成功與產品失敗：推薦平台的代理目標錯位、多方效用與長期生態治理

**English Title:** Metric Success, Product Failure: Proxy Objective Misalignment, Multi-Stakeholder Utility, and Long-Term Ecosystem Governance in Recommender Platforms  
**Series:** Algorithmic Observation, Recommendation & Platform Ecology  
**Paper ID:** A06  
**Version:** v0.1  
**Date:** 2026-08-31  
**Status:** Canonical UTF-8 Source  
**Author:** Neo.K / EveMissLab

---

## Abstract

現代推薦平台高度依賴可量化指標，例如 click-through rate、watch time、completion rate、return frequency、advertising revenue、conversion、retention 與 recommendation hit rate。這些指標具有工程可測量性與商業可操作性，因此自然成為模型優化、產品實驗與組織績效的核心。然而，平台真正關心的價值通常比任何單一 metric 更廣：使用者是否得到有價值的資訊與娛樂、是否願意長期回訪、創作者是否存在可持續生產的回報、內容供給是否保持多樣、廣告主是否獲得真實有效注意力，以及平台本身是否維持長期商業與社群資產。

本文延續 Series A 前五篇，提出 Metric–Product Separation framework。核心命題是：

$$
\boxed{
MetricSuccess
\neq
ProductSuccess.
}
$$

本文將推薦平台視為 multi-stakeholder dynamic system，定義使用者效用、創作者效用、廣告主效用、平台短期收益、平台長期價值與內容供給健康度。本文分析 proxy optimization 如何經由 Goodhart-style failure、selection effects、survivorship bias、endogenous telemetry、exposure concentration 與 delayed externalities，使局部 KPI 上升但整體產品價值下降。

本文提出 Local Metric Improvement / Global Utility Degradation（LMIGUD）、Proxy Capture Ratio（PCR）、Delayed Ecosystem Cost（DEC）、Metric-Induced Behavior Shift（MIBS）、Stakeholder Utility Divergence（SUD）、Product Health Gap（PHG）與 Long-Horizon Platform Utility（LHPU）等概念。本文進一步區分 leading metrics、lagging metrics 與 hidden-state metrics，指出 creator exit、content supply concentration、user agency loss 與 advertiser attention quality 常比財務收入更晚或更難顯現。

本文最後提出一個多層治理架構：短期 ranking objective 不直接等同 platform objective；A/B test 不應只看 engagement uplift，而應配套 guardrail metrics、cohort retention、creator viability、long-tail observability、explicit-preference violation、paid-promotion conversion、surveyed satisfaction 與 delayed ecosystem audit。本文並將 Home、Following、Explore、Popular、Search 等觀察 surface 視為不同產品契約，以降低單一 proxy 對全部資訊入口的控制。

Series A 至此完成一個完整閉環：推薦系統決定可觀察世界、推論使用者偏好、由自身曝光污染行為證據、集中平台曝光、改變創作者供給，最後又可能因局部 KPI 成功而錯誤判定系統健康。本文的核心結論是：推薦平台真正需要優化的不是「更多互動」，而是多方、長期、可持續的資訊生態效用。

**Keywords:** recommender systems; Goodhart's law; proxy metrics; multi-stakeholder recommendation; user satisfaction; creator economy; platform governance; engagement; long-term utility; ecosystem health

---

## 1. Introduction

推薦系統工程非常擅長回答：

$$
DidCTRIncrease?
$$

$$
DidWatchTimeIncrease?
$$

$$
DidConversionIncrease?
$$

$$
DidRevenueIncrease?
$$

這些問題重要，而且不能被忽略。

但平台真正需要回答的問題通常是：

$$
\boxed{
DidTheProductBecomeBetter?
}
$$

兩者不是同一問題。

一個推薦改版可能：

$$
CTR\uparrow,
$$

$$
WatchTime\uparrow,
$$

$$
Views\uparrow,
$$

甚至：

$$
Revenue\uparrow.
$$

同時也可能：

$$
UserAgency\downarrow,
$$

$$
LongTailObservability\downarrow,
$$

$$
CreatorEntryViability\downarrow,
$$

$$
InformationDiversity\downarrow.
$$

這種情況並不矛盾。

因為前一組量：

$$
M
$$

是可觀測 proxy metrics，

後一組量：

$$
H
$$

是更廣的 product / ecosystem health state。

若：

$$
M
\not\equiv
H,
$$

則：

$$
\max M
$$

不保證：

$$
\max H.
$$

本文因此提出 Series A 的收束命題：

$$
\boxed{
MetricSuccess
\neq
ProductSuccess.
}
$$

---

## 2. Series A Recap

Series A 前五篇建立：

### A01 — Observation

$$
\mathcal{C}_t
\xrightarrow{
\mathcal{O}_{u,t}^{(s)}
}
L_{u,t}^{(s)}.
$$

推薦是 visibility allocation 與 observation policy。

### A02 — Preference Semantics

$$
Awareness
\neq
Interest
\neq
Intent
\neq
Feasibility.
$$

### A03 — Endogenous Preference Contamination

$$
Recommendation
\rightarrow
Exposure
\rightarrow
Telemetry
\rightarrow
PreferenceEstimate.
$$

平台可能用自己產生的行為資料證明自己的推論。

### A04 — Platform-Induced Exposure Bubble

$$
TopicDiversity
\neq
CreatorDiversity
\neq
ExposureDiversity.
$$

### A05 — Creator Ecology

$$
Exposure
\rightarrow
Evidence
\rightarrow
Audience
\rightarrow
CreatorReturn
\rightarrow
FutureSupply.
$$

A06 問的是：

> 如果以上各層正在退化，但平台核心 KPI 仍然增加，組織是否可能認為改版成功？

答案是：

$$
\boxed{
Yes.
}
$$

而這正是最難偵測的 failure mode。

---

## 3. Related Work

### 3.1 Accuracy is not enough

Recommender-system evaluation 很早就指出 predictive accuracy 並不足以衡量推薦品質。McNee、Riedl 與 Konstan 的經典論文 “Being Accurate is Not Enough” 強調 novelty、serendipity、diversity 等 beyond-accuracy qualities 對實際推薦價值的重要性 [2]。

因此：

$$
PredictionAccuracy
\neq
RecommendationUtility.
$$

### 3.2 User experience

Knijnenburg 等人提出 recommender systems user-experience framework，區分客觀系統面、使用者主觀感受、互動與個人／情境特徵 [3]。

這表示即使推薦系統 offline metrics 很好：

$$
OfflineScore\uparrow
$$

也不能直接推出：

$$
UserExperience\uparrow.
$$

### 3.3 Multi-stakeholder recommendation

Burke、Abdollahpouri、Mobasher 等人指出，推薦系統往往存在多個利益相關者，包括 users、providers、platforms 等，推薦價值不應只以單一 consumer utility 衡量 [4][5]。

因此平台 objective 更接近：

$$
U
=
f(
U_{consumer},
U_{provider},
U_{platform},
\ldots
).
$$

### 3.4 Provider fairness and ecosystem effects

Two-sided fairness 與 provider fairness research 進一步指出，推薦排序決定商品或內容提供者獲得的 exposure，而只最大化 consumer-side metric 可能導致不平衡的 provider opportunities [6][7]。

### 3.5 Feedback loops

Series A 已引用的大量研究顯示，推薦輸出會影響後續資料、熱門度與使用者行為 [8][9]。

因此：

$$
Metric_t
$$

不是被動測量世界。

它可能部分來自：

$$
Policy_t
$$

本身。

### 3.6 Goodhart-style proxy failure

Goodhart-style reasoning 可概括為：

> 當某個 measure 被強烈用作 target 時，它與真正目標之間原本穩定的關係可能失效。

Manheim 與 Garrabrant 將 Goodhart effects 分類為 regressional、extremal、causal 與 adversarial forms [10]。

推薦平台特別容易出現：

$$
CausalGoodhart
$$

因為平台直接改變：

$$
Exposure,
Behavior,
Telemetry.
$$

---

## 4. Metric–Product Separation

令：

$$
M_t
=
(
CTR_t,
WatchTime_t,
Revenue_t,
Retention_t,
Conversion_t
)
$$

為 observable metrics。

令：

$$
H_t
=
(
UserUtility_t,
CreatorHealth_t,
SupplyDiversity_t,
Agency_t,
AdvertiserValue_t,
LongTermPlatformValue_t
)
$$

為 product-health state。

Metric model：

$$
M_t
=
g(
H_t,
Policy_t,
UI_t,
Measurement_t,
ExternalState_t
).
$$

注意：

$$
M_t
$$

不是：

$$
H_t
$$

的直接同義詞。

因此：

$$
\boxed{
M_t
\text{ is an observation of the product, not the product itself.}
}
$$

這與 A01 的 observation distinction 在產品治理層重新出現。

---

## 5. Proxy Objective

真實平台目標：

$$
G_t.
$$

但 $G_t$ 通常不可直接即時測量。

因此平台使用 proxy：

$$
M_t.
$$

訓練或產品決策變成：

$$
\max_\pi
E[
M_t
\mid
\pi
].
$$

但真正希望：

$$
\max_\pi
E[
G_t
\mid
\pi
].
$$

只有在：

$$
Corr(M,G)
$$

在 intervention 後仍穩定時，

前者才可靠代表後者。

Goodhart failure 發生於：

$$
Corr(
M,G
\mid
do(\pi)
)
\downarrow.
$$

---

## 6. Causal Metric Inflation

A03 已指出：

$$
Recommendation
\rightarrow
Exposure
\rightarrow
Telemetry.
$$

因此平台可以透過 UI 或 policy 直接提升 metric。

例如：

$$
Autoplay\uparrow
\Rightarrow
WatchEvents\uparrow.
$$

$$
RepeatExposure\uparrow
\Rightarrow
Impressions\uparrow.
$$

$$
HeadContentShare\uparrow
\Rightarrow
PredictedCTRAccuracy\uparrow.
$$

這些數字變化未必代表：

$$
UserPreferenceAlignment\uparrow.
$$

本文稱：

$$
\boxed{
MetricInflation_{causal}.
}
$$

---

## 7. Local Metric Improvement / Global Utility Degradation

本文定義：

$$
\boxed{
LMIGUD.
}
$$

若存在某 policy change：

$$
\pi_0
\rightarrow
\pi_1
$$

使：

$$
M(\pi_1)>M(\pi_0)
$$

但：

$$
U^{global}(\pi_1)
<
U^{global}(\pi_0),
$$

則發生：

$$
LMIGUD=1.
$$

其中：

$$
U^{global}
$$

可以包含多 stakeholder 與長期效用。

這是：

$$
\boxed{
MetricSuccess
\land
ProductFailure.
}
$$

的形式化定義。

---

## 8. Multi-Stakeholder Utility

令 stakeholders：

$$
\mathcal{S}
=
\{
User,
Creator,
Advertiser,
Platform,
Society
\}.
$$

總效用：

$$
U^{MS}_t
=
\sum_{s\in\mathcal{S}}
w_s
U_s(t).
$$

其中：

$$
w_s
$$

不是自然常數，而是 platform governance choice。

例如：

$$
U_{user}
=
f(
Relevance,
Satisfaction,
Agency,
TimeValue,
InformationGain
).
$$

$$
U_{creator}
=
f(
Exposure,
AudienceGrowth,
Revenue,
Predictability,
Viability
).
$$

$$
U_{advertiser}
=
f(
QualifiedAttention,
Conversion,
BrandLift,
Incrementality
).
$$

$$
U_{platform}
=
f(
Revenue,
Retention,
Risk,
FutureSupply,
Trust
).
$$

---

## 9. Platform Objective Is Not Ranking Objective

Ranking model 可能優化：

$$
J_{rank}
=
\alpha CTR
+
\beta WatchTime
+
\gamma Conversion.
$$

但 platform objective：

$$
J_{platform}
$$

應該更廣。

因此：

$$
\boxed{
J_{rank}
\neq
J_{platform}.
}
$$

合理架構是：

$$
J_{rank}
\subset
J_{platform}
$$

並且：

$$
J_{platform}
$$

對：

$$
J_{rank}
$$

施加 constraints / guardrails。

---

## 10. Proxy Capture Ratio

本文提出 Proxy Capture Ratio：

$$
PCR
=
\frac{
\Delta M
}{
\Delta U^{target}+\epsilon
}.
$$

如果：

$$
\Delta M\gg0
$$

但：

$$
\Delta U^{target}\approx0,
$$

則：

$$
PCR\gg1.
$$

代表 policy 很有效地提升 metric，但沒有等比例提升真正目標。

若：

$$
\Delta U^{target}<0,
$$

則 proxy capture 更嚴重。

---

## 11. Engagement Is Not Satisfaction

使用者觀看很久可能代表：

- 真正喜歡；
- 任務需要；
- autoplay；
- sunk-cost；
- search friction；
- interface trapping；
- 情緒性 consumption；
- 找不到替代內容。

因此：

$$
WatchTime
\neq
Satisfaction.
$$

更精確：

$$
WatchTime
=
f(
Satisfaction,
Friction,
Habit,
Autoplay,
Availability,
Intent,
ContentLength
).
$$

因此：

$$
\max WatchTime
$$

不能自然等價：

$$
\max Satisfaction.
$$

---

## 12. Retention Is Not Loyalty

同樣：

$$
Retention
$$

可能來自：

$$
HighUtility
$$

但也可能來自：

$$
HighSwitchingCost,
NetworkEffects,
ContentLockIn,
LackOfAlternatives.
$$

因此：

$$
Retention\uparrow
$$

不能單獨證明：

$$
Trust\uparrow.
$$

真正要觀察：

$$
VoluntaryPreference
$$

與：

$$
Dependence.
$$

---

## 13. Views Are Not Qualified Attention

廣告／創作者經濟常使用：

$$
Views,
Impressions,
WatchTime
$$

代表 attention。

但真正具有商業價值的是：

$$
QualifiedAttention.
$$

定義：

$$
QA
=
ActiveAttention
\times
AudienceFit
\times
Intentionality.
$$

因此：

$$
1,000,000
$$

個 autoplay-heavy views，

可能小於：

$$
100,000
$$

個 high-intent views 的 advertiser value。

---

## 14. Advertising Metric Dilution

如果：

$$
Views\uparrow
$$

主要來自：

$$
PassiveExposure\uparrow,
$$

則：

$$
CPV
$$

可能表面改善，

但：

$$
ConversionPerQualifiedView
$$

可能下降。

本文定義：

$$
AMD
=
1-
\frac{
QualifiedAttentionGrowth
}{
RawViewGrowth+\epsilon
}.
$$

即 Advertising Metric Dilution。

若：

$$
AMD\uparrow,
$$

raw traffic 與真正商業 attention 的關係正在變弱。

---

## 15. Short-Term Revenue versus Long-Term Asset

平台短期收入：

$$
R_t.
$$

平台長期資產：

$$
A_t^{platform}
=
(
UserTrust,
CreatorSupply,
ContentGraph,
Brand,
AdvertiserConfidence,
SocialRelations
).
$$

長期價值：

$$
V_t
=
R_t
+
\lambda
A_t^{platform}.
$$

若 policy：

$$
\Delta R_t>0
$$

但：

$$
\Delta A_t^{platform}<0,
$$

則短期財報可能改善，

但：

$$
V_{t+T}
$$

下降。

---

## 16. Delayed Ecosystem Cost

本文定義 Delayed Ecosystem Cost：

$$
DEC(\pi)
=
\sum_{\tau=1}^{T}
\gamma^\tau
[
H_{baseline}(t+\tau)
-
H_{\pi}(t+\tau)
]_+.
$$

其中：

$$
[\cdot]_+
$$

取 positive loss。

典型 DEC 包括：

- creator exit；
- newcomer decline；
- content diversity loss；
- user habit weakening；
- advertiser ROI decline；
- trust erosion。

這些通常不會在：

$$
Day1
$$

A/B test 中完整出現。

---

## 17. Leading, Lagging, and Hidden Metrics

### 17.1 Leading metrics

快速變化：

$$
CTR,
SessionLength,
WatchEvents.
$$

### 17.2 Lagging metrics

較慢顯現：

$$
CreatorExit,
CohortRetention,
AdvertiserRenewal,
OrganicEntry.
$$

### 17.3 Hidden-state metrics

難以直接測量：

$$
Trust,
Agency,
InformationUtility,
OpportunityCost,
CreatorDiscouragement.
$$

平台如果只優化：

$$
LeadingMetrics,
$$

容易忽略：

$$
LaggingLoss.
$$

---

## 18. Metric-Induced Behavior Shift

當 creator 知道：

$$
Metric_x
$$

決定 exposure，

creator 會適應：

$$
Strategy_k
\rightarrow
Optimize(Metric_x).
$$

本文定義：

$$
MIBS
=
\frac{
\partial CreatorBehavior
}{
\partial MetricIncentive
}.
$$

例如：

$$
CTR
$$

高度重要時，

可能增加：

$$
ThumbnailOptimization,
TitleOptimization,
TopicConvergence.
$$

這不必然是壞事。

但：

$$
MIBS
$$

過強時：

$$
Content
$$

開始服務 metric，而不是 audience value。

---

## 19. Platform Goodhart Loop

平台 Goodhart loop：

$$
MetricChosen
$$

$$
\Downarrow
$$

$$
RankingOptimizesMetric
$$

$$
\Downarrow
$$

$$
UIAndCreatorsAdapt
$$

$$
\Downarrow
$$

$$
MetricDistributionChanges
$$

$$
\Downarrow
$$

$$
MetricBecomesLessInformativeAboutGoal.
$$

形式：

$$
\boxed{
Optimize(M)
\rightarrow
ChangeDataGeneratingProcess
\rightarrow
Corr(M,G)\downarrow.
}
$$

這是推薦平台最重要的 proxy risk。

---

## 20. Stakeholder Utility Divergence

本文定義：

$$
SUD
=
Var(
\Delta U_s
:
s\in\mathcal{S}
).
$$

若某改版：

$$
U_{platform}^{short}\uparrow
$$

但：

$$
U_{creator}\downarrow,
$$

$$
U_{user}\downarrow,
$$

則：

$$
SUD\uparrow.
$$

SUD 本身不代表 policy 必然錯。

但高：

$$
SUD
$$

表示平台必須做顯式 governance trade-off，而不能稱為「全面改善」。

---

## 21. Product Health Gap

定義：

$$
PHG
=
NormalizedMetricPerformance
-
NormalizedEcosystemHealth.
$$

如果：

$$
PHG\gg0,
$$

表示 dashboard 看起來很健康，

但 ecosystem metrics 沒有同步改善。

這就是：

$$
\boxed{
DashboardRealityGap.
}
$$

---

## 22. Metric Portfolio

單一 metric 容易 Goodhart。

因此平台應使用：

$$
\mathcal{M}
=
\{
M_1,\ldots,M_n
\}.
$$

例如：

$$
M_{engagement},
$$

$$
M_{satisfaction},
$$

$$
M_{agency},
$$

$$
M_{diversity},
$$

$$
M_{creator},
$$

$$
M_{advertiser},
$$

$$
M_{longterm}.
$$

重要的是：

$$
MetricPortfolio
$$

也不能只變成更多 KPI。

必須有：

$$
\boxed{
ExplicitTradeoffPolicy.
}
$$

---

## 23. Guardrail Metrics

一個 ranking experiment 可以最大化：

$$
PrimaryMetric.
$$

但需要 guardrails：

$$
G=
\{
G_1,\ldots,G_m
\}.
$$

例如：

$$
CTR\uparrow
$$

只有在：

$$
ExplicitPreferenceViolation\leq\theta_1,
$$

$$
CreatorExposureGini\leq\theta_2,
$$

$$
LongTailObservability\geq\theta_3,
$$

$$
UserSatisfaction\geq\theta_4
$$

時才接受。

因此：

$$
\boxed{
Uplift
\text{ without guardrails is not sufficient evidence of improvement.}
}
$$

---

## 24. Hard Constraints versus Soft Objectives

不是所有價值都適合加權平均。

例如：

$$
J
=
CTR
-
\lambda PrivacyViolation
$$

可能暗示：

$$
HighCTR
$$

可以補償 privacy violation。

但某些條件應是：

$$
PrivacyViolation=0.
$$

同理：

$$
ExplicitBlockViolation=0
$$

應更接近 hard constraint。

因此推薦治理應區分：

$$
SoftObjective
$$

與：

$$
HardConstraint.
$$

---

## 25. Long-Horizon Platform Utility

本文提出：

$$
\boxed{
LHPU
=
\sum_{t=0}^{T}
\gamma^t
[
w_uU_{user,t}
+
w_cU_{creator,t}
+
w_aU_{advertiser,t}
+
w_pU_{platform,t}
].
}
$$

其中：

$$
0<\gamma\leq1.
$$

若：

$$
\gamma\rightarrow0,
$$

系統近似短期 extraction。

若：

$$
\gamma
$$

較高，

future supply、trust 與 retention 會更重要。

---

## 26. Dynamic Platform State

平台 state：

$$
S_t
=
(
Users_t,
Creators_t,
Content_t,
Relations_t,
Advertisers_t,
Trust_t
).
$$

policy：

$$
\pi_t.
$$

狀態轉移：

$$
S_{t+1}
=
F(
S_t,\pi_t,External_t
).
$$

因此推薦系統不是 static ranking problem。

它是：

$$
\boxed{
ControlProblemOverPlatformState.
}
$$

---

## 27. Myopic Optimization

若平台只解：

$$
\pi_t^*
=
\arg\max_\pi
R_t(\pi),
$$

可能得到：

$$
MyopicPolicy.
$$

更合理：

$$
\pi^*
=
\arg\max_\pi
E[
\sum_{\tau=t}^{t+T}
\gamma^{\tau-t}
U(S_\tau)
].
$$

這也是 recommender systems 從 supervised ranking 走向 sequential decision-making 的重要理由之一。

---

## 28. User Time as a Scarce Resource

平台常將：

$$
WatchTime
$$

視為收益。

但對 user：

$$
Time
$$

是成本。

因此同一分鐘：

$$
+1
$$

對 platform engagement，

可能是：

$$
-1
$$

對 user opportunity budget。

真正 user net utility：

$$
NU_u
=
ValueConsumed
-
TimeCost
-
AttentionCost
-
OpportunityCost.
$$

如果：

$$
WatchTime\uparrow
$$

但：

$$
NU_u\downarrow,
$$

則 engagement uplift 不等於 user welfare uplift。

---

## 29. Information Platforms and Freshness

對新聞、AI、金融、天氣等高時效資訊：

$$
Value(v,t)
=
V_0e^{-\lambda\Delta t}.
$$

若 recommender 偏好：

$$
PopularOldContent
$$

而壓制：

$$
FreshNicheContent,
$$

可能：

$$
WatchTime
$$

保持高，

但：

$$
InformationUtility\downarrow.
$$

因此 domain-specific utility 必須納入：

$$
Freshness.
$$

---

## 30. Surface-Level Product Contracts

A01 已區分：

$$
Home,
Following,
Explore,
Popular,
Search.
$$

A06 進一步認為：

每個 surface 是：

$$
\boxed{
ProductContract.
}
$$

例如：

$$
Following
$$

承諾較高 explicit relation fidelity。

$$
Explore
$$

承諾較高 novelty。

$$
Popular
$$

承諾 global popularity。

如果全部 surface 最後都被：

$$
EngagementMetric
$$

統一支配，

則：

$$
SurfaceDifferentiation\rightarrow0.
$$

這是一種 product-contract collapse。

---

## 31. Multi-Surface Objective Separation

令：

$$
J_H
$$

為 Home objective，

$$
J_F
$$

為 Following objective，

$$
J_E
$$

為 Explore objective，

$$
J_P
$$

為 Popular objective，

$$
J_S
$$

為 Search objective。

要求：

$$
J_H
\neq
J_F
\neq
J_E
\neq
J_P
\neq
J_S.
$$

不是數學上必須完全不同，

而是 product intent 不應被單一：

$$
J_{engagement}
$$

完全吞併。

---

## 32. A/B Testing Failure

標準 A/B test：

$$
Treatment
\rightarrow
\Delta Metric.
$$

如果 window：

$$
T_{AB}
$$

很短，

但 ecosystem effect delay：

$$
T_{eco}\gg T_{AB},
$$

則：

$$
A/B
$$

只能觀察：

$$
ShortTermEffect.
$$

因此：

$$
\boxed{
NoShortTermHarm
\not\Rightarrow
NoLongTermHarm.
}
$$

---

## 33. Delayed Holdout

平台可以保留：

$$
LongTermHoldoutCohort.
$$

對：

$$
30,
60,
90,
180
$$

天觀察：

$$
Retention,
Satisfaction,
CreatorDiversity,
CreatorExit,
AdValue.
$$

這提供：

$$
DEC
$$

的估計。

---

## 34. Cohort Analysis

aggregate metrics 容易掩蓋：

$$
UserGroupDifferences.
$$

例如：

$$
MainstreamUsers\uparrow
$$

但：

$$
NicheUsers\downarrow.
$$

總體：

$$
WatchTime\uparrow.
$$

因此需要：

$$
\Delta U_{mainstream},
$$

$$
\Delta U_{niche},
$$

$$
\Delta U_{highIntent},
$$

$$
\Delta U_{new}.
$$

creator 同理。

---

## 35. Survivorship Bias

若：

$$
CreatorsExit
$$

之後不再出現在 active dataset，

平台可能觀察：

$$
AverageCreatorPerformance\uparrow.
$$

這甚至可能只是：

$$
LowPerformanceCreatorsRemovedFromDenominator.
$$

因此：

$$
\boxed{
AveragePerformance\uparrow
\not\Rightarrow
CreatorEcosystemImproved.
}
$$

---

## 36. Metric Decomposition

任何 metric uplift 應拆解來源。

例如：

$$
\Delta WatchTime
=
\Delta WT_{bettermatch}
+
\Delta WT_{autoplay}
+
\Delta WT_{contentlength}
+
\Delta WT_{repeat}
+
\Delta WT_{friction}.
$$

如果只看 total：

$$
\Delta WatchTime>0,
$$

會失去 causal interpretation。

---

## 37. Product Success Criterion

本文提出最低 product success 條件：

policy $\pi_1$ 相對 $\pi_0$，若要稱為 product improvement，至少需要：

$$
\Delta U^{MS}\geq0,
$$

以及：

$$
HardConstraintsSatisfied=1,
$$

並且：

$$
DEC\leq\theta.
$$

不要求所有 stakeholder：

$$
\Delta U_s>0.
$$

但 trade-off 必須被明確知道。

---

## 38. Platform Health Dashboard

合理 dashboard 至少包含六層。

### Layer 1 — Engagement

$$
CTR,
WatchTime,
ReturnRate.
$$

### Layer 2 — Satisfaction

$$
Survey,
NotInterested,
Complaint,
VoluntaryReturn.
$$

### Layer 3 — Agency

$$
ExplicitPreferenceViolation,
SearchCost,
FollowingVisibility.
$$

### Layer 4 — Exposure

$$
Gini,
HHI,
LongTailObservability,
ColdStartObservability.
$$

### Layer 5 — Creator Ecosystem

$$
CSTR,
CVR,
ExitRate,
TTSA,
SupplyHHI.
$$

### Layer 6 — Commercial Quality

$$
QualifiedAttention,
PaidROI,
AdvertiserRenewal,
Incrementality.
$$

---

## 39. Product Health Gap Monitoring

每期計算：

$$
PHG_t
=
Score(M_t)
-
Score(H_t).
$$

若：

$$
M_t\uparrow
$$

但：

$$
H_t\downarrow,
$$

則：

$$
PHG_t\uparrow.
$$

應觸發：

$$
\boxed{
MetricDivergenceReview.
}
$$

---

## 40. Metric Governance

metric governance 不應只由 model team 決定。

需要：

- recommender engineers；
- product；
- creator ecosystem；
- advertising；
- trust and safety；
- research；
- user research。

因為：

$$
MetricChoice
$$

本身就是：

$$
PlatformPolicy.
$$

---

## 41. Recommendation Governance as Constitutional Layer

可將推薦架構分為：

### Layer 1 — Prediction

預測：

$$
P(click),
P(watch),
P(save).
$$

### Layer 2 — Ranking

生成：

$$
Score.
$$

### Layer 3 — Observation Policy

決定：

$$
Home,
Explore,
Follow
$$

如何分配 visibility。

### Layer 4 — Governance

決定：

$$
WhichMetricsMatter,
WhichConstraintsCannotBeViolated,
WhichStakeholdersCount.
$$

A06 的核心是：

$$
\boxed{
RankingCannotDefineItsOwnSuccessCriteria.
}
$$

---

## 42. A Unified Series-A Dynamic Model

綜合 A01–A06：

$$
\mathcal{C}_t
\xrightarrow{
ObservationPolicy
}
Exposure_t
$$

$$
\Downarrow
$$

$$
Telemetry_t
\xrightarrow{
PreferenceInference
}
UserModel_{t+1}
$$

$$
\Downarrow
$$

$$
ExposureDistribution_{t+1}
$$

$$
\Downarrow
$$

$$
CreatorReturn_{t+1}
$$

$$
\Downarrow
$$

$$
CreatorSupply_{t+2}
$$

$$
\Downarrow
$$

$$
PlatformMetrics_{t+2}.
$$

然後組織使用：

$$
PlatformMetrics
$$

決定下一輪：

$$
ObservationPolicy.
$$

因此形成：

$$
\boxed{
Policy
\rightarrow
Observation
\rightarrow
Behavior
\rightarrow
Supply
\rightarrow
Metrics
\rightarrow
Policy.
}
$$

這是一個完整 platform control loop。

---

## 43. The Metric-Success Trap

Metric-Success Trap：

1. 更高 popularity prior；
2. 高流量內容預測更穩定；
3. CTR / watch time 上升；
4. dashboard 判定成功；
5. policy 繼續強化；
6. long-tail / creator viability 下降；
7. ecosystem cost 延遲出現；
8. 到真正 business metric 下降時，供給結構已改變。

形式：

$$
\boxed{
ShortTermMetricGain
\rightarrow
PolicyLockIn
\rightarrow
DelayedStructuralLoss.
}
$$

---

## 44. Reversibility

平台 policy 應考慮：

$$
Reversibility.
$$

UI weighting 可以很快修改。

但 creator exit：

$$
Exit_k
$$

可能不可逆。

community relation loss 也可能：

$$
RecoveryCost\gg PolicyChangeCost.
$$

因此：

$$
\boxed{
IrreversibleEcosystemEffects
}
$$

需要更高 experiment threshold。

---

## 45. Precaution for High-Leverage Metrics

若某 metric：

$$
M
$$

同時影響：

- ranking；
- employee goals；
- creator strategy；
- ad pricing；
- product experiments；

則其：

$$
SystemLeverage
$$

非常高。

高 leverage metric 應要求：

$$
HigherValidation.
$$

---

## 46. Practical Experiment Acceptance Rule

本文提出：

接受 treatment $\pi_1$ 若：

$$
PrimaryMetricUplift>0
$$

且：

$$
GuardrailViolations=0
$$

且：

$$
ShortTermSatisfaction\geq baseline
$$

且：

$$
ExposureHealth\geq threshold.
$$

之後：

$$
LongTermHoldout
$$

驗證：

$$
DEC.
$$

---

## 47. Case-Study Boundary

本 Series 最初由影音平台推薦體驗問題觸發，但本文不主張任何特定平台已發生全部 failure chain。

例如觀察到：

$$
HighPopularityContentShare\uparrow
$$

只足以建立：

$$
Hypothesis.
$$

若要推出：

$$
CreatorExit
$$

或：

$$
AdvertiserValueDecline,
$$

需要後續 longitudinal evidence。

因此：

$$
\boxed{
Framework
\neq
Verdict.
}
$$

Series A 的價值是建立：

$$
WhatToMeasure,
WhatToDistinguish,
WhatCausalChainsToTest.
$$

---

## 48. Design Recommendations

本文建議平台：

1. 將 ranking metrics 與 platform health metrics 分層；
2. 不把 watch history 視為同質 preference evidence；
3. 保留 explicit preference semantics；
4. 分離 Popular 與 Explore；
5. 保留 long-tail / cold-start testability；
6. 監測 creator cohort survival；
7. 評估 paid promotion 是否轉化為 organic viability；
8. 對 autoplay 與 passive exposure 做 provenance；
9. 使用 multi-stakeholder utility；
10. 建立 long-term holdout 與 delayed ecosystem audit；
11. 對高不可逆性 policy 使用更高 deployment threshold；
12. 允許 users 選擇 observation policy。

---

## 49. Limitations

第一，多 stakeholder utility 的權重：

$$
w_s
$$

具有治理與價值判斷，不存在唯一客觀最優解。

第二，部分 hidden-state metrics，例如 trust、agency 與 information utility，測量成本高且可能有 survey bias。

第三，長期 holdout 會降低短期 experiment velocity，平台需要在學習速度與長期識別能力之間取捨。

第四，Goodhart effects 並不表示所有 proxy 都無效。工程系統仍必須使用 metrics；問題是需要理解其邊界與資料生成機制。

第五，Series A 建立的是 general framework，不提供對特定平台演算法內部權重的證明。

---

## 50. Conclusion

Series A 從一個看似簡單的問題開始：

> 為什麼推薦頁一直給我不想看的東西？

最後得到的不是一個單純 accuracy 問題，而是一個完整的平台控制系統。

第一層：

$$
\boxed{
Recommendation
=
ObservationPolicy.
}
$$

第二層：

$$
\boxed{
Awareness
\neq
Interest
\neq
Intent.
}
$$

第三層：

$$
\boxed{
PlatformInducedBehavior
\neq
UserPreferenceEvidence.
}
$$

第四層：

$$
\boxed{
TopicDiversity
\neq
ExposureDiversity.
}
$$

第五層：

$$
\boxed{
NoExposure
\neq
LowQuality.
}
$$

第六層：

$$
\boxed{
MetricSuccess
\neq
ProductSuccess.
}
$$

完整 Series A dynamics：

$$
\boxed{
Observation
\rightarrow
PreferenceInterpretation
\rightarrow
EndogenousContamination
\rightarrow
ExposureConcentration
\rightarrow
CreatorSupplyResponse
\rightarrow
MetricGovernance.
}
$$

最終平台應優化的不是：

$$
\max CTR
$$

也不是：

$$
\max WatchTime.
$$

而是：

$$
\boxed{
\max
LongTermMultiStakeholderUtility
}
$$

subject to：

$$
\boxed{
UserAgency,
Safety,
CreatorTestability,
InformationQuality,
CommercialIntegrity.
}
$$

推薦系統不是一個單純替內容排序的函數。

它是一個：

$$
\boxed{
DynamicVisibilityAllocationSystem.
}
$$

而 visibility allocation 會改變：

$$
Behavior,
PreferenceData,
Popularity,
CreatorStrategy,
ContentSupply,
Revenue,
PlatformFuture.
$$

因此，推薦平台真正的工程挑戰不是：

> 如何讓模型更懂得讓使用者點擊？

而是：

$$
\boxed{
HowCanAPlatformAllocateObservationWithoutDestroyingTheEcologyThatMakesObservationValuable?
}
$$

這是 Series A 的最終命題。

---

## References

[0] Neo.K / EveMissLab. “Recommendation as an Observation Operator.” Series A, Paper A01, v0.1, 2026.

[1] Neo.K / EveMissLab. “Recommendation, Cold Start, and Creator Ecological Collapse.” Series A, Paper A05, v0.1, 2026.

[2] McNee, S. M., Riedl, J., & Konstan, J. A. “Being Accurate is Not Enough: How Accuracy Metrics Have Hurt Recommender Systems.” CHI Extended Abstracts, 2006.

[3] Knijnenburg, B. P., Willemsen, M. C., Gantner, Z., Soncu, H., & Newell, C. “Explaining the User Experience of Recommender Systems.” User Modeling and User-Adapted Interaction, 22, 441–504, 2012. DOI: 10.1007/s11257-011-9118-4.

[4] Burke, R., Abdollahpouri, H., Mobasher, B., & Gupta, T. “Towards Multi-Stakeholder Utility Evaluation of Recommender Systems.” UMAP Extended Proceedings, 2016.

[5] Abdollahpouri, H., Burke, R., & Mobasher, B. “Recommender Systems as Multistakeholder Environments.” UMAP, 2017.

[6] Patro, G. K., Biswas, A., Ganguly, N., Gummadi, K. P., & Chakraborty, A. “FairRec: Two-Sided Fairness for Personalized Recommendations in Two-Sided Platforms.” Proceedings of The Web Conference 2020, 2020. arXiv:2002.10764.

[7] Wu, Y., Cao, J., Xu, G., & Tan, Y. “TFROM: A Two-sided Fairness-Aware Recommendation Model for Both Customers and Providers.” SIGIR 2021, pp. 1013–1022. DOI: 10.1145/3404835.3462882.

[8] Chaney, A. J. B., Stewart, B. M., & Engelhardt, B. E. “How Algorithmic Confounding in Recommendation Systems Increases Homogeneity and Decreases Utility.” RecSys 2018, pp. 224–232. DOI: 10.1145/3240323.3240370.

[9] Mansoury, M., Abdollahpouri, H., Pechenizkiy, M., Mobasher, B., & Burke, R. “Feedback Loop and Bias Amplification in Recommender Systems.” CIKM 2020, pp. 2145–2148. DOI: 10.1145/3340531.3412152.

[10] Manheim, D., & Garrabrant, S. “Categorizing Variants of Goodhart's Law.” arXiv:1803.04585, 2018.

[11] Jannach, D., & Jugovac, M. “Measuring the Business Value of Recommender Systems.” ACM Transactions on Management Information Systems, 10(4), 2019.

[12] Adomavicius, G., Bockstedt, J. C., Curley, S. P., & Zhang, J. “Recommender Systems, Ground Truth, and Preference Pollution.” AI Magazine, 43(2), 177–189, 2022. DOI: 10.1002/aaai.12055.

[13] Sun, Y., & Sun, B. “From Exposure to Followers: A Stock-and-Flow Closed-Loop Framework of Creator Dynamics.” Information Processing & Management, 63(5), 104677, 2026. DOI: 10.1016/j.ipm.2026.104677.

[14] Zhao, W., Feng, H., Feng, N., & Li, M. “Does Paying for Visibility Pay Off? The Impact of Sponsored Recommendations on UGC Platforms.” Decision Support Systems, 206, 114668, 2026. DOI: 10.1016/j.dss.2026.114668.

---

## Series A Closure

Series A 正篇完成：

- A01 — Recommendation as an Observation Operator
- A02 — Explicit Preference versus Inferred Preference
- A03 — Passive Exposure and Endogenous Preference Contamination
- A04 — The Platform-Induced Exposure Bubble
- A05 — Recommendation, Cold Start, and Creator Ecological Collapse
- A06 — Metric Success, Product Failure

後續工程化文件：

- TW-A — User-Controllable Recommendation & Observation Architecture