← Archive
lm-004804 · 2026-10

APR 治理的自適應渲染：感知預算、表示深度與動態重算

zh-Hant · md Raw source ↗ Metadata ↗
下載 MD 檔 ⬇
title
APR 治理的自適應渲染：感知預算、表示深度與動態重算
english_title
APR-Governed Adaptive Rendering: Perceptual Budgets, Representation Depth, and Dynamic Re-rendering
series
Observer-Sovereign Rendering（OSR）
paper_id
OSR-04
author
Neo.K
ai_collaboration
GPT-5.6 Sol
institution
EveMissLab／一言諾科技有限公司
version
v0.1
date
2026-09-18
language
zh-TW
document_type
理論論文／控制架構／adaptive rendering／agentic perception
status
初版完成

APR 治理的自適應渲染

感知預算、表示深度與動態重算

APR-Governed Adaptive Rendering

Perceptual Budgets, Representation Depth, and Dynamic Re-rendering

論文編號： OSR-04
系列： Observer-Sovereign Rendering（OSR）／觀察者主權渲染
作者： Neo.K
AI 協作： GPT-5.6 Sol
機構： EveMissLab／一言諾科技有限公司
版本： v0.1
日期： 2026 年 9 月 18 日

摘要

OSR-01 定義觀察者、目的與 Manifestation Obligations；OSR-02 提出 Observation Probe、Perceptual Rendering Compiler（PRC）與 OSR-IR；OSR-03 則建立 Heterogeneous Rendering Field（HRF），使 Raster、Ray、Path、Reuse、Local Neural、Cloud Neural 與 Semantic realization 可以在同一世界、同一幀與同一物件不同層級共同存在。本篇處理 OSR 系列第一個真正的閉環控制問題：

異質渲染場什麼時候應該改變？哪裡應該重新計算？要算多深？何時可以完全不重算？

本文將 Adaptive Perceptual Reading / Agentic Perception Runtime（APR）正式接入 OSR，提出 APR-Governed Adaptive Rendering（AGAR）。APR 不被降格為單純的「動態畫質控制器」，而作為 HRF 的治理層：根據 Persistent World State、顯著差分、不確定性、風險、目標、證據新鮮度、硬體負載、網路狀態與多維資源預算，決定下一單位計算資源應投入何處。

本文定義：

StOSR=(Wt,Δtsig,Ut,Rt,Gt,Ft,Ht,Bt,Kt,Pt−1)\boxed{ S_t^{OSR} = ( W_t, \Delta_t^{sig}, U_t, R_t, G_t, F_t, H_t, B_t, K_t, P_{t-1} ) }

作為自適應渲染控制狀態。其中 WtW_t 為 persistent world state， Δtsig\Delta_t^{sig} 為有意義的世界／畫面差分， UtU_t 為不確定性， RtR_t 為風險， GtG_t 為觀察目標， FtF_t 為 freshness， HtH_t 為渲染與觀察歷史， BtB_t 為多維預算， KtK_t 為 runtime capability state， Pt−1P_{t-1} 為上一時刻 render plan。

控制器輸出：

atOSR=(Ωt,rt,dt,νt,ht,vt,et)\boxed{ a_t^{OSR} = ( \Omega_t, r_t, d_t, \nu_t, h_t, v_t, e_t ) }

分別代表重新處理的 scope、renderer class、representation depth、更新頻率、history policy、verification policy 與 escalation / fallback 行為。特別地，本文將：

NO_RERENDER\boxed{ NO\_RERENDER }

定義為合法 action：若 world state 足夠新鮮、差分低、風險低、歷史映射仍有效，則最合理的動作可能是不重新算，而直接 reuse 既有結果。

本文進一步提出 Rendering Value of Information（RVOI）、Marginal Manifestation Value（MMV）、Re-render Trigger Function、Representation Depth Controller、Re-observation / Re-render Dual Loop、Safety Reserve Budget、Exploration Refresh Budget、Progressive Budget Commitment、Full Refresh Gate，以及以 measured runtime cost 而非理論 FLOPs 為主的硬體相對成本模型。

外部研究已顯示類似方向正在不同層次收斂：CARES 以 image-query pair 預測 minimal sufficient resolution；ResAdapt 以 contextual-bandit-like allocation 動態配置輸入側 visual budget；SmartVL 聯合調節 visual token 與 LLM compute；Dynamic Sparse Attention 以 input-adaptive sparsity 搭配硬體感知排程，把理論稀疏真正轉換成邊緣裝置延遲與記憶體收益。這些工作共同支持一個關鍵前提：**計算量本身可以是 runtime decision，而不是固定架構常數。**OSR-04 將此原則從多模態「看多少」推廣到渲染的「哪裡算、算多深、用誰算、多久重算」。

本篇最後提出 AGAR v0.1 演算法、狀態機、測試矩陣與可反證條件，並為 OSR-05 建立真值治理接口。下一篇將專門處理生成式渲染最重要的安全與認識論邊界：world truth、projection truth、inference、generation 與 representation sovereignty。

關鍵詞： APR、Adaptive Rendering、Perceptual Budget、Dynamic Re-rendering、Representation Depth、Persistent World State、Rendering Value of Information、Heterogeneous Rendering Field、Cloud Neural Rendering、Observer-Sovereign Rendering

0. 本篇的位置

OSR-01：

Observer→Manifestation Obligations.\text{Observer} \rightarrow \text{Manifestation Obligations}.

OSR-02：

Obligations→Observation Probes→Render Plan.\text{Obligations} \rightarrow \text{Observation Probes} \rightarrow \text{Render Plan}.

OSR-03：

Render Plan→Heterogeneous Rendering Field.\text{Render Plan} \rightarrow \text{Heterogeneous Rendering Field}.

但仍留下最重要的動態問題：

When should the field change?\boxed{ \text{When should the field change?} }

若 HRF 只是 scene load 時建立一次：

HRF0→HRF0→HRF0,HRF_0 \rightarrow HRF_0 \rightarrow HRF_0,

那它仍然只是複雜版 graphics preset。

真正的 OSR 必須允許：

HRFt→HRFt+1HRF_t \rightarrow HRF_{t+1}

由世界、觀察者、任務與資源狀態共同驅動。

1. APR 為什麼應該進入 Rendering

APR 的核心問題一直是：

何時看、看哪裡、看多深、何時重看，以及何時停止看？

而 OSR-03 的問題是：

哪個 renderer 應該在什麼區域、什麼時間、什麼表示深度存在？

兩者其實共享同一個控制骨架。

APR：

Perceptual Need→Allocation.\text{Perceptual Need} \rightarrow \text{Allocation}.

OSR：

Manifestation Need→Rendering Allocation.\text{Manifestation Need} \rightarrow \text{Rendering Allocation}.

因此：

Adaptive Rendering\boxed{ \text{Adaptive Rendering} }

可以被視為：

APR applied to manifestation computation.\boxed{ \text{APR applied to manifestation computation}. }

但本篇不主張「渲染就是感知」。

更精確地說：

APR governs when additional manifestation computation is justified.\boxed{ \text{APR governs when additional manifestation computation is justified.} }

2. Persistent World State 是自適應渲染的前提

如果 renderer 每一幀都假設自己對過去一無所知：

Wtknown=0,W_t^{known}=0,

那它自然只能：

FullRender→FullRender→FullRender.\text{FullRender} \rightarrow \text{FullRender} \rightarrow \text{FullRender}.

APR-04 已提出 Persistent World State：

Wt=U(Wt−1,Δt,Et).W_t = \mathcal U( W_{t-1}, \Delta_t, E_t ).

因此自適應渲染不需要每一幀重新問：

世界是什麼？

而可以先問：

世界中哪些狀態真的改變了？

所以：

Persistent State\boxed{ \text{Persistent State} }

把 rendering 從：

full reconstruction\text{full reconstruction}

轉成：

state-conditioned incremental manifestation.\boxed{ \text{state-conditioned incremental manifestation}. }

3. 世界差分與畫面差分必須分開

定義 pixel difference：

Δtpix.\Delta_t^{pix}.

定義世界狀態差分：

Δtstate.\Delta_t^{state}.

定義語義／任務差分：

Δtsig.\Delta_t^{sig}.

一般情況：

Δtpix≠Δtstate≠Δtsig.\Delta_t^{pix} \neq \Delta_t^{state} \neq \Delta_t^{sig}.

例如：

3.1 大量像素變化但低意義

風吹草動：

Δpix↑\Delta^{pix}\uparrow

但：

Δsig↓.\Delta^{sig}\downarrow.

3.2 幾乎沒有像素變化但高意義

一個小紅燈亮起：

Δpix↓\Delta^{pix}\downarrow

但：

Δsig↑.\Delta^{sig}\uparrow.

因此 rendering policy 不應只由 motion magnitude 驅動。

4. OSR 控制狀態

本文定義：

StOSR=(Wt,Δtsig,Ut,Rt,Gt,Ft,Ht,Bt,Kt,Pt−1).\boxed{ S_t^{OSR} = ( W_t, \Delta_t^{sig}, U_t, R_t, G_t, F_t, H_t, B_t, K_t, P_{t-1} ). }

其中：

  • WtW_t：Persistent World State；
  • Δtsig\Delta_t^{sig}：significant change；
  • UtU_t：uncertainty；
  • RtR_t：risk；
  • GtG_t：observer goal；
  • FtF_t：freshness；
  • HtH_t：render / observation history；
  • BtB_t：resource budget；
  • KtK_t：runtime capability state；
  • Pt−1P_{t-1}：previous render plan。

控制器：

ΠAGAR:StOSR→atOSR.\boxed{ \Pi_{AGAR}: S_t^{OSR} \rightarrow a_t^{OSR}. }

5. OSR Action

定義：

atOSR=(Ωt,rt,dt,νt,ht,vt,et).\boxed{ a_t^{OSR} = ( \Omega_t, r_t, d_t, \nu_t, h_t, v_t, e_t ). }

其中：

  • Ωt\Omega_t：scope / region；
  • rtr_t：renderer class；
  • dtd_t：representation depth；
  • νt\nu_t：update frequency；
  • hth_t：history / reuse policy；
  • vtv_t：verification requirement；
  • ete_t：escalation / fallback policy。

這個 action 可以只作用於一個局部 scope。

6. NO_RERENDER 是合法 Action

本文明確定義：

atOSR=NO_RERENDER\boxed{ a_t^{OSR} = NO\_RERENDER }

為合法 action。

如果：

Freshness(x)≥τF,Freshness(x)\ge\tau_F, Δsig(x)≤τΔ,\Delta^{sig}(x)\le\tau_{\Delta}, U(x)≤τU,U(x)\le\tau_U, R(x)≤τR,R(x)\le\tau_R,

且：

ReuseValid(x)=1,ReuseValid(x)=1,

則：

NO_RERENDER\boxed{ NO\_RERENDER }

可能是成本最低且品質足夠的最佳選擇。

這對 cloud rendering 尤其重要。

7. Re-render Trigger Function

定義：

Θt(x)=αΔtsig(x)+βUt(x)+γRt(x)+δGt(x)+ϵSt(x)+ζKt(x)−ηFt(x)−ξRCt(x).\boxed{ \Theta_t(x) = \alpha \Delta_t^{sig}(x) + \beta U_t(x) + \gamma R_t(x) + \delta G_t(x) + \epsilon S_t(x) + \zeta K_t(x) - \eta F_t(x) - \xi RC_t(x). }

其中：

  • Δsig\Delta^{sig}：有意義差分；
  • UU：不確定性；
  • RR：風險；
  • GG：goal relevance；
  • SS：staleness；
  • KK：capability pressure / system condition；
  • FF：freshness；
  • RCRC：reuse credit。

若：

Θt(x)>τΘ,\Theta_t(x)>\tau_{\Theta},

則：

Recompile/ReRender(x).Recompile/ReRender(x).

否則：

Reuse/NoRerender.Reuse/NoRerender.

8. Trigger 不是固定加權和

上式只是最小形式。

真實系統可以使用：

  • rule；
  • learned value model；
  • contextual bandit；
  • constrained MDP；
  • MPC；
  • hybrid controller。

因此 OSR-04 定義問題，不綁死 optimizer。

9. Rendering Value of Information

APR-05 已有 State Value of Information。

本文提出 Rendering Value of Information：

RVOI(x,a)=E[Uafter∣a(x)]−E[Uafter∣NO_RERENDER].\boxed{ RVOI(x,a) = \mathbb E[ U_{after} \mid a(x) ] - \mathbb E[ U_{after} \mid NO\_RERENDER ]. }

若：

RVOI(x,a)>Cost(a),RVOI(x,a) > Cost(a),

則 action 值得考慮。

否則：

NO_RERENDERNO\_RERENDER

可能更合理。

10. Marginal Manifestation Value

對下一單位 rendering resource：

δb,\delta b,

定義：

MMVj=∂E[ManifestationUtility]∂bj.\boxed{ MMV_j = \frac{ \partial \mathbb E[ManifestationUtility] }{ \partial b_j }. }

其中 jj 可以是：

  • GPU time；
  • ray sample；
  • neural FLOP；
  • cloud request；
  • bandwidth；
  • temporal history；
  • verification round。

下一單位資源應優先投入：

j∗=arg⁡max⁡jMMVjMCj.j^* = \arg\max_j \frac{ MMV_j }{ MC_j }.

11. APR-05 的預算向量進入 Rendering

APR-05：

Bt=(Bttok,Btflop,Btlat,Btmem,Bteng,Btio).\mathbf B_t = ( B_t^{tok}, B_t^{flop}, B_t^{lat}, B_t^{mem}, B_t^{eng}, B_t^{io} ).

OSR 對 rendering 加入：

BtR=(Btgpu,Btvram,Btray,BtlocalN,Btcloud,Btnet,Btlat,Btenergy,Btverify).\boxed{ \mathbf B_t^{R} = ( B_t^{gpu}, B_t^{vram}, B_t^{ray}, B_t^{localN}, B_t^{cloud}, B_t^{net}, B_t^{lat}, B_t^{energy}, B_t^{verify} ). }

所以「畫質設定」不再是一個 scalar：

Quality=Ultra.Quality=Ultra.

而是一個動態多資源預算。

12. 預算不是固定常數

令：

BtgpuB_t^{gpu}

為當前 GPU budget。

若：

GPUUtilization↑,GPUUtilization\uparrow,

則：

Btgpu↓.B_t^{gpu}\downarrow.

若：

RTT↑,RTT\uparrow,

則 cloud 的有效：

BtlatB_t^{lat}

下降。

若 API cost 接近 cap：

Btcloud↓.B_t^{cloud}\downarrow.

因此：

Budget=RuntimeState.\boxed{ \text{Budget} = \text{RuntimeState}. }

而不是只有 graphics menu。

13. Shadow Price

APR-05 對 resource 引入 shadow price。

OSR 使用：

λgpu,λvram,λlat,λnet,λcloud,λenergy.\lambda_{gpu}, \lambda_{vram}, \lambda_{lat}, \lambda_{net}, \lambda_{cloud}, \lambda_{energy}.

若 VRAM 快滿：

λvram↑.\lambda_{vram}\uparrow.

若 network 變慢：

λnet↑.\lambda_{net}\uparrow.

若 cloud quota 緊：

λcloud↑.\lambda_{cloud}\uparrow.

則同一 manifestation obligation 的最優 realization path 可以改變。

14. 表示深度控制器

OSR-03 已有：

dt(x).d_t(x).

本篇正式定義：

dt∗(x)=f(Gt,Ut,Rt,Δtsig,Ft,Bt).\boxed{ d_t^*(x) = f( G_t, U_t, R_t, \Delta_t^{sig}, F_t, B_t ). }

它不是固定 LOD。

而是 observer-conditioned representation depth。

15. 最小表示深度

對 obligation μi\mu_i：

dt(x)≥dmin⁡(μi).d_t(x)\ge d_{\min}(\mu_i).

如果低於：

dmin⁡,d_{\min},

則：

BLOCKED.BLOCKED.

不是「性能模式」。

16. 理想表示深度

Preferred：

dpref(μi)d_{\mathrm{pref}}(\mu_i)

可以高於 minimum。

只在：

BudgetAvailable=1BudgetAvailable=1

且：

MMV>MCMMV>MC

時逐步提升。

所以：

MinimumFirst→PreferredLater.\boxed{ \text{MinimumFirst} \rightarrow \text{PreferredLater}. }

17. Progressive Budget Commitment

APR-05：

Glance→Scan→Inspect→Deep.\text{Glance} \rightarrow \text{Scan} \rightarrow \text{Inspect} \rightarrow \text{Deep}.

OSR 對應：

Base→Enhance→Refine→DeepRender.\boxed{ \text{Base} \rightarrow \text{Enhance} \rightarrow \text{Refine} \rightarrow \text{DeepRender}. }

例如：

D1→D2→D3→D4.D_1 \rightarrow D_2 \rightarrow D_3 \rightarrow D_4.

只在每一步仍有價值時前進。

18. Cheap Probe Before Expensive Render

APR-05：

CheapProbe→BudgetDecision→ExpensiveEncoding.\text{CheapProbe} \rightarrow \text{BudgetDecision} \rightarrow \text{ExpensiveEncoding}.

OSR 對應：

CheapState/BufferProbe→RenderDecision→ExpensiveRealization.\boxed{ \text{CheapState/BufferProbe} \rightarrow \text{RenderDecision} \rightarrow \text{ExpensiveRealization}. }

例如先讀：

  • motion；
  • depth；
  • object ID；
  • world event；
  • previous confidence。

若已足夠判定不需重算：

CloudCall=0.CloudCall=0.

19. Re-observation 與 Re-render 必須分開

這是本篇最重要的分界之一。

Re-observation：

重新取得或確認世界／證據資訊.\boxed{ \text{重新取得或確認世界／證據資訊}. }

Re-render：

重新建構顯現.\boxed{ \text{重新建構顯現}. }

兩者不等價。

20. 有時需要重觀察但不需要重渲染

例如：

door.state?door.state?

系統重新讀 structured state。

若結果仍：

closed,\text{closed},

畫面可能完全不需變。

所以：

Reobserve=1,Reobserve=1,

但：

Rerender=0.Rerender=0.

21. 有時需要重渲染但不需要重觀察

例如：

  • observer style changed；
  • accessibility mode changed；
  • cloud quality tier changed；
  • cinematic mode enabled。

世界沒變：

Wt=Wt−1,W_t=W_{t-1},

但 manifestation policy 改變：

Mt≠Mt−1.M_t\neq M_{t-1}.

所以：

Reobserve=0,Reobserve=0, Rerender=1.Rerender=1.

22. Dual Loop

本文定義：

Re-observation Loop\boxed{ \text{Re-observation Loop} }

與：

Re-render Loop.\boxed{ \text{Re-render Loop}. }

完整系統：

Wt→APR→Needobs→Observe→Revise(W)W_t \rightarrow APR \rightarrow Need_{obs} \rightarrow \text{Observe} \rightarrow Revise(W)

以及：

Wt,Ot→APR/OSR→Needrender→PRC→HRF→Visible.W_t,O_t \rightarrow APR/OSR \rightarrow Need_{render} \rightarrow PRC \rightarrow HRF \rightarrow \text{Visible}.

兩者可以互相觸發。

23. Differential Re-rendering

令上一 plan：

Pt−1.P_{t-1}.

新世界差分：

ΔWt.\Delta W_t.

新需求差分：

ΔUt.\Delta U_t.

則：

ΔPt=Compile(ΔWt,ΔUt,ΔKt,ΔBt).\boxed{ \Delta P_t = Compile( \Delta W_t, \Delta U_t, \Delta K_t, \Delta B_t ). }

最後：

Pt=Pt−1+ΔPt.P_t = P_{t-1} + \Delta P_t.

所以 full recompilation 不應是預設。

24. Dependency Cone

若變化發生在：

x,x,

找：

Cone(x)Cone(x)

即所有依賴該 state / carrier 的 rendering nodes。

只 invalid：

Cone(x).Cone(x).

因此：

LocalChange→LocalInvalidation.\boxed{ \text{LocalChange} \rightarrow \text{LocalInvalidation}. }

除非 global invariant 被破壞。

25. Full Refresh Gate

不是永遠只做局部更新。

定義：

Φfull.\Phi_{full}.

若以下任一成立：

  • global scene transition；
  • camera teleport；
  • world revision discontinuity；
  • high drift；
  • widespread cache invalidity；
  • renderer capability reset；
  • major policy change；

則：

FullRefresh=1.\boxed{ FullRefresh=1. }

26. Refresh Levels

定義：

LR∈{L0,L1,L2,L3}.L_R \in \{ L_0, L_1, L_2, L_3 \}.

L0L_0

NO_RERENDER.NO\_RERENDER.

L1L_1

Local scope refresh.

L2L_2

Regional / subsystem refresh.

L3L_3

Global refresh.

成本：

CL0<CL1<CL2<CL3.C_{L_0} < C_{L_1} < C_{L_2} < C_{L_3}.

APR 的任務是不要無條件跳到 L3L_3。

27. Freshness Function

對 scope xx：

Aget(x)=t−tverified(x).Age_t(x) = t-t_{verified}(x).

但 freshness 不應只看時間。

定義：

Ft(x)=f(Age,Volatility,WorldChange,Renderer,ObserverGoal,Risk).\boxed{ F_t(x) = f( \text{Age}, \text{Volatility}, \text{WorldChange}, \text{Renderer}, \text{ObserverGoal}, \text{Risk} ). }

一面牆：

Age=10sAge=10s

仍可能很新。

一個高速敵人：

Age=100msAge=100ms

可能已 stale。

28. Dynamic TTL

定義：

TTLR(x)=f(Volatility,Risk,Goal,Renderer,History).TTL_R(x) = f( \text{Volatility}, \text{Risk}, \text{Goal}, \text{Renderer}, \text{History} ).

若：

Aget(x)>TTLR(x),Age_t(x)>TTL_R(x),

則 reuse confidence 下調。

所以：

TTL\boxed{ TTL }

不是固定秒數。

29. Confidence Decay

令：

ct(x)=ct0(x)e−λx(t−t0).c_t(x) = c_{t_0}(x) e^{-\lambda_x(t-t_0)}.

其中：

λx\lambda_x

依：

  • motion；
  • world volatility；
  • inference type；
  • renderer；
  • risk；

改變。

Cloud neural appearance 的 confidence decay 可能與 static geometry 不同。

30. Reuse Credit

OSR-03 定義：

RCt(x).RC_t(x).

本篇把它納入 controller：

RCt(x)=Ft(x)⋅Mt(x)⋅It(x)⋅Qt(x).\boxed{ RC_t(x) = F_t(x) \cdot M_t(x) \cdot I_t(x) \cdot Q_t(x). }

其中：

  • FF：freshness；
  • MM：mapping validity；
  • II：identity continuity；
  • QQ：quality sufficiency。

RCRC 高：

RerenderNeed↓.RerenderNeed\downarrow.

31. Uncertainty Budget

不是所有 uncertainty 都需要立即消除。

定義：

BU.B_U.

只要：

U(x)≤Umax⁡(μi),U(x)\le U_{\max}(\mu_i),

就可以接受。

因為追求：

U→0U\rightarrow0

通常成本巨大。

32. Risk-Weighted Uncertainty

定義：

UR(x)=U(x)⋅R(x).\boxed{ U_R(x) = U(x) \cdot R(x). }

低風險裝飾物：

U↑,R↓U\uparrow, R\downarrow

可能仍不用重算。

危險物：

U↓,R↑U\downarrow, R\uparrow

也可能值得 verification。

33. Safety Reserve Budget

APR-05：

B=Btask+Bsafety+Bexplore.B = B^{task} + B^{safety} + B^{explore}.

OSR 使用：

BR=BRtask+BRsafety+BRexplore.\boxed{ B_R = B_R^{task} + B_R^{safety} + B_R^{explore}. }

Safety reserve 不可被 cinematic enhancement 全部吃掉。

34. Mandatory Rendering Reserve

令：

Ht\mathcal H_t

為 mandatory manifestation set。

要求：

Cost(Ht)≤BRsafety.\boxed{ Cost(\mathcal H_t) \le B_R^{safety}. }

若連 safety minimum 都無法滿足：

FAIL_SAFE.FAIL\_SAFE.

不能把剩餘資源花在 optional cloud beauty pass。

35. Exploration Refresh Budget

Selective rendering 最大風險：

BlindSpot.\text{BlindSpot}.

所以保留：

BRexplore>0.B_R^{explore}>0.

用於：

  • random refresh；
  • stale-region sampling；
  • low-priority background check；
  • cache validity audit；
  • novel-event detection。

36. Exploration Frequency

定義：

νexplore(x)=f(Uncertainty,Age,NoveltyPrior,BlindSpotRisk).\nu_{explore}(x) = f( \text{Uncertainty}, \text{Age}, \text{NoveltyPrior}, \text{BlindSpotRisk} ).

即使：

GoalRelevance(x)=0,GoalRelevance(x)=0,

也不一定：

ν(x)=0.\nu(x)=0.

37. Attention Tunnel Failure

若 controller 永遠只刷新高 relevance region：

P(BlindSpot)↑.P(BlindSpot)\uparrow.

因此：

ExploitationOnly\boxed{ \text{ExploitationOnly} }

不是安全的 APR rendering policy。

38. Measured Cost > Theoretical FLOPs

Dynamic Sparse Attention 的 2026 工作特別顯示：只有搭配 block-sparse reformulation、quantization 與 hardware-aware scheduling，理論稀疏才能真正轉成 edge latency / memory 收益。

OSR 因此要求：

Cruntime\boxed{ C_{runtime} }

優先於：

Ctheoretical.C_{theoretical}.

39. 真實成本

定義：

Creal=Cgpu+Cmemory+Ctransfer+Csync+Cnetwork+Cprovider+Cverify+Ccompile.\boxed{ C_{real} = C_{gpu} + C_{memory} + C_{transfer} + C_{sync} + C_{network} + C_{provider} + C_{verify} + C_{compile}. }

尤其 heterogeneous renderer 中：

CtransferC_{transfer}

與：

CsyncC_{sync}

可能比 FLOPs 更重要。

40. Controller Overhead

APR controller 自己也要成本：

Cctrl.C_{ctrl}.

要求至少：

Cctrl<Csaved\boxed{ C_{ctrl} < C_{saved} }

在目標 workload 的平均情況成立。

否則自適應沒有價值。

41. Controller Fast Path

若：

Δsig≈0,\Delta^{sig}\approx0, U↓,U\downarrow, R↓,R\downarrow, Kt=Kt−1,K_t=K_{t-1},

則：

FastPath=KeepPlan.\boxed{ \text{FastPath} = \text{KeepPlan}. }

避免每幀重新跑昂貴 policy model。

42. Event-Driven Re-evaluation

AGAR 不需要每 pixel / frame full decision。

可由 event 觸發：

Et∈{WorldDelta,GoalChange,RiskChange,BudgetPressure,CapabilityChange,Stale,Failure}.E_t \in \{ \text{WorldDelta}, \text{GoalChange}, \text{RiskChange}, \text{BudgetPressure}, \text{CapabilityChange}, \text{Stale}, \text{Failure} \}.

如果沒有 event：

PolicyEval=cheap.PolicyEval=cheap.

43. CARES 的意義

CARES 對 image-query pair 預測 minimal sufficient input resolution。

其核心可抽象為：

ρ∗=min⁡ρ{ρ:Perf(ρ,Q)≥τ}.\rho^* = \min_{\rho} \{ \rho: Perf(\rho,Q) \ge\tau \}.

OSR 對它的推廣：

dR∗=min⁡d,r,ν,hCost\boxed{ d_R^* = \min_{d,r,\nu,h} \text{Cost} }

subject to：

ManifestationUtility≥τ.ManifestationUtility\ge\tau.

不只解析度可以自適應。

44. ResAdapt 的意義

ResAdapt 在 encoding 前動態配置每個 frame 的 visual budget，並以成本感知 policy 學習 efficiency-accuracy frontier。

其 OSR 對應：

allocation before expensive realization.\boxed{ \text{allocation before expensive realization}. }

也就是先決定：

  • 哪些 scope；
  • 哪個 renderer；
  • 哪種 depth；

再投入重成本。

45. SmartVL 的意義

SmartVL 聯合控制：

VisualTokens\text{VisualTokens}

與：

LLMCompute.\text{LLMCompute}.

這支持 OSR 更一般的：

cross-stage resource coupling.\boxed{ \text{cross-stage resource coupling}. }

Rendering 不應孤立於：

  • semantic reasoning；
  • verification；
  • agent cognition。

未來可能共同分享：

Bglobal.B_{global}.

46. Rendering–Reasoning Budget Coupling

若問題主要是：

「敵人是誰？」\text{「敵人是誰？」}

可能需要：

SemanticReasoning↑.SemanticReasoning\uparrow.

若問題是：

「角色皮膚看起來更真實」,\text{「角色皮膚看起來更真實」},

則：

RenderingBudget↑.RenderingBudget\uparrow.

因此：

MoreRendering≠AlwaysBetterTaskPerformance.\boxed{ \text{MoreRendering} \neq \text{AlwaysBetterTaskPerformance}. }

47. APR Global Budget

未來完整系統：

Bglobal=Bperception+Brender+Breason+Bverify+Bmemory.B_{global} = B_{perception} + B_{render} + B_{reason} + B_{verify} + B_{memory}.

APR 可以做上位 controller。

OSR 只是其中 rendering domain。

48. Progressive Escalation

本文定義：

E0:NO_RERENDERE_0: NO\_RERENDER E1:REUSE_VERIFYE_1: REUSE\_VERIFY E2:LOCAL_BASEE_2: LOCAL\_BASE E3:LOCAL_ENHANCEE_3: LOCAL\_ENHANCE E4:CLOUD/DEEPE_4: CLOUD/DEEP

只有：

Need↑Need\uparrow

才逐級升級。

49. Escalation Condition

若目前：

Utility(Ek)<τUUtility(E_k)<\tau_U

且：

MMV(Ek+1)>MC(Ek+1),MMV(E_{k+1})>MC(E_{k+1}),

則：

Ek→Ek+1.E_k\rightarrow E_{k+1}.

否則：

Stop.\text{Stop}.

50. Early Exit

若在：

E1E_1

已滿足：

minimum,\text{minimum},

就可以停止。

這是 adaptive rendering 最大的實際收益來源之一：

不要把所有 case 都當最難 case 處理。\boxed{ \text{不要把所有 case 都當最難 case 處理。} }

51. Re-render Priority Function

對 scope xx：

PR(x)=f(Goal,Risk,Uncertainty,Change,Staleness,ReuseCredit,Deadline,Cost).\boxed{ P_R(x) = f( \text{Goal}, \text{Risk}, \text{Uncertainty}, \text{Change}, \text{Staleness}, \text{ReuseCredit}, \text{Deadline}, \text{Cost} ). }

排序：

x1≻x2≻⋯ .x_1 \succ x_2 \succ \cdots.

先滿足 mandatory，再按 priority 分配 optional budget。

52. Deadline Weight

如果：

L(a)>Deadline(x),L(a)>Deadline(x),

即使品質很高：

Q(a)↑,Q(a)\uparrow,

有效效用也可能：

Ueff→0.U_{eff}\rightarrow0.

定義：

Ueff=U⋅D(L,d).U_{eff} = U \cdot D(L,d).

53. Cloud Deadline Gate

若 cloud latency distribution：

Lc∼Dc,L_c\sim\mathcal D_c,

且：

P(Lc≤d)<τL,P(L_c\le d)<\tau_L,

則 cloud 不進 blocking path。

只能：

  • speculative；
  • late enhancement；
  • next-frame anchor；
  • background refinement。

54. GPU Pressure Response

若：

GPUUtil>uhigh,GPUUtil>u_{high},

controller 可以：

  • d↓d\downarrow ；
  • ν↓\nu\downarrow ；
  • reuse ↑\uparrow ；
  • cloud optional ↑\uparrow ；
  • ray sample ↓\downarrow。

但若 network 也差：

Cloud↓,Cloud\downarrow,

則退回：

BaseRaster.\text{BaseRaster}.

55. VRAM Pressure Response

若：

VRAMFree↓,VRAMFree\downarrow,

可以：

  • evict high-depth latent；
  • reduce LOD；
  • shrink temporal history；
  • move cache to system memory；
  • reduce local neural model；
  • favor streaming cloud result。

但 data movement cost 必須一起計算。

56. Network Pressure Response

若：

RTT↑RTT\uparrow

或：

Bandwidth↓,Bandwidth\downarrow,

可以：

  • lower cloud frequency；
  • ROI-only upload；
  • latent carrier；
  • local fallback；
  • prefetch suppression。

57. Monetary Budget Response

若：

Bmoneycloud↓,B^{cloud}_{money}\downarrow,

則 cloud backend shadow price：

λcloud↑.\lambda_{cloud}\uparrow.

Optional cloud regions 先退。

mandatory 不應依賴付費 cloud 才能基本可見。

58. Energy Budget Response

在 laptop / wearable：

BenergyB^{energy}

可能比 GPU FLOPs 更重要。

因此：

RlocalNR_{localN}

不一定永遠優於：

RcloudN.R_{cloudN}.

若 transmission energy + latency 可接受，cloud 可能更省本地功耗。

反之亦然。

59. Observer Goal Change

如果玩家從：

cinematic\text{cinematic}

切到：

combat,\text{combat},

世界可能沒變。

但：

GtG_t

改變。

所以：

Pt−1P_{t-1}

需要局部或全局 recompile。

例如：

  • face quality 可下降；
  • enemy silhouette 提高；
  • hazard frequency 提高；
  • latency priority 提高。

60. Accessibility Goal Change

若切換 high-contrast mode：

Gaccess↑.G_{access} \uparrow.

Semantic realization 比 photoreal neural enhancement 更重要。

這再次證明：

Goal\boxed{ \text{Goal} }

可以直接改變 renderer field。

61. Style Change

若只改：

StylePolicy,\text{StylePolicy},

不一定需要 reobserve world。

但可能需要：

Rerender.\text{Rerender}.

因此 dual-loop 分離有工程價值。

62. World Change Without Visual Change

某 game state 變化：

quest.flag=1quest.flag=1

pixel 未必變。

若 observer goal 需要顯示提示：

SemanticRenderer\text{SemanticRenderer}

仍需更新。

所以：

Δpix=0\Delta^{pix}=0

不代表：

Δmanifest=0.\Delta^{manifest}=0.

63. Visual Change Without World Change

post-processing：

  • lightning flash；
  • camera exposure；
  • artistic effect；

可能：

Δpix≫0\Delta^{pix}\gg0

但：

ΔW=0.\Delta W=0.

此時 world re-observation 不必要。

64. Prediction

如果系統能預測：

W^t+Δ,\hat W_{t+\Delta},

就可以預取：

  • renderer；
  • LOD；
  • cloud anchor；
  • neural latent；
  • ray cache。

定義：

P(event)>pspecP(event)>p_{spec}

時 speculative rendering。

65. Speculation Budget

但：

BspecB^{spec}

必須獨立限制。

因為錯誤 prediction 會浪費：

Cspec.C_{spec}.

所以：

ExpectedGainspec>ExpectedWastespecExpectedGain_{spec} > ExpectedWaste_{spec}

才值得。

66. Predictive Re-rendering

若角色走向新區域：

P(enter region)↑.P(enter\ region)\uparrow.

可以先：

CloudAnchor(region)CloudAnchor(region)

或：

LoadLocalModelState(region).LoadLocalModelState(region).

這讓 cloud latency 被移到玩家真正需要之前。

67. Stability Penalty

Controller 不應因非常小的 score 差異一直改 renderer。

加入：

Jstable=J−λswitchCswitch−λfieldCfieldchange.\boxed{ J_{stable} = J - \lambda_{switch}C_{switch} - \lambda_{field}C_{fieldchange}. }

使 HRF 保持穩定。

68. Hysteresis

若：

U(rb)−U(ra)<τswitch,U(r_b)-U(r_a) < \tau_{switch},

維持：

ra.r_a.

只有超過門檻才切。

這降低：

  • flicker；
  • pop；
  • cache loss；
  • provider churn。

69. Cooldown

切換後：

Tcooldown.T_{cooldown}.

除非：

  • failure；
  • safety；
  • hard deadline；

否則不立即切回。

這是很簡單但重要的工程措施。

70. Budget Closure

局部 action 加總後必須：

∑xCk(ax)≤Bk\sum_x C_k(a_x) \le B_k

對所有資源 kk 成立。

若超標：

  1. 保留 safety；
  2. 保留 minimum；
  3. 移除低 MMV preferred enhancement；
  4. 降低 depth；
  5. 降低 frequency；
  6. 增加 reuse；
  7. 最後才報 infeasible。

71. Global Closure Algorithm

1. satisfy mandatory manifestations
2. reserve safety + exploration budgets
3. estimate scope-level rerender need
4. keep valid previous-plan nodes
5. allocate minimum realization paths
6. compute remaining budget
7. rank preferred upgrades by marginal value / marginal cost
8. apply upgrades under global constraints
9. add stability / switch penalties
10. verify plan feasibility
11. emit delta plan

72. AGAR v0.1 演算法

function agar_step(world, observer, history, budget, capabilities, previous_plan):

    delta = significant_delta(world, history)
    freshness = estimate_freshness(world, history)
    uncertainty = estimate_uncertainty(world, history)
    risk = estimate_risk(world, observer)
    reuse = estimate_reuse_credit(history, world)

    scopes = affected_scopes(
        delta,
        uncertainty,
        risk,
        observer.goal,
        previous_plan,
    )

    actions = []

    for x in scopes:
        trigger = rerender_trigger(
            delta=delta[x],
            uncertainty=uncertainty[x],
            risk=risk[x],
            goal=observer.goal,
            freshness=freshness[x],
            reuse_credit=reuse[x],
            capabilities=capabilities,
        )

        if trigger < threshold and reuse[x].valid:
            actions.append(NO_RERENDER(x))
            continue

        depth = minimum_depth(x)

        while depth <= preferred_depth(x):
            candidate = compile_candidate(x, depth)

            if not feasible(candidate):
                candidate = fallback(candidate)

            if marginal_value(candidate) <= marginal_cost(candidate):
                break

            actions.append(candidate)
            depth = next_depth(depth)

    plan = global_budget_closure(
        previous_plan,
        actions,
        budget,
        safety_reserve=True,
        exploration_reserve=True,
    )

    return incremental_patch(previous_plan, plan)

73. AGAR State Machine

對 scope xx：

STABLE→SUSPECT→REFRESH→VERIFY→STABLE.\boxed{ STABLE \rightarrow SUSPECT \rightarrow REFRESH \rightarrow VERIFY \rightarrow STABLE. }

以及：

REFRESH→DEGRADEDREFRESH \rightarrow DEGRADED

或：

REFRESH→BLOCKED.REFRESH \rightarrow BLOCKED.

74. STABLE

條件：

F↑,U↓,R↓,ReuseValid=1.F\uparrow, U\downarrow, R\downarrow, ReuseValid=1.

主要 action：

NO_RERENDER.NO\_RERENDER.

75. SUSPECT

觸發：

  • stale；
  • uncertainty；
  • minor significant delta；
  • capability change。

Action：

CheapProbe\text{CheapProbe}

或：

ReuseVerify.\text{ReuseVerify}.

76. REFRESH

若 cheap probe 不足：

LocalRefresh\text{LocalRefresh}

或：

RegionalRefresh.\text{RegionalRefresh}.

77. VERIFY

對需要 verification 的 output：

Projected→Verify.\text{Projected} \rightarrow \text{Verify}.

通過：

STABLE.STABLE.

失敗：

Fallback/Recompile.Fallback/Recompile.

78. DEGRADED

若 preferred 不可達，但 minimum 仍成立：

DEGRADED.DEGRADED.

例如：

CloudUnavailable\text{CloudUnavailable}

但：

LocalBaseValid.\text{LocalBaseValid}.

79. BLOCKED

若：

minimum\text{minimum}

也無法滿足：

BLOCKED.BLOCKED.

在安全相關 scope：

FailSafe.\text{FailSafe}.

80. 第一代 benchmark 場景

建立：

Scene A：靜態室內

測：

Reuse.\text{Reuse}.

Scene B：角色對話

測：

face depth.\text{face depth}.

Scene C：高速戰鬥

測：

latency+frequency.latency+frequency.

Scene D：鏡面／反射

測：

ray escalation.\text{ray escalation}.

Scene E：突發 hazard

測：

safety reserve.\text{safety reserve}.

Scene F：網路波動

測：

cloud fallback.\text{cloud fallback}.

Scene G：GPU overload

測：

budget redistribution.\text{budget redistribution}.

Scene H：camera teleport

測：

full refresh.\text{full refresh}.

81. Baselines

B0｜Fixed High

全部高品質。

B1｜Fixed Low

全部低品質。

B2｜Traditional Dynamic Quality

只依 FPS / GPU load 調整。

B3｜Goal-Aware

加入 observer goal。

B4｜APR-World-State Aware

加入 persistent state / uncertainty / risk。

B5｜Full AGAR

加入：

  • world state；
  • APR budget；
  • HRF；
  • reuse；
  • cloud/local；
  • safety/explore；
  • marginal value。

82. 指標

至少測：

FPS,FPS, FrameTime,\text{FrameTime}, P95Latency,P95Latency, GPUTime,\text{GPUTime}, VRAM,VRAM, NetworkBytes,\text{NetworkBytes}, CloudCost,\text{CloudCost}, Energy,\text{Energy}, VisualQuality,\text{VisualQuality}, StructuralFidelity,\text{StructuralFidelity}, TemporalConsistency,\text{TemporalConsistency}, CriticalMissRate,\text{CriticalMissRate}, RerenderRate,\text{RerenderRate}, ReuseRate,\text{ReuseRate}, CompilerOverhead.\text{CompilerOverhead}.

83. Utility per Cost

定義：

UPC=TaskUtilityWeightedRealCost.\boxed{ UPC = \frac{ \text{TaskUtility} }{ \text{WeightedRealCost} }. }

希望：

UPCAGAR>UPCfixed.UPC_{AGAR} > UPC_{fixed}.

但不要求所有場景都成立。

84. Render Avoidance Rate

定義：

RAR=EligibleScopes−NoRerenderScopesEligibleScopes.\boxed{ RAR = \frac{ EligibleScopes-NoRerenderScopes }{ \text{EligibleScopes} }. }

這可以量化「不算」帶來的收益。

85. Useful Re-render Rate

不是重算越少越好。

定義：

URR=RerendersWithMeasuredBenefitAllRerenders.URR = \frac{ \text{RerendersWithMeasuredBenefit} }{ \text{AllRerenders} }.

APR 應提高：

URR.URR.

86. Cloud Call Efficiency

定義：

CCE=CloudCallsWithCommittedBenefitAllCloudCalls.CCE = \frac{ \text{CloudCallsWithCommittedBenefit} }{ \text{AllCloudCalls} }.

如果：

CCE↓,CCE\downarrow,

代表 cloud policy 太積極。

87. False Reuse Rate

Reuse 錯誤：

FRR=InvalidReuseCommitsReuseCommits.FRR = \frac{ \text{InvalidReuseCommits} }{ \text{ReuseCommits} }.

這必須非常低。

88. Critical Miss Rate

安全／必顯內容漏失：

CMR.CMR.

這個指標不能只被平均畫質掩蓋。

89. Full Refresh Rate

若 AGAR 動不動 full refresh：

FRglobal↑,FR_{global}\uparrow,

代表差分 architecture 沒發揮價值。

90. Controller Cost Ratio

CCR=CcontrollerCtotal.\boxed{ CCR = \frac{ C_{controller} }{ C_{total} }. }

如果：

CCRCCR

過高，控制器應簡化。

91. 消融實驗

至少：

移除 Persistent World State

預期：

RerenderRate↑.RerenderRate\uparrow.

移除 Uncertainty

預期：

FalseReuse↑FalseReuse\uparrow

或 error recovery 下降。

移除 Risk

預期：

CriticalMiss↑.CriticalMiss\uparrow.

移除 Safety Reserve

預期：

高 load 時 mandatory manifestation 受損。

移除 Exploration

預期：

BlindSpot / stale background 增加。

移除 Hysteresis

預期：

renderer switching 增加。

移除 Measured Cost

預期：

理論 FLOP 節省未轉換成實際 latency。

92. Research Hypotheses

H1｜Persistent State Reduces Rendering Work

在高 temporal redundancy 場景：

CPWS<Cmemoryless.C_{PWS} < C_{memoryless}.

H2｜Significant Delta Beats Pixel Delta

依：

Δsig\Delta^{sig}

調度應比只依：

Δpix\Delta^{pix}

具有更高 utility-per-cost。

H3｜NO_RERENDER Is Frequently Optimal

在穩態世界：

P(NO_RERENDER)>0P(NO\_RERENDER)>0

且可以顯著降低成本。

H4｜Risk Reserve Reduces Critical Miss

CMRreserve<CMRno−reserve.CMR_{reserve} < CMR_{no-reserve}.

H5｜Progressive Escalation Beats Max-First

Cprogressive<Cmax−firstC_{progressive} < C_{max-first}

而 minimum task success 近似不降。

H6｜Measured-Cost Policy Beats FLOP-Only

在真實硬體：

DeadlineSuccessmeasured>DeadlineSuccessFLOP.DeadlineSuccess_{measured} > DeadlineSuccess_{FLOP}.

H7｜Cloud Sparse Enhancement Improves Legacy-GPU Utility

對受限 local GPU：

UPClocal+cloud+reuse>UPClocal−onlyUPC_{local+cloud+reuse} > UPC_{local-only}

應存在至少一類場景。

93. 可反證條件

F1｜World State Maintenance Too Expensive

若：

CPWS+CAPR≥CsavedC_{PWS} + C_{APR} \ge C_{saved}

長期成立，PWS 驅動 rendering 不值得。

F2｜Significant Delta Unreliable

若 Δsig\Delta^{sig} predictor 經常漏掉視覺上重要變化，則它不可作主要 trigger。

F3｜NO_RERENDER Causes Drift

若 reuse / no-rerender 導致長期 accumulated visual drift，freshness / verification 模型失敗。

F4｜Controller Oscillation

若：

ata_t

在相似 state 下持續 oscillate，需提高 hysteresis 或降低 policy complexity。

F5｜Safety Reserve Wastes Excessive Budget

若 reserve 長期大量閒置且對 CMR 沒明顯收益，reserve policy 應調整。

F6｜Cloud Escalation Rarely Useful

若 cloud augmentation 的邊際效用長期小於 latency / cost，則 cloud 應退出主 architecture。

F7｜Adaptive Depth Produces Visible Instability

若 representation depth 頻繁變化造成品質 pop，depth transition 必須更平滑。

94. 與傳統 Dynamic Resolution 的差異

Dynamic Resolution 通常：

GPUFrameTime↑⇒Resolution↓.GPUFrameTime\uparrow \Rightarrow Resolution\downarrow.

AGAR：

(Goal,World,Risk,Uncertainty,Freshness,Hardware,Network,Budget)⇒(Scope,Renderer,Depth,Frequency,History,Verification).( \text{Goal}, \text{World}, \text{Risk}, \text{Uncertainty}, \text{Freshness}, \text{Hardware}, \text{Network}, \text{Budget} ) \Rightarrow ( \text{Scope}, \text{Renderer}, \text{Depth}, \text{Frequency}, \text{History}, \text{Verification} ).

所以：

DynamicResolution⊂AGAR.\boxed{ \text{DynamicResolution} \subset AGAR. }

95. 與 Foveated Rendering 的差異

Foveated：

Gaze→QualityField.\text{Gaze} \rightarrow \text{QualityField}.

AGAR：

ObserverState→HeterogeneousRenderingField.\text{ObserverState} \rightarrow \text{HeterogeneousRenderingField}.

gaze 可以是輸入之一，但不是唯一控制變數。

96. 與 AI Upscaling 的差異

Upscaling 通常：

LowResFrame→HighResFrame.\text{LowResFrame} \rightarrow \text{HighResFrame}.

AGAR 先決定：

whether this scope needs expensive reconstruction at all.\boxed{ \text{whether this scope needs expensive reconstruction at all}. }

所以 neural upscaler 只是 realization backend。

97. 與 Autonomous Quality Preset 的差異

傳統自動 preset 多依：

  • FPS；
  • GPU model；
  • temperature。

AGAR 額外依：

  • world semantics；
  • observer goal；
  • uncertainty；
  • risk；
  • history；
  • truth / provenance requirement。

98. 與 APR 的正式軟體接口

APR Runtime 可以提供：

APRStatet=(Goal,WorldState,Evidence,Freshness,Uncertainty,Risk,Budget).APRState_t = ( \text{Goal}, \text{WorldState}, \text{Evidence}, \text{Freshness}, \text{Uncertainty}, \text{Risk}, \text{Budget} ).

OSR adapter 讀入：

APRStatet.APRState_t.

輸出：

RenderingNeedt.RenderingNeed_t.

再交 PRC。

因此：

APR→OSRNeedAdapter→PRC→HRF.\boxed{ APR \rightarrow \text{OSRNeedAdapter} \rightarrow PRC \rightarrow HRF. }

99. 不直接修改 APR Core

OSR 不要求把：

Raster,Ray,Cloud\text{Raster}, \text{Ray}, \text{Cloud}

寫進 APR core。

APR 應保持 domain-general。

OSR 作 downstream domain plugin。

這樣：

APRAPR

仍可用在：

  • video；
  • browser；
  • robotics；
  • documents；
  • sensors。

100. OSR APR Plugin

未來可以有：

kind = "policy"
name = "osr_render_budget"

kind = "adapter"
name = "osr_world_state"

kind = "source"
name = "osr_runtime_metrics"

保持 explicit plugin boundary。

101. Runtime Metrics Adapter

輸入：

  • GPU utilization；
  • VRAM；
  • frame time；
  • network RTT；
  • bandwidth；
  • cloud cost；
  • queue delay。

轉成：

Kt,Bt.K_t, B_t.

這使 APR policy 知道「現在系統身體狀態」。

102. World State Adapter

輸入：

  • engine object state；
  • physics；
  • camera；
  • motion；
  • semantic events；
  • scene revision。

轉成：

Wt,Δtsig.W_t, \Delta_t^{sig}.

103. Rendering Evidence

每次 refresh 後回寫：

EtR.E_t^R.

包含：

  • output hash；
  • region；
  • backend；
  • depth；
  • freshness；
  • verification；
  • latency；
  • cost。

APR 下次可使用。

104. Render Belief

某 region 的 current manifestation belief：

BtR(x)=(representation,confidence,freshness,lineage).B_t^R(x) = ( \text{representation}, \text{confidence}, \text{freshness}, \text{lineage} ).

這與 APR world belief 類似，但不要和 canonical world truth 混合。

105. APR–OSR 閉環

完整最小閉環：

Wt→APR→RenderingNeed→PRC→HRFt→Render→Verify→Evidence→APR.\boxed{ W_t \rightarrow APR \rightarrow \text{RenderingNeed} \rightarrow PRC \rightarrow HRF_t \rightarrow \text{Render} \rightarrow \text{Verify} \rightarrow \text{Evidence} \rightarrow APR. }

106. 如果什麼都沒變

最佳路徑：

Wt≈Wt−1,W_t\approx W_{t-1}, Goalt=Goalt−1,Goal_t=Goal_{t-1}, Kt≈Kt−1,K_t\approx K_{t-1},

則：

KeepPlan+Reuse.\boxed{ \text{KeepPlan} + \text{Reuse}. }

這是自適應架構最重要但最容易被忽略的能力。

107. 如果只變一點

ΔWt=Δx.\Delta W_t = \Delta x.

只更新：

Cone(x).Cone(x).

這就是：

DifferentialRendering.\boxed{ Differential Rendering. }

108. 如果變很多

若：

∣ΔWt∣|\Delta W_t|

跨越 major threshold：

Regional/GlobalRefresh.Regional/GlobalRefresh.

APR 的價值不是「永遠省」。

而是：

match computation to actual change and need.\boxed{ \text{match computation to actual change and need}. }

109. 與「人眼只看重點」的區別

本篇不以人眼機制做必要前提。

即使人類沒有 fovea，

只要：

B<∞,B<\infty,

且：

Need(x)Need(x)

不均勻，

自適應 allocation 仍合理。

所以 AGAR 是 computational principle，不是生物模仿論。

110. 第一個 3070 實驗

固定：

GPU=RTX3070.GPU=RTX3070.

建立 baseline：

RasterBase.\text{RasterBase}.

再加入：

Reuse.\text{Reuse}.

再加入：

LocalNeural.\text{LocalNeural}.

最後加入：

SparseCloud.\text{SparseCloud}.

比較：

UPC,FrameTime,CloudCost,Quality,TemporalConsistency.UPC, \text{FrameTime}, \text{CloudCost}, \text{Quality}, \text{TemporalConsistency}.

這可以直接驗證本篇最重要的工程命題。

111. 三個壓力測試

GPU Saturation

人工增加 GPU load。

測：

PolicyAdaptation.\text{PolicyAdaptation}.

Network Jitter

人工加入：

RTT/Jitter.RTT/Jitter.

測 cloud selection。

World Burst

短時間大量 world delta。

測 local→regional→global refresh transition。

112. 第一個成功條件

MVP 不需要證明：

AGARAGAR

在所有場景勝過 fixed high。

第一階段只需找到一組場景：

QualityAGAR≥Qualitybaselineacceptable\boxed{ Quality_{AGAR} \ge Quality_{baseline}^{acceptable} }

同時：

CostAGAR<Costnaive.\boxed{ Cost_{AGAR} < Cost_{naive}. }

並：

CriticalMiss≤ϵ.\text{CriticalMiss} \le \epsilon.

113. 第二個成功條件

證明：

NO_RERENDERNO\_RERENDER

與：

DifferentialRefresh\text{DifferentialRefresh}

能在穩態世界顯著降低重算。

114. 第三個成功條件

證明 cloud backend 失效時：

CloudFailure⇒BaseManifestationRemains.\text{CloudFailure} \Rightarrow \text{BaseManifestationRemains}.

而不是整個畫面崩潰。

115. 核心命題集

P1｜Rendering Is Budgeted Cognition

Rendering Resource Allocation\boxed{ \text{Rendering Resource Allocation} }

可以視為一種受目標與風險約束的計算行動。

P2｜NO_RERENDER Is Valid

NO_RERENDER∈AOSR.\boxed{ NO\_RERENDER \in \mathcal A_{OSR}. }

P3｜Persistent State Saves Rendering

Memory can save rendering,\boxed{ \text{Memory can save rendering,} }

但：

stale memory should spend rendering.\boxed{ \text{stale memory should spend rendering.} }

P4｜Significant Difference over Pixel Difference

Δsig\boxed{ \Delta^{sig} }

比：

Δpix\Delta^{pix}

更接近 OSR 的控制目標。

P5｜Reobserve and Rerender Are Distinct

Reobserve≠Rerender.\boxed{ \text{Reobserve} \neq \text{Rerender}. }

P6｜Minimum First

MinimumManifestation→PreferredEnhancement.\boxed{ \text{MinimumManifestation} \rightarrow \text{PreferredEnhancement}. }

P7｜Risk Reserves Compute

B=Btask+Bsafety+Bexplore.\boxed{ B = B^{task} + B^{safety} + B^{explore}. }

P8｜Measured Cost Matters

MeasuredRuntimeCost>TheoreticalFLOPs\boxed{ \text{MeasuredRuntimeCost} > \text{TheoreticalFLOPs} }

作為 deployment decision 的優先資訊。

P9｜Adaptive Rendering Is Incremental

Pt=Pt−1+ΔPt.\boxed{ P_t = P_{t-1} + \Delta P_t. }

P10｜Compute Follows Need

Next unit of rendering compute should go where its marginal manifestation value is highest.\boxed{ \text{Next unit of rendering compute should go where its marginal manifestation value is highest.} }

116. 結論

OSR-03 已經建立：

HeterogeneousRenderingField.\boxed{ \text{HeterogeneousRenderingField}. }

但一個 heterogeneous field 若沒有治理，只會變成：

更多 renderer、更多選項、更多複雜度。

OSR-04 的工作，就是回答：

什麼時候值得動它？

APR 提供了一個直接可用的答案框架：

Goal+WorldState+SignificantDelta+Uncertainty+Risk+Freshness+Budget+RuntimeCondition.\text{Goal} + \text{WorldState} + \text{SignificantDelta} + \text{Uncertainty} + \text{Risk} + \text{Freshness} + \text{Budget} + \text{RuntimeCondition}.

所以未來的 rendering 不應再只是：

Framet=Render(Scenet).Frame_t = Render(Scene_t).

而更接近：

Framet=Manifest(Wt,Ot,Pt−1,Bt,Kt).\boxed{ Frame_t = Manifest( W_t, O_t, P_{t-1}, B_t, K_t ). }

其中：

PtP_t

只有在必要時才改變。

這讓「渲染」從每一幀盲目重新工作，轉成：

persistent, differential, budgeted manifestation maintenance.\boxed{ \text{persistent, differential, budgeted manifestation maintenance}. }

而這也正是 AI 原生 rendering 與傳統 graphics optimization 最大的差別之一。

AI 不只幫 renderer 算得更快。

它開始參與判斷：

哪裡根本不用算？

哪裡只要 reuse？

哪裡值得 local neural？

哪裡才值得花一次 cloud inference？

哪裡因為風險必須強制重算？

哪裡算到目前這個深度就已經夠了？

因此本篇的最終命題是：

The future of rendering is not merely faster computation;\boxed{ \text{The future of rendering is not merely faster computation;} } it is governed computation proportional to perceptual need.\boxed{ \text{it is governed computation proportional to perceptual need.} }

117. 下一篇

OSR-05

《世界真值與顯現真值：生成式渲染中的一致性、幻覺與表示主權》

下一篇將正式處理：

Wt,FD,AI,AGW_t, F_D, A_I, A_G

之間的 authority boundary。

核心問題：

When AI renders something visible, what exactly is it allowed to mean?\boxed{ \text{When AI renders something visible, what exactly is it allowed to mean?} }

並建立：

  • world fact；
  • derived fact；
  • inferred appearance；
  • generated appearance；
  • provenance；
  • confidence；
  • reversible mediation；
  • multiplayer truth；
  • hallucination containment；
  • verification before visibility。

參考資料

EveMissLab / OSR / APR

  1. Neo.K. 從萬能光到觀察者主權渲染：理論譜系重構與研究綱領. OSR-00, v0.1, 2026.
  2. Neo.K. 我們到底想看什麼？觀察者、目的與顯現場. OSR-01, v0.1, 2026.
  3. Neo.K. 從射線到觀察探針：廣義觀察算子與感知渲染編譯器. OSR-02, v0.1, 2026.
  4. Neo.K. 異質渲染場：Raster、Ray、Neural、Semantic 與 Reuse 的統一選擇. OSR-03, v0.1, 2026.
  5. EveMissLab. APR Paper 04: Persistent World State and Differential Re-observation. 2026.
  6. EveMissLab. APR Paper 05: Perceptual Budget Allocation. 2026.
  7. EveMissLab. APR — Adaptive Perceptual Reading / Agentic Perception Runtime. https://github.com/kakon77777-commits/APR

外部研究

  1. Kimhi, M., Shabtay, N., Giryes, R., Baskin, C., & Schwartz, E. CARES: Context-Aware Resolution Selector for VLMs. ACL 2026, 2243–2256. https://aclanthology.org/2026.acl-long.102/
  2. Liao, H., Jiang, Z., Hao, Y., Tan, Y., He, S., Wang, B., Zhao, J., Xu, K., & Liu, K. ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning. arXiv:2603.28610, 2026. https://arxiv.org/abs/2603.28610
  3. Wang, P., Wang, Z., Lee, J., Xu, Z., Xu, R., Bagchi, S., Li, Y., & Chaterji, S. Look Less, Think Faster: Joint Token-Compute Adaptation for Multimodal LLMs. arXiv:2607.20357, 2026. https://arxiv.org/abs/2607.20357
  4. Tao, Z., Zhang, H., Kong, L., et al. Dynamic Sparse Attention for Lightweight Multimodal Sensor Fusion on Edge Devices. Scientific Reports 16, 22023, 2026. https://doi.org/10.1038/s41598-026-52290-4
  5. Wang, Y.-C., Kettunen, M., Lin, D., Wyman, C., Wu, L., & Zhao, S. Real-Time Level-of-Detail Rendering with ReSTIR. SIGGRAPH 2026. https://research.nvidia.com/labs/rtr/publication/wang2026levelofdetail/
  6. Hong, P., Zhang, S., Lin, D., Kettunen, M., Wyman, C., & Yuksel, C. Multi-Layer Reservoir Splatting for Temporal Reuse under Disocclusion. SIGGRAPH 2026.
  7. NVIDIA ADLR. DLSS 5: Generative Neural Rendering. 2026. https://research.nvidia.com/labs/adlr/DLSS5/

附錄 A｜一句話版本

OSR-04 將 APR 作為 Heterogeneous Rendering Field 的治理控制器：不再每幀、每區域、每種 representation 都同等重算，而根據 persistent world state、顯著差分、不確定性、風險、新鮮度、目標與真實 runtime 成本，動態決定哪裡不算、哪裡 reuse、哪裡局部重算、哪裡提高表示深度，以及哪裡才值得升級到昂貴的 local／cloud AI rendering。