# 多世界注意力分配：從單一現實到多載體認知的通用框架 ## Multi-World Attention Allocation: A General Framework from Single-Reality Cognition to Multi-Embodiment Cognition **作者：Neo.K** **研究協作：AI-assisted theoretical development** **EveMissLab / 一言諾科技有限公司** **2026** --- ## 摘要 人類通常被描述為存在於單一物理世界中的單一具身主體。然而，虛擬實境、擴增實境、遠端機器人、數位化身、腦機介面及共享自主系統逐漸使一個新的問題成為可操作研究對象：**同一主體是否可以同時維持多個感知—行動域，並在它們之間動態配置注意力、意圖與控制資源？** 本文提出「多世界注意力分配框架」（Multi-World Attention Allocation Framework, MWAAF）。其中「世界」不是形而上學上的宇宙，而被操作性定義為一個能夠形成相對獨立感知、狀態、目標與行動閉環的**感知—行動域**。 因此，物理身體、虛擬化身、遠端機器人、AR 疊加環境乃至未來的額外人工載體，都可以表示為： $$ D_i= ( S_i, X_i, A_i, G_i ), $$ 其中 $S_i$ 為感知通道， $X_i$ 為世界狀態， $A_i$ 為可用行動集合， $G_i$ 為目標或效用結構。 本文進一步修正早期單一注意力權重模型。注意力不是唯一標量，而應表示為視覺、聽覺、運動、執行控制、工作記憶等多種有限資源所構成的注意力矩陣： $$ \mathbf A(t)= [a_{ki}(t)]. $$ 每一種認知資源 $k$ 具有自己的容量： $$ \sum_i a_{ki}(t)\le B_k(t). $$ 因此，多世界認知並非簡單的「一個人把百分之幾的意識放在哪個世界」，而是不同認知資源在不同感知—行動域上的非均勻配置。 本文進一步定義跨域干擾、注意力切換成本、具身耦合、控制權配置及安全優先級，並提出注意力分配的受約束動態控制模型。 現有虛擬實境研究已顯示，具身程度可改變雙任務中的注意力配置與任務表現；不同控制程度亦會影響具身與認知表現。更近期的遠端具身與共享自主研究則顯示，第一／第三人稱視角、控制權與自主程度可以依任務需要動態切換。這些結果並未證明「多世界意識」，但證明注意力、具身和控制並非不可分割的固定整體，而可成為獨立操縱的實驗變量。 本文最後主張，多世界注意力分配並非意識上傳本身，而是跨載體主體連續性之前的一個更基礎問題： $$ \boxed{ \text{一個主體可以維持多少個有效的感知—行動閉環，以及它如何決定「現在主要在哪裡」？} } $$ --- ## 關鍵詞 注意力分配、多世界認知、多載體認知、具身、代理感、共享自主、虛擬實境、遠端具身、控制分配、認知負載、跨載體主體連續性 --- # 一、從「多世界」中移除形而上學預設 「多世界」一詞容易造成誤解。 本文並不主張： $$ W_0,W_1,\ldots,W_n $$ 是物理學意義上的平行宇宙。 本文只需要較弱定義： > **只要某個環境能形成可區分的感知輸入、狀態變化、行動輸出及目標回饋閉環，就可以暫時視為一個有效認知域。** 因此定義： $$ \boxed{ D_i=(S_i,X_i,A_i,G_i) } $$ 其中： $$ S_i=\text{Sensory Interface}, $$ $$ X_i=\text{World State}, $$ $$ A_i=\text{Action Space}, $$ $$ G_i=\text{Goal / Utility Structure}. $$ 例如： 物理人體所處環境可以是： $$ D_0. $$ VR 化身所在世界： $$ D_1. $$ 遠端機器人的工作空間： $$ D_2. $$ AR 中需要獨立處理的資訊層： $$ D_3. $$ 因此所謂「多世界」實際上是： $$ \boxed{ \mathcal D= \{D_0,D_1,\ldots,D_n\}. } $$ 這使理論不依賴特定材料、特定網路技術或特定虛擬世界平台。 早期「真光環元宇宙」版本其實已經把身體、神經介面、注意力分配器、網路、世界渲染與安全機制拆成不同系統層，因此其注意力架構本身可與假設性的真光環通信層分離。 --- # 二、從單一注意力標量到多資源注意力矩陣 早期簡化模型使用： $$ \boldsymbol{\alpha} = ( \alpha_0,\alpha_1,\ldots,\alpha_n ), $$ 並令： $$ \sum_i\alpha_i=1. $$ 這對建立直覺很有用，但如果將它解釋為真實神經系統中存在一個單一、精確而守恆的「注意力量」，則過強。 因為兩個活動可能競爭相同資源，也可能使用部分不同資源。 例如一個人可能： - 眼睛看道路； - 耳朵聽語音導航； - 手控制方向盤； - 同時維持簡單語言思考。 因此本文將注意力重新表示為： $$ \boxed{ \mathbf A(t) = [a_{ki}(t)] } $$ 其中： $$ k\in \{ V, Au, M, E, W, \ldots \}, $$ 分別可以代表： $$ V=\text{visual}, $$ $$ Au=\text{auditory}, $$ $$ M=\text{motor control}, $$ $$ E=\text{executive control}, $$ $$ W=\text{working memory}. $$ 而 $i$ 則表示感知—行動域 $D_i$。 因此： $$ a_{ki}(t) $$ 表示在時間 $t$，資源類型 $k$ 有多少被配置至世界 $D_i$。 --- # 三、資源容量限制 對每一種資源 $k$，定義可用容量： $$ B_k(t)>0. $$ 滿足： $$ \boxed{ \sum_{i=0}^{n}a_{ki}(t)\le B_k(t). } $$ 再定義歸一化配置： $$ \alpha_{ki}(t) = \frac{a_{ki}(t)}{B_k(t)}. $$ 則： $$ 0\le\alpha_{ki}(t)\le1, $$ 且： $$ \sum_i\alpha_{ki}(t)\le1. $$ 注意，這不是神經科學定律，而是一個**資源分配模型**。 其目的不是宣稱人腦真的內建百分比顯示器，而是提供可以比較： - 任務表現； - 反應時間； - 錯誤率； - 視線停留； - 操作頻率； - 生理指標； - 主觀負荷； 的統一座標。 --- # 四、多世界不等於完全並行 這裡出現第一個重要結果。 假設兩個世界： $$ D_1,D_2 $$ 大量競爭同一視覺資源。 則： $$ \alpha_{V1}\uparrow $$ 通常意味： $$ \alpha_{V2}\downarrow. $$ 但若： $$ D_1 $$ 主要佔用視覺， 而： $$ D_2 $$ 主要只需要低強度聽覺監控， 則兩者的競爭可以較弱。 因此： $$ \boxed{ \text{Multi-domain cognition} \neq \text{perfect parallel cognition}. } $$ 更合理的是： $$ \text{partial parallelism} + \text{resource competition} + \text{rapid switching}. $$ 這也是為什麼「同時存在五個世界」不應該被理解成： > 五份完全獨立且同等清晰的第一人稱意識同時全功率運行。 本文沒有這個假設。 --- # 五、認知域干擾矩陣 定義兩個感知—行動域： $$ D_i,D_j. $$ 它們未必互相干擾程度相同。 因此定義： $$ Q_{ij}^{kl} $$ 表示域 $i$ 和域 $j$ 對資源 $k,l$ 的交叉干擾強度。 簡化形式可以寫成： $$ \boxed{ C_{\mathrm{int}} = \sum_{iL_{\mathrm{critical}}, $$ 可能出現： - 任務錯誤； - 延遲增加； - 忽略某個世界； - 控制衝突； - 注意力崩潰； - 被迫單域化。 因此一個安全的多世界系統不應追求： $$ N\rightarrow\infty, $$ 而應追求： $$ \boxed{ \max N_{\mathrm{effective}} \quad \text{subject to} \quad L 一個載體一旦被系統認為是「我的一部分」，它獲得注意力的方式可能與單純外部工具不同。 這對未來多載體主體尤其重要。 --- # 十、控制權與注意力不是同一變量 另一個需要拆開的概念是： $$ \text{Attention} \neq \text{Control}. $$ 一個主體可能高度注意某個載體，卻沒有完整控制權。 反過來，也可能擁有控制權，但暫時不需要持續注意。 因此定義： $$ c_i(t)\in[0,1] $$ 作為對域 $D_i$ 的有效控制權。 於是每個域至少具有： $$ D_i \rightarrow ( \mathbf a_i, c_i, e_i ). $$ 注意力： $$ \mathbf a_i $$ 回答： > 我投入多少認知資源？ 控制： $$ c_i $$ 回答： > 我的意圖能多大程度決定這個載體的行動？ 具身： $$ e_i $$ 回答： > 我多大程度把它整合進「自己的身體／行動系統」？ 三者可以相關，但不應畫等號。 2024 年一項 VR 實驗以不同 avatar 控制程度比較 agency、embodiment 與認知表現，結果顯示控制程度確實改變具身與認知表現，而主觀 agency 報告本身未必足以辨識實際控制差異。 這提醒我們： $$ \boxed{ \text{self-report} \neq \text{control ground truth}. } $$ --- # 十一、四種基本多世界運行模式 由上述模型可得到至少四種基本模式。 ## 模式一：單域主導 $$ \alpha_{ki}\approx1 $$ 對某主要域成立。 其他域只維持最低監控。 例如： > 深度工作。 --- ## 模式二：分散並行 $$ 0<\alpha_{ki}<1 $$ 多個域同時獲得資源。 例如： > 控制遠端機器人，同時聽取實體環境警報。 --- ## 模式三：高速切換 表面看似多域並行，但實際是： $$ D_1 \rightarrow D_2 \rightarrow D_1 \rightarrow D_3 \rightarrow\cdots $$ 透過快速時間分割形成近似並行。 --- ## 模式四：委託式多域 這個模式對 AI 時代尤其重要。 主體不需要自己處理所有域。 例如： $$ D_0\rightarrow H $$ 由人類直接控制； $$ D_1\rightarrow AI_1, $$ $$ D_2\rightarrow AI_2, $$ 但 AI 只在： $$ R_i>\theta_i $$ 或需要人類決策時，把控制權重新交回。 這會形成： $$ \boxed{ \text{attention delegation} } $$ 而不是單純增加人腦負荷。 --- # 十二、委託式注意力與共享自主 假設某載體具有自治控制器： $$ A_i^{AI}. $$ 則總控制可以表示為： $$ u_i = \beta_i u_i^{H} + (1-\beta_i)u_i^{AI}, $$ 其中： $$ 0\le\beta_i\le1. $$ 當： $$ \beta_i=1, $$ 人類完全控制。 當： $$ \beta_i=0, $$ AI 完全自主。 中間區域則為共享或分階段控制。 2026 年一項 co-embodiment 研究展示了一種可變自主機器手：不同任務階段在人類控制和機器自主之間切換，同時保留人類隨時 veto 的能力；其使用者研究也顯示受試者能適應這類「一個身體、兩個控制中心」的工作模式。 這提供了一個重要方向： $$ \boxed{ \text{增加可作用載體數} \not\Rightarrow \text{線性增加人類認知負荷}. } $$ 只要低層控制可以委託。 --- # 十三、注意力閘門 因此未來多載體系統真正重要的元件可能不是單純 renderer，而是： $$ \boxed{ \text{Attention Gateway}. } $$ 其任務是決定： > 哪個世界的什麼事件，現在值得進入主體的高階認知？ 對事件： $$ E_{ij} $$ 定義優先值： $$ P(E_{ij}) = F( R_{ij}, U_{ij}, G_{ij}, T_{ij}, C_{ij} ). $$ 其中： - $R$：風險； - $U$：效用； - $G$：與目前目標相關度； - $T$：時間急迫性； - $C$：不確定性或需要人類介入程度。 當： $$ P(E_{ij})>\theta, $$ 才提升： $$ \alpha_{ki}. $$ 因此： > 多世界系統不是讓人同時盯著十個世界。 而是： > **讓十個世界存在，但只有需要主體介入的狀態才取得高注意力權重。** --- # 十四、安全世界與錨點世界 如果存在物理身體， 本文定義： $$ D_A $$ 為： $$ \boxed{ \text{Anchor Domain} } $$ 錨點域。 它不必永久獲得最高注意力， 但安全系統必須保證： $$ a_{kA}\ge a_{kA}^{\min} $$ 或至少存在獨立監控代理： $$ M_A. $$ 一旦： $$ R_A>\theta_{\mathrm{safety}}, $$ 執行： $$ \mathbf A \rightarrow \mathbf A_A^{\max}. $$ 即： > 立即將高優先級認知資源重新集中到錨點域。 原始真光環草案中的 Safety Monitor → Attention Allocator → 強制回到物理世界，本質上就是這種優先級反轉機制，而不需要依賴真光環本身。 --- # 十五、世界切換與視點切換 世界本身未必需要完全更換。 主體也可以只改變： $$ \text{Perspective}. $$ 例如遠端具身中，可以存在： $$ P_{\mathrm{first}}, $$ $$ P_{\mathrm{anchored}}, $$ $$ P_{\mathrm{third}}. $$ 2026 年一項遠端 supernumerary-limb VR 研究讓使用者依任務需要在共享第一人稱、穩定嵌入視角與第三人稱視角間切換；結果呈現不同視角在具身、導航效率與錯誤率上的不同取捨。 這說明： $$ \boxed{ D_i=\text{constant} } $$ 時， 仍可以： $$ P_i^{(1)} \rightarrow P_i^{(2)}. $$ 因此「我在哪裡」與「我從哪裡看」也需要拆分。 --- # 十六、一般化的注意力控制問題 綜合以上變量，可定義總效用： $$ J(\mathbf A,\mathbf C) = \sum_i U_i(\mathbf a_i,c_i) - \lambda C_{\mathrm{int}} - \mu C_{\mathrm{switch}} - \nu C_{\mathrm{risk}}. $$ 多世界注意力分配問題成為： $$ \boxed{ \max_{\mathbf A,\mathbf C}J } $$ subject to： $$ \sum_i a_{ki}\le B_k, $$ $$ 0\le c_i\le1, $$ 以及： $$ R_{\mathrm{system}}\le R_{\max}. $$ 因此其本質不是： > 「我要怎樣把意識平均分成五份？」 而是： $$ \boxed{ \text{有限異質認知資源的動態受約束配置問題。} } $$ --- # 十七、動態注意力演化 為描述時間變化，可以寫： $$ \dot{\mathbf A} = \Pi_{\Omega} \left[ \eta\nabla_{\mathbf A}J + U_{\mathrm{intent}} + U_{\mathrm{event}} + U_{\mathrm{safety}} \right]. $$ 其中： $$ \Pi_{\Omega} $$ 代表把解投影回合法資源配置域； $$ U_{\mathrm{intent}} $$ 代表主體主動意圖； $$ U_{\mathrm{event}} $$ 代表世界事件； $$ U_{\mathrm{safety}} $$ 代表安全強制輸入。 因此注意力不是被動流動，而是： $$ \boxed{ \text{intent-driven} + \text{event-driven} + \text{safety-constrained}. } $$ --- # 十八、一個具體例子 假設未來某人具有： $$ D_0=\text{物理身體}, $$ $$ D_1=\text{虛擬研究室}, $$ $$ D_2=\text{遠端機器人}. $$ 平常： $$ \alpha_{E1}=0.7, $$ $$ \alpha_{E0}=0.2, $$ $$ \alpha_{E2}=0.1. $$ 主體正在虛擬研究室工作。 遠端機器人由 AI 自主管理： $$ \beta_2=0.1. $$ 突然機器人偵測到未知障礙： $$ R_2\uparrow. $$ Attention Gateway 判斷： $$ P(E_2)>\theta. $$ 於是： $$ \alpha_{E2}:0.1\rightarrow0.6. $$ 同時： $$ \beta_2:0.1\rightarrow0.8. $$ 人類接管。 接著物理世界火災警報觸發： $$ R_0>R_{\mathrm{safety}}. $$ 最高安全規則直接執行： $$ \alpha_{E0}\rightarrow1. $$ 此時： $$ D_1,D_2 $$ 不必消失， 只是主體高階注意力暫時離開。 這才是多世界系統真正可工作的形式。 --- # 十九、從多世界到多載體 當： $$ D_i $$ 不只是虛擬世界，而開始包含不同身體， 理論就進一步變成： $$ \boxed{ \text{Multi-Embodiment Cognition}. } $$ 假設： $$ B= \{B_0,B_1,\ldots,B_m\}. $$ 則主體可以具有： $$ \mathbf A_B, $$ $$ \mathbf C_B, $$ $$ \mathbf E_B, $$ 分別表示： - 注意力； - 控制； - 具身程度。 此時最重要的問題不再是： > 我同時看幾個螢幕？ 而變成： > **哪些載體正在被整合進同一個主體的感知—意圖—行動閉環？** 這就直接接到跨載體主體連續性。 --- # 二十、從注意力配置到主體位置 第一篇已提出第一人稱有效中心： $$ P_t = F( A_t, S_t, C_t, I_t, B_t ). $$ 本文可以給它更具體的多域形式。 定義主體對每個域的有效耦合值： $$ \psi_i(t) = F( \mathbf a_i, c_i, e_i, g_i ). $$ 其中 $g_i$ 為與目前意圖的耦合。 再定義： $$ i^\ast(t) = \arg\max_i\psi_i(t). $$ 則： $$ D_{i^\ast} $$ 可以被視為當下的： $$ \boxed{ \text{Primary Effective Subject Domain}. } $$ **主要有效主體域。** 這不是意識位置的形而上學證明。 它只是回答： > 當前哪個世界承載最多的注意、意圖、控制與具身耦合？ 而這正是未來第一人稱遷移實驗可以追蹤的量。 --- # 二十一、主體域可以漂移 現在考慮： $$ \psi_A(t)>\psi_B(t). $$ 一開始： $$ i^\ast=A. $$ 隨著： $$ \mathbf a_A\downarrow, $$ $$ c_A\downarrow, $$ $$ e_A\downarrow, $$ 而： $$ \mathbf a_B\uparrow, $$ $$ c_B\uparrow, $$ $$ e_B\uparrow, $$ 可能存在： $$ t^\ast $$ 使： $$ \psi_A(t^\ast) = \psi_B(t^\ast). $$ 之後： $$ \psi_B>\psi_A. $$ 於是： $$ i^\ast: A\rightarrow B. $$ 這就是： $$ \boxed{ \text{Effective Subject-Domain Migration}. } $$ 它仍不是「意識已經上傳」。 但是第一次把： > 「我主要在哪裡？」 變成可測量的動態問題。 --- # 二十二、重要限制 本文需要明確拒絕以下推論： $$ \psi_B>\psi_A $$ 不能推出： $$ C_{\mathrm{phen}}=1. $$ 也就是： > 即使注意、具身、控制和意圖全部轉移到第二載體，也尚未證明第一人稱現象連續性必然跟著遷移。 因此： $$ \boxed{ \text{Functional Subject Migration} \neq \text{Phenomenal Subject Migration} } $$ 前者是本文目前可以逐步實驗化的部分。 後者仍是系列後續的核心問題。 --- # 二十三、可證偽預測 本文至少產生以下可測試預測。 第一： 若兩個域使用高度重疊的認知資源，則： $$ Q_{ij}\uparrow $$ 應伴隨雙域性能下降。 第二： 若第二載體具身程度提高： $$ e_i\uparrow, $$ 則注意力配置可能產生系統性改變，而不只是增加主觀「像我的身體」的評分。現有雙任務具身實驗已提供初步支持。 第三： 提高實際控制權： $$ c_i\uparrow $$ 不必與主觀 agency 評分一比一對應；既有 VR 控制實驗已顯示兩者可能出現不一致。 第四： 若低階工作委託給自主系統， 則即使： $$ N_{\mathrm{active}} \uparrow, $$ 人類自身： $$ L_H $$ 未必線性上升。 2026 年的可變自主 co-embodiment 工作為這類分階段控制提供了實驗先例。 第五： 視點策略可依任務動態調整，而非永久鎖定第一人稱；近期遠端 VR 研究已觀察到不同視角在導航效率與具身之間的不同優勢。 --- # 二十四、工程最小實驗 本理論其實不需要等待腦機介面。 第一個 MVP 可以只需要： - VR／AR； - eye tracking； - head tracking； - 手部控制器； - 一個遠端或虛擬第二載體； - 任務紀錄； - 主觀量表。 建立： $$ D_0=\text{physical task}, $$ $$ D_1=\text{virtual task}. $$ 然後操縱： $$ U_0,U_1, $$ $$ R_0,R_1, $$ $$ c_0,c_1, $$ $$ e_0,e_1. $$ 測量： $$ RT_i, $$ $$ Error_i, $$ $$ Gaze_i, $$ $$ SwitchRate, $$ $$ TaskCompletion_i. $$ 由此反推： $$ \hat{\mathbf A}(t). $$ 因此： $$ \boxed{ \text{MWAAF 的低階版本今天就可以實驗。} } $$ 不需要真光環。 也不需要先證明意識上傳。 --- # 二十五、與原始真光環版本的關係 原始版本的重要洞察可以保留： > 人不是必須完全「離開」物理世界才能進入另一個感知世界，而可以透過注意力配置在不同域之間切換。 原稿本身甚至使用： > 「你不是進入副螢幕，你只是看向副螢幕。」 來描述這一點。 但本文做出三項重要修正。 第一： $$ \text{Veritas Ring} $$ 不再是必要技術。 第二： 固定的： $$ \sum_i\alpha_i=1 $$ 降級為簡化歸一化模型。 第三： 「最多五世界」不再被當作一般理論上限。 真正模型變成： $$ \boxed{ \mathbf A(t), \mathbf C(t), \mathbf E(t), Q, B, R. } $$ 因此原始理論可以重寫為： $$ \boxed{ \text{VRM} \subset \text{MWAAF} } $$ 而不是反過來。 --- # 二十六、結論 本文提出的核心命題非常簡單： > **人類與未來智能主體所處的「世界」不必由物理位置唯一決定，而可以由感知、注意力、意圖、控制與具身所構成的動態閉環決定。** 因此： $$ \text{One biological body} $$ 並不邏輯上要求： $$ \text{One cognitive action-domain}. $$ 同樣地： $$ \text{Multiple domains} $$ 也不意味： $$ \text{Multiple consciousnesses}. $$ 較合理的圖景是： $$ \boxed{ \text{One subject} \rightarrow \text{multiple perception-action domains} \rightarrow \text{dynamic resource allocation}. } $$ 多世界認知的真正問題因此不是： > 「一個人可以同時活幾個世界？」 而是： $$ \boxed{ \text{有限而異質的認知資源，如何在多個感知—行動閉環間安全、有效且可逆地配置？} } $$ 當這些世界進一步連接到不同具身載體時，問題再轉化為： $$ \text{Attention Allocation} \rightarrow \text{Control Allocation} \rightarrow \text{Embodiment Allocation}. $$ 而當其中某個新載體逐漸取得： $$ \max_i F( \mathbf a_i, c_i, e_i, g_i ), $$ 我們就第一次得到一個可以追蹤的： $$ \boxed{ \text{主體有效位置漂移} } $$ 模型。 這正是下一篇需要處理的問題： > **當物理位置、觀看位置、控制位置與「我所在的位置」開始彼此分離時，什麼才是第一人稱有效視點與主體控制中心？** --- ## 系列位置 ### 第一篇 **《跨載體主體連續性：注意力、控制與第一人稱的遷移理論》** 建立總框架。 ### 第二篇 **《多世界注意力分配：從單一現實到多載體認知的通用框架》** 本文。建立多感知—行動域與多資源注意力模型。 ### 第三篇 **《注意力不是位置：第一人稱有效視點與主體控制中心》** 下一篇將研究： $$ \text{Physical Location} \neq \text{Sensory Perspective} \neq \text{Control Center} \neq \text{First-Person Effective Center}. $$ 並正式建立「主體控制中心漂移」的數學框架。