不確実性下のスペクトラムアクセス：落ち着きのない盗賊問題の課題

無線スペクトラム管理は根本的な制約の下で動作します。チャネル状態の観測は不完全です。占有状態を検出するセンサーは偽陽性（チャネルがアイドル状態であるのに占有状態を示す）と偽陰性（チャネルが占有状態であるのにアイドル状態を示す）を生成します。意思決定者は、直接検証できない真の状態のノイズを含む観測に基づいて、複数のチャネル間で送信スロットを割り当てなければなりません。この運用設定は、二値潜在状態と不完全な二値フィードバックを伴う落ち着きのない盗賊問題を具現化しています。これは逐次意思決定問題の一種であり、古典的な盗賊ソリューションが証明可能に準最適である理由は、チャネル状態が割り当てアクションとは無関係の外生動力学に従って進化するためです。

問題定式化と理論的ギャップ

• 仮定1（二値状態空間）：* 各チャネル i ∈ {1, …, N} は時刻 t において、アイドル状態（s^i_t = 0）または占有状態（s^i_t = 1）のいずれかに存在し、遷移確率 P(s^i_{t+1} = 1 | s^i_t = 0) = α_i および P(s^i_{t+1} = 0 | s^i_t = 1) = β_i を持つ二状態マルコフ連鎖によって支配されます。ここで α_i, β_i ∈ (0, 1) は未知です。

• 仮定2（不完全な二値フィードバック）：* 観測 y^i_t ∈ {0, 1} は真の状態 s^i_t に条件付けられて生成され、誤り確率は P(y^i_t = 1 | s^i_t = 0) = ε_i^FP（偽陽性率）および P(y^i_t = 0 | s^i_t = 1) = ε_i^FN（偽陰性率）です。ここで ε_i^FP, ε_i^FN ∈ (0, 0.5) は既知または学習可能です。

• 主張：* 機会的スペクトラムアクセスには、（1）観測ノイズにもかかわらず潜在チャネル状態に対する信念分布を維持し、（2）指数ベースのランキングを介して最適割り当てポリシーを特性化し、（3）状態不確実性と観測不確実性の間の結合にもかかわらずこれらの指数を計算可能に計算する計算フレームワークが必要です。

• 根拠：* 標準的なマルチアームド盗賊アルゴリズム（例えば、UCB、トンプソンサンプリング）は、静的環境またはアクションが状態情報を直接明かすいずれかを仮定します。落ち着きのない盗賊は両方の仮定に違反します。チャネルは自律的に遷移し、観測は遷移に関する確率的情報のみを提供します。古典的なギッティンス指数は、腕の期待将来報酬への限界貢献度によって腕をランク付けしますが、状態進化が意思決定者によって制御されていないため直接適用されません。不完全なフィードバックは複雑性の第二層を導入します。信念状態は真のチャネル状態と観測モデルパラメータの両方に対する分布になります。実務家がチャネル i をアイドル状態（y^i_t = 0）として観測する場合、2つの不確実性源に直面します。（1）真の状態が s^i_t = 0 である確率（ε_i^FN に依存する事後確率）、および（2）アイドル状態が次のスロットまで持続するかどうか（未知の α_i によって決定される）。観測されたアイドル状態のみに基づいて割り当てる貪欲ポリシーは、遷移不確実性が高いチャネルの探索価値を無視するため準最適です。

具体的な運用シナリオ

N = 5 個のライセンスチャネルを監視するコグニティブラジオシステムを考えます。各チャネルはアイドル状態からアクティブ状態への遷移確率 α_i ∈ [0.1, 0.4] およびアクティブ状態からアイドル状態への遷移確率 β_i ∈ [0.3, 0.7] を持つ未知の遷移確率で遷移します。センシング機器は85%の精度を達成します。すべてのチャネルについて ε_i^FP = ε_i^FN = 0.15 です。意思決定者は各時間スロットでプローブ（送信）するチャネルを1つ選択する必要があります。アイドル状態のチャネルへの送信は報酬 +1 をもたらします。アクティブ状態のチャネルへの送信は干渉ペナルティ −10 を招きます。システムは T = 1000 スロット間動作します。

素朴な貪欲アルゴリズムは、各スロットで観測されたアイドル確率が最も高いチャネルを選択します。1000スロット以上、このポリシーは実際には占有状態であるがアイドル状態に見えるチャネルへの約200の送信を蓄積し（偽陰性）、累積ペナルティ ≈ −2000 を生成します。対照的に、真の状態に対する信念を維持し、ホイットル指数（落ち着きのない盗賊に対するギッティンス指数の一般化）によってチャネルをランク付けするポリシーは、誤った送信を約50に削減し、累積ペナルティ ≈ −500 をもたらします。この差は、観測ノイズを状態動力学から分離することの価値を反映しています。

実務家向けの実行可能な含意

オペレータは観測ベースのヒューリスティックから、真のチャネル占有率と遷移パラメータの確率的推定値を維持する信念状態モデルへ移行する必要があります。この移行には3つの運用コンポーネントが必要です。

1. オフライン指数可能性分析： デプロイ前に、落ち着きのない盗賊問題が指数ポリシーを認めるかどうかを計算します。指数ポリシーは、グローバルシステム状態ではなくチャネルの信念状態のみに依存するスカラー指数によってチャネルをランク付けするポリシーです。指数可能性はすべての問題インスタンスに対して保証されません。検証には、緩和線形計画（ホイットル条件）のベルマン方程式を解く必要があります。

2. 指数計算： 指数可能な問題については、各チャネルの信念状態に対するホイットル指数を計算します。この計算は一般的な場合NP困難ですが、特定の構造を持つ二値状態問題に対して多項式時間近似を認めます（例えば、遷移確率が既知または十分な精度で推定される場合）。

3. リアルタイム信念更新： 運用中、観測フィードバックを使用してベイズ事後分布をチャネル状態と遷移パラメータ上で維持します。各スロットで、すべてのチャネルの指数を計算し、最も高い指数を持つチャネルに割り当てます。これには、スロットあたり O(N) 指数評価が必要であり、N ≤ 100 に対して計算可能です。

このフレームワークの理論的基礎はホイットル指数定理（Whittle, 1988）であり、指数可能性の条件下で落ち着きのない盗賊に対する最適ポリシーを特性化します。ただし、この定理を不完全なフィードバックに適用するには、信念状態動力学と、パラメータ学習と最適割り当ての相互作用の慎重な扱いが必要です。これらのトピックは以下の技術セクションで扱われます。

部分保存則とホイットル指数計算

PCL フレームワークは、保存量（状態空間不変量）を識別することにより、信念状態問題を計算可能な分析構造に変換します。これらは動力学を制約し、信念分布の徹底的な列挙なしに指数計算を可能にします。

理論的基礎

• 定義（部分保存則）：* 部分保存則は、動的計画法の最適軌跡に沿って成立する状態変数間の関数関係ですが、すべての実行可能な状態にわたってグローバルに成立する必要はありません。形式的には、$\mathbf{s}(t)$ が時刻 t での状態を示し、$\pi^$ が最適ポリシーを示す場合、関数 $\Phi(\mathbf{s})$ は $\pi^$ の下での部分保存則です。ただし、システムが $\pi^*$ に従うときはいつでも $\Phi(\mathbf{s}(t))$ が一定のままであるか、既知の決定論的規則に従って進化する場合に限ります（Whittle, 1988; Niño-Mora, 2007）。

• 主張：* 部分保存則は信念状態動力学を低次元決定論的骨組みプラス更新サイクルに分解し、ホイットル指数検証の計算複雑性を連続状態空間最適化から有限次元指数ランキングに削減します。

• 支持根拠：* ホイットル指数法は、各代替案を分離して解く緩和最適化問題によって計算される活性化の限界価値によって決定代替案（腕またはチャネル）をランク付けします。指数可能性の検証（最適ポリシーが指数の閾値規則を尊重するという特性）には、価値関数が指数と状態で上モジュール性を持つことを確認する必要があります。連続状態空間を持つ信念状態盗賊の場合、この検証は直接法を介して計算的に困難です。PCL は、有効次元を削減する構造的制約を識別することでこの障害を回避します。保存則が成立する場合、信念成分の特定の組み合わせは不変のままであり、状態空間軌跡が低次元多様体上に存在することを意味します。この多様体構造は以下を可能にします。

1. 次元削減： 連続信念シンプレックス上で最適化する代わりに、アルゴリズムは低次元曲線または表面上で最適化します。
2. 更新分解： 軌跡は、システムが参照状態に戻るサイクルに分割でき、無限地平計算ではなくサイクルごとの分析を可能にします。
3. 組み合わせ列挙： 各更新サイクル内で、可能な観測シーケンスの有限集合が遷移を決定し、サイクル平均報酬と遷移確率の正確な計算を許可します。

具体的な具現化：二値状態二チャネルシステム

各チャネル $i \in {1, 2}$ が自由状態（状態1）または占有状態（状態0）のいずれかであり、未知の遷移確率を持つ二チャネルスペクトラムアクセスシステムを考えます。$p_i(t) = \Pr(\text{チャネル } i \text{ は時刻 } t \text{ で自由} \mid \text{履歴})$ を信念とします。信念状態は $\mathbf{b}(t) = (p_1(t), p_2(t)) \in [0,1]^2$ です。

• 仮定A1（対称センシング）：* 両方のチャネルは、プローブされるときに等しい精度でセンシングされます。偽陽性率と偽陰性率はチャネル間で同一です。

• 仮定A2（マルコフチャネル動力学）：* 各チャネルは遷移確率 $\Pr(\text{自由} \to \text{占有}) = \lambda_i$ および $\Pr(\text{占有} \to \text{自由}) = \mu_i$ を持つ独立した二状態マルコフ連鎖として進化します。

これらの仮定の下で、チャネル1が高い遷移率（$\lambda_1 = 0.3, \mu_1 = 0.4$）を持ち、チャネル2が低い率（$\lambda_2 = 0.05, \mu_2 = 0.1$）を持つと仮定します。PCL分析は、最適活性化ポリシーの下で、信念軌跡が以下を満たすことを識別します。

$$\Phi(\mathbf{b}) = \frac{p_1(t) - \bar{p}_1}{p_2(t) - \bar{p}_2} = c \quad \text{（最適経路に沿って定数）}$$

ここで $\bar{p}_i = \mu_i / (\lambda_i + \mu_i)$ はチャネル i が自由である定常確率です。この保存則は、信念が二次元信念空間内の一次元曲線（「骨組み」）に沿って移動することを意味し、単一のスカラー変数によってパラメータ化されます。更新分解は、システムが参照信念（例えば、$\mathbf{b} = (\bar{p}_1, \bar{p}_2)$）に戻るエポックに時間を分割します。各エポック内で、観測シーケンス（例えば、「自由、占有、自由」）は信念軌跡を決定論的に決定します。長さ $T$（エポック長）のすべての可能な観測シーケンスを列挙することにより、アルゴリズムは各シーケンスの期待報酬と遷移確率を計算し、その後集約してサイクル平均メトリクスを取得します。これらのメトリクスは、完全な信念シンプレックス上での価値関数反復を必要とせずにホイットル指数公式に直接供給されます。

計算上の含意

• 定理（PCL対応指数可能性検証）：* 二値状態腕と二値フィードバックを持つ落ち着きのない盗賊に対して部分保存則が存在し、更新分解が十分に定義されている場合（すなわち、システムが有限期待時間内に確率1で参照状態に戻る）、指数可能性は、指数が ラグランジュ乗数における単調性条件を満たす場合、更新サイクル分解を使用して各腕を分離して計算することにより検証できます（Niño-Mora, 2007; Glazebrook et al., 2005）。

• 前提条件：* この定理は以下の場合にのみ適用されます。

• 信念状態が低次元多様体上に存在する（実用的計算のために次元 ≤ 2）。

• 更新サイクルは有限期待長を持つ。

• 観測プロセスはメモリレス（真の状態に条件付けられた場合）。

• 計算ワークフロー：*

1. オフラインフェーズ（システム構成ごとに1回）：

   • 与えられたチャネルパラメータ（$\lambda_i, \mu_i$）とセンシング精度に対する部分保存則を識別します。
   • 更新サイクル構造を導出し、観測シーケンスを列挙します。
   • ラグランジュ乗数 $\nu$（活性化の「補助金」）の関数として、各腕 i に対するホイットル指数 $W_i(\nu)$ を計算します。
   • 指数を $(\nu, \text{チャネルパラメータ})$ でインデックスされたルックアップテーブルに保存します。

2. オンラインフェーズ（リアルタイムデプロイ）：

   • ベイズの規則を使用して観測に基づいて信念 $\mathbf{b}(t)$ を更新します。
   • ルックアップテーブル上で二分探索を介して動的閾値 $\nu^*(t)$ を計算し、総活性化予算が満たされることを確保します。
   • 指数 $W_i(\nu^(t))$ が $\nu^(t)$ を超える場合、最も高い指数を持つチャネルを活性化します。

• 複雑性削減：* PCL なしでは、ホイットル指数を計算するには各腕に対して連続状態動的計画法を解く必要があり、これは $O(|B| \cdot |A|)$ としてスケールします。ここで $|B|$ は離散化信念状態カーディナリティ（通常 $10^4$ から $10^6$）であり、$|A|$ はアクション空間です。PCL では、複雑性は $O(2^T \cdot |A|)$ に削減されます。ここで $T$ は更新サイクル長（通常5～20）であり、実現的なパラメータに対して100～1000倍のスピードアップをもたらします。

仮定と制限

• 仮定A3（保存則の存在）：* 分析は、与えられた盗賊インスタンスに対して部分保存則が存在することを仮定します。これは任意のチャネルパラメータに対して保証されません。存在は各構成に対して分析的または数値的に検証される必要があります。

• 制限L1（骨組みの次元）：* PCL は骨組みが一次元または二次元である場合に最も効果的です。多くの腕または複雑な相関構造を持つシステムの場合、骨組みはより高次元である可能性があり、計算利得を削減します。

• 制限L2（更新サイクル長）：* 更新サイクルが長い場合（例えば、$T > 50$）、観測シーケンスの列挙は高くなり、方法は直接価値関数反復を上回らない可能性があります。

• 制限L3（近似指数可能性）：* 定理で必要とされる単調性条件は、一部のパラメータレジームに対してのみ近似的に成立する可能性があり、数値検証が必要であり、計算された指数に小さなエラーが導入される可能性があります。

実務家向けの実行可能なガイダンス

スペクトラムアクセスシステムをデプロイするチームは以下を実施する必要があります。

1. オフラインで事前計算： デプロイのセンシング精度とチャネル遷移パラメータについて、PCL 更新分解を使用してホイットル指数を計算します。この計算はシステム構成中に1回実行され、データベースに保存される必要があります。

2. 閾値ベースの制御を実装： 各決定エポックで、現在の動的閾値 $\nu^*(t)$（活性化予算を腕間でバランスするために計算される）を取得し、この閾値を超える最も高い指数を持つ腕を活性化します。これにより、リアルタイム計算を $O(|A| \log |A|)$（ソート）プラス $O(1)$ 閾値ルックアップに削減します。

3. 仮定を検証： デプロイ前に、仮定A1～A3がターゲット環境に対して成立することを検証します。センシング精度がチャネル間で異なるか、チャネルが相関している場合、PCL分析は拡張または代替方法に置き換える必要があります。

4. 監視と更新： チャネルパラメータが時間とともにドリフトする場合（例えば、環境変化による）、定期的に指数を再計算し、ルックアップテーブルを更新します。オフライン計算は十分に高速であり、運用中断なしに毎日または毎週の更新を許可します。

決定論的骨組みと更新分解

PCLフレームワークは二つの技術的支柱の上に成り立っています。長期的な振る舞いを捉える決定論的骨組みと、確率的ダイナミクスを独立したサイクルに分割する更新分解です。

• 基本的主張：* 決定論的骨組みと更新構造の分析は、インデックス政策の最適性に関する必要十分条件を確立し、インデックス計算のための構成的方法を提供します。

• 理論的基礎：* 決定論的骨組みは、すべての確率的観測をその条件付き期待値で置き換えるという仮定の下での信念状態の極限軌跡として形式的に定義されます（Gittins, 1979; Whittle, 1988）。$b_t$を時刻$t$における信念状態、$\mathbb{E}[o_t | b_t]$を期待観測とすると、骨組み軌跡$\hat{b}t$は以下を満たします： $$\hat{b}{t+1} = \tau(\hat{b}t, \mathbb{E}[o_t | \hat{b}t])$$ ここで$\tau$は信念更新演算子です。骨組みは真の系の経路ではなく、平均的な振る舞いを特徴付ける決定論的近似です。更新分解は、信念状態が参照分布$b^*$に戻る時刻${T_k}{k=0}^{\infty}$を識別します。連続する二つのエポック$T_k$と$T{k+1}$の間で、系は観測の独立した実現を生成します。この独立性—更新時刻における強マルコフ性として形式化される—は無限期間最適化を有限期間の更新サイクルに分解することを可能にします。計算複雑性は無限次元動的計画法から観測アルファベット上の有限長単語列の列挙と分析へと削減されます。

• 前提条件と仮定：* この分析は以下を仮定します：

1. 信念更新演算子$\tau$は良く定義され、信念状態に関して連続である。
2. 更新エポックが存在し、有限の期待更新間隔を持つ：すべての$k$に対して$\mathbb{E}[T_{k+1} - T_k] < \infty$。
3. 観測アルファベットは有限またはディスクリタイズ可能である。
4. チャネル遷移確率は定常的である（時間同次）。

• 具体的な実装例：* 二つのチャネルを持つスペクトラムアクセスシステムを考えます。チャネル遷移確率が$p_1 = 0.7$（アイドル状態を保つ確率）と$p_2 = 0.6$であり、センシング精度が$\alpha = 0.9$（正確な検出確率）であるとします。決定論的骨組みは、信念状態が三つの構成—高信頼度（信念$> 0.8$）、中信頼度（$0.4$–$0.8$）、低信頼度（$< 0.4$）—を通じてサイクルし、平均サイクル長が十時刻であることを予測します。更新エポックは両チャネルが同時に中信頼度（信念$= 0.6$）に戻るときに発生します。連続する更新エポック間で、系は有限の観測列を生成します。各チャネル下での確率で重み付けされた長さ十までの異なる列の組み合わせ数は、探索と搾取の相対的価値を決定します。チャネル1が更新サイクルごとに$N_1 = 45$個の異なる高価値列（高信頼度信念につながるもの）を生成し、チャネル2が$N_2 = 62$個を生成する場合、チャネル2はより高いインデックスを受け取り、その情報収集の可能性の大きさを反映します。

• 検証要件：* 骨組みと更新分析から導出されたインデックスはPCL-インデックス可能性条件を満たす必要があります：（i）信念状態における単調性、および（ii）閾値構造（活性化が最適であるのは、インデックスが閾値$\lambda^$を超える場合に限定される閾値$\lambda^$が存在する）。これらの条件が失敗する場合、系は単純なインデックス政策を認めず、より複雑な制御戦略（例えば、ラグランジュ緩和、近似動的計画法）が必要になります。

• 実行可能なガイダンス：* 実務者は以下のステップを実行すべきです：

1. システムをパラメータ化する： ドメイン知識または履歴データからチャネル遷移確率、センシング精度、観測アルファベットを指定します。
2. 骨組みを構築する： 期待観測を用いた更新演算子を使用して決定論的信念軌跡を計算します。
3. 更新エポックを識別する： 信念状態が参照分布に戻る時刻を特定します（例えば、受動的観測下での定常信念）。
4. 更新サイクルを列挙する： 記号計算（例えば、有限オートマトンまたは文脈自由文法ツール）を使用して、連続する更新エポック間のすべての観測列を列挙し、その確率を計算します。
5. インデックスを計算する： 更新サイクルデータにPCLソルバーを適用して、各チャネルのインデックスを取得します。
6. インデックス可能性を検証する： 単調性と閾値構造を検証します。検証が失敗する場合、失敗モードを文書化し、代替制御戦略を検討します。

---

• 図7：決定論的スケルトンと更新分解—信念状態空間の構造化*

実装と運用パターン

PCL-インデックス政策の展開には、三つのメカニズムを通じて理論と運用現実を橋渡けする必要があります。パラメータ推定、オフライン事前計算、オンライン適応的閾値管理です。

• 運用上の主張：* 効果的な展開は、オフラインインデックス計算（システムパラメータに依存）とオンライン閾値選択（運用上の制約に依存）を分離し、インデックスを再計算することなく変化する条件への迅速な適応を可能にします。

• 関心の分離の根拠：* ホイットルインデックスはシステムパラメータの関数です。チャネル遷移確率$p_i$、センシング精度$\alpha$、報酬構造です。これらのパラメータは展開時に確実に既知であることはめったにありません。オペレータは履歴データまたは制御実験からそれらを推定する必要があります。推定されると、インデックスはオフラインで事前計算され、ルックアップテーブルまたはデータベースに保存できます。オンライン運用中は、活性化閾値—チャネルを活性化するために必要な最小インデックス値—のみが運用上の制約（ネットワーク負荷、レイテンシ目標、電力予算）に応じて動的に変化します。この分離は、遅い適応（パラメータ学習とインデックス再計算、日から週のタイムスケールで発生）と速い適応（閾値調整、分から時間のタイムスケールで発生）を分離します。

• 仮定と前提条件：* このアプローチは以下を仮定します：

1. システムパラメータは定常的であるか、オンライン決定タイムスケールに対して遅く変化する。
2. パラメータ推定誤差は有界で定量化可能である（例えば、ブートストラップまたはベイズ法からの信頼区間）。
3. インデックス関数は十分に滑らかであり、小さなパラメータ摂動は小さなインデックス変化を誘発する（感度分析）。
4. 運用上の制約（負荷、レイテンシ）はスカラー閾値値にマッピング可能である。

• 具体的な運用シナリオ：* セルラーネットワークオペレータが五つのチャネルを持つライセンス済みスペクトラムバンドを管理します。30日間の受動的監視を通じて、オペレータは最尤推定を使用して各チャネルの遷移確率を推定します：$\hat{p}_i = \frac{\text{アイドル観測の数}}{\text{総観測数}}$。センシング精度は制御実験を通じて検証されます。オペレータは既知の信号を送信し、検出率を測定し、$\hat{\alpha} = 0.92$を95%信頼区間$[0.89, 0.95]$で取得します。これらの推定値はPCLソルバー（例えば、値反復または線形計画法に基づく数値アルゴリズム）に入力され、インデックス$\lambda_1 = 0.45, \lambda_2 = 0.38, \lambda_3 = 0.52, \lambda_4 = 0.41, \lambda_5 = 0.39$を出力します。インデックスはタイムスタンプとパラメータハッシュ付きでデータベースに保存されます。ライブ運用中、ネットワーク管理システムは現在の利用率に基づいて閾値$\theta$を設定します。利用率が80%を超える場合、$\theta$は0.45に増加します（チャネル1と3のみを活性化）。利用率が40%未満に低下する場合、$\theta$は0.35に減少します（すべてのチャネルを活性化）。閾値更新は利用率テレメトリに基づいて毎時間発生します。インデックス再計算は週単位で、またはパラメータ推定値が許容範囲を超えて漂流するときに（例えば、$|\hat{p}_i^{\text{new}} - \hat{p}_i^{\text{old}}| > 0.05$）トリガーされます。

• 検証と監視：* 展開には以下を含める必要があります：

1. パラメータ漂流検出： 推定パラメータを保存された値に対して継続的に監視します。漂流が事前定義された閾値を超えるときにフラグを立てます。
2. インデックス陳腐化追跡： 事前計算されたインデックスの経過時間をログに記録し、インデックスが最大経過時間（例えば、7日）を超えるときにオペレータに警告します。
3. 感度分析： インデックスがパラメータ摂動にどのように応答するかを事前計算します（例えば、$\frac{\partial \lambda_i}{\partial p_j}$）。これを使用して再計算前のインデックス変化を予測し、最も正確な推定が必要なパラメータの優先順位を付けます。
4. パフォーマンス監視： 実際のシステムパフォーマンス（スループット、レイテンシ、干渉）をPCLモデルからの予測と比較します。重大な偏差はパラメータ誤指定またはモデル違反を示唆する可能性があります。

• 実行可能な実装ステップ：*

1. 二層アーキテクチャを構築する：
   • オフライン層： パラメータ推定モジュール、PCLソルバー、インデックスデータベース、感度分析ツール。
   • オンライン層： 閾値選択ロジック、観測処理、チャネル活性化決定、テレメトリ収集。
2. オフライン層を自動化する： パラメータ再推定とインデックス再計算を定期的なケイデンス（例えば、週単位）でスケジュールします。監査可能性のためにすべてのパラメータ推定値とインデックスをタイムスタンプ付きでログに記録します。
3. 閾値適応ロジックを実装する： 運用メトリクス（利用率、レイテンシ、電力）から閾値値へのマッピングを定義します。このマッピングを文書化し、履歴データに対して検証します。
4. 監視とアラートを実装する： パラメータ漂流、インデックス陳腐化、パフォーマンス異常に対する自動アラートを設定します。各アラートタイプに対応するためのランブックを確立します。
5. パラメータ感度を文書化する： 各チャネルについて、遷移確率とセンシング精度の変化に対するインデックスの感度を文書化します。これを使用してパラメータ推定の精度要件を指導します。

• 図10：実装アーキテクチャ—信念状態インデックスフレームワークのシステム構成*

測定と検証

PCL指数化ポリシーが予測通りに機能することを検証するには、理論的性質と運用成果の両方を体系的に測定する必要があります。本セクションでは測定フレームワークを形式化し、検証手順を確立します。

指数化可能性の理論的検証

• 主張：* 指数化可能性は展開前に検証すべき数学的性質です。検証には緩和最適化問題を解き、最適ポリシーが計算された指数に対する単調性と閾値条件を満たすことを確認する必要があります。

• 前提条件と仮定：*

• システムモデルが正確に指定されている：遷移確率 P(s’|s,a) が既知であるか、定量化された不確実性の範囲で信頼性高く推定されている。

• センシングモデルが正しく特性化されている：偽陽性率と偽陰性率が時間的に定常であり、チャネル間および時間ステップ間で独立している。

• 元の問題の緩和（Whittleの緩和または同等のもの）が問題クラスに対して数学的に良定義されている。

• 根拠：* 指数化可能性は経験的性質ではなく、最適化問題の構造的性質です。最適ポリシーが指数に対する閾値ルールを尊重するか（指数化可能性が成立）、またはそうでないか（指数化可能性が失敗）のいずれかです。指数化可能性が失敗すれば、指数ベースのフレームワークは無効となり、指数は最適な決定ルールではなく信頼性の低いヒューリスティックになります。検証には以下が含まれます：（1）動的計画法または線形計画法を用いて緩和最適化問題を解く；（2）緩和解から最適ポリシーを抽出する；（3）このポリシーが計算された指数に対する閾値ルールとして表現できることを確認する；（4）閾値構造が単調であることを検証する（より高い指数がより高い優先度に対応する）。いずれかのステップで失敗すれば、推定されたパラメータに対して指数化可能性が成立していないことを示します。

• 具体的な手順：*

1. 運用データから システムパラメータを推定する（以下の「パラメータ推定」サブセクションを参照）。
2. 推定されたパラメータを用いて緩和最適化問題を定式化する。
3. 有限状態空間上の動的計画法または無限時間地平線の場合の線形計画法を介して緩和問題を解く。
4. 緩和解における各状態の最適行動を抽出する。
5. 標準公式（例えばWhittle指数または同等のもの）を用いて指数を計算する。
6. 最適ポリシーが「指数 ≥ 閾値 τ の行動を選択する」として表現できることを検証する。
7. 単調性を確認する：index(s₁) > index(s₂) ならば、優先度順で action(s₁) ≥ action(s₂) である。
8. 検証結果（合格/不合格）と計算された閾値 τ をログに記録する。

• 失敗モードと対応：* 検証が失敗した場合、システムは指数化ポリシーを展開してはいけません。代わりに、具体的な失敗ポイント（例えば「最適ポリシーが状態 s = 3 で閾値構造に違反する」）を含む重大アラートをログに記録します。パラメータ推定が不正確であるか、問題構造が指数化可能性の仮定に違反しているかを調査します。根本原因が解決されるまで展開に進まないでください。

経験的性能測定

• 主張：* 経験的性能は、推定されたパラメータを用いたオフライン シミュレーションから導出された予測に対して測定されなければなりません。予測と実際の性能の乖離は、モデルの誤指定またはパラメータドリフトを示唆します。

• 前提条件と仮定：*

• オフライン シミュレーションは展開されたポリシーと同じパラメータ推定を使用する。

• シミュレーション環境が運用環境を正確にモデル化している（または文書化された相違が定量化されている）。

• 性能指標がシミュレーションと運用の間で一貫して定義されている（例えば、スループットは毎秒ビット単位、レイテンシはミリ秒単位）。

• 測定は過渡効果を平均化するのに十分な時間地平線にわたって実施される（認知無線システムの場合、通常 ≥ 1週間）。

• 根拠：* 指数化ポリシーは仮定されたモデルの下で最適です。モデルが正確でパラメータが正確であれば、経験的性能はシミュレーション性能と密接に一致するはずです。著しい乖離は、以下のいずれかを示唆します：（a）モデルが重要なシステムダイナミクスをキャプチャしていない（例えば、相関したセンシング誤差、非定常なチャネル占有）；（b）パラメータ推定が不正確である（例えば、不十分なデータから推定された遷移確率）；または（c）推定以降パラメータがドリフトしている（例えば、チャネル条件が変化した）。乖離を検出することで、性能がさらに低下する前に適時に介入できます。

• 具体的な指標と閾値：*

1. スループット予測誤差： 測定ウィンドウ上の平均スループットを計算します。オフライン シミュレーションからの予測スループットと比較します。|実際 − 予測| / 予測 > 10% の場合にフラグを立てます。
2. レイテンシ予測誤差： 95パーセンタイル レイテンシを計算します。シミュレーションからの予測95パーセンタイルと比較します。|実際 − 予測| / 予測 > 15% の場合にフラグを立てます。
3. 干渉指標： 該当する場合、ポリシーが引き起こす干渉を測定します（例えば、プライマリユーザーとの衝突率）。予測された干渉と比較します。実際 > 予測 + 2σ（σ は予測干渉の標準偏差）の場合にフラグを立てます。
4. 指数安定性： 現在のパラメータ推定を用いて週単位で指数を再計算します。現在の指数と前回の指数の間のL∞距離を測定します。max|指数_現在 − 指数_前回| > 0.05 の場合にフラグを立てます（閾値は指数スケールに依存します。適切に調整してください）。

• 測定手順：*

1. 完全な計測を備えて指数化ポリシーを展開します：すべてのチャネル選択、観測されたチャネル状態、センシング結果、達成されたスループットをログに記録します。
2. 同じパラメータと同じチャネル状態遷移シーケンス（可能な場合）または統計的に同等のシーケンスを用いてオフライン シミュレーションを実行します。
3. ≥ 1週間（または ≥ 10,000の決定が行われるまで）測定を収集します。
4. 運用ログから経験的性能指標を計算します。
5. シミュレーションから予測性能指標を計算します。
6. 上記の閾値を用いて経験的と予測を比較します。
7. いずれかの閾値が違反された場合、指標名、実際の値、予測値、誤差パーセンテージを含むアラートをログに記録します。

• 失敗モードと対応：* 予測誤差が閾値を超えた場合、すぐにフォールバック ポリシーに戻さないでください。代わりに根本原因を調査します：（a）最近の運用データを用いてパラメータを再推定する；（b）モデル仮定が違反されているかどうかを確認する（例えば、観測されたチャネル状態の分布を分析することで）；（c）シミュレーション環境が運用環境と一致していることを検証する。再推定が著しく異なるパラメータを生成した場合、指数を再計算し、検証を再実行します（「理論的検証」サブセクションを参照）。モデル仮定が違反されている場合、観測されたダイナミクスをキャプチャするようにモデルを拡張することを検討します。調査が決定的でない場合、段階的なロールバックをトリガーします：指数化ポリシーによって行われる決定の割合を削減し（例えば、100% から 50% に）、フォールバック ポリシーによって行われる割合を増加させながら、性能の測定を継続します。

パラメータ推定とドリフト検出

• 主張：* パラメータ推定は継続的にドリフトについて監視されなければなりません。ドリフト検出には、現在の推定と過去の推定を比較し、著しい変化をフラグ立てする必要があります。

• 前提条件と仮定：*

• パラメータは一貫した方法を用いて推定される（例えば、固定サンプルサイズまたは固定時間ウィンドウを用いた最尤推定）。

• 推定方法が信頼区間または不確実性定量化を生成する（例えば、標準誤差、信用区間）。

• パラメータは区分的に定常であると仮定される：時間とともに変化する可能性がありますが、変化は測定ウィンドウより長い時間スケール（例えば、週または月、秒ではない）で発生します。

• 根拠：* チャネル条件、プライマリユーザーの行動、センシングハードウェアの特性は時間とともに進化します。展開時に正確であったパラメータ推定は、条件が変化するにつれて不正確になる可能性があります。ドリフト検出により、性能が著しく低下する前に適時に再推定と指数の再計算が可能になります。ドリフト検出は、現在の推定と過去の推定を比較することで実行されます。差が閾値（例えば、2標準誤差）を超えた場合、システムはドリフトをフラグ立てし、再推定をトリガーします。

• 具体的な手順：*

1. 受動的パラメータ推定： チャネル占有パターンとセンシング結果を継続的に監視します。最尤推定を用いて遷移確率 P(s’|s,a) を推定します：行動 a の下で状態 s から状態 s’ への遷移の数をカウントし、行動 a の下で状態 s からの遷移の総数で除算します。センシング精度（偽陽性率、偽陰性率）も同様に推定します。正規近似または正確な二項区間を用いて95%信頼区間を計算します。
2. 能動的パラメータ推定（オプション）： 定期的に（例えば、週単位で）制御実験を実施します：チャネルのサブセットで意図的に送信し、既知の条件下でセンシング精度を測定します。これにより、センシングパラメータの基準真実推定が提供され、受動的推定の体系的バイアスを検出できます。
3. ドリフト検出： パラメータ推定の履歴を、各々の信頼区間とともに保持します。新しい推定が計算されたとき、それを前回の推定と比較します。新しい推定が前回の推定の95%信頼区間の外にある場合（または同等に、|新 − 旧| > 2 × SE_旧 の場合、SE_旧 は旧推定の標準誤差）、ドリフト アラートをフラグ立てします。
4. 再推定トリガー： ドリフトが検出された場合、最近のデータの完全な履歴を用いてすべてのパラメータを直ちに再推定します（例えば、過去4週間のデータ）。新しい推定を用いて指数を再計算します。理論的検証を再実行します（「理論的検証」サブセクションを参照）。検証が合格すれば新しい指数を展開します。そうでなければ根本原因を調査します。

• 具体的な例：* チャネル1の推定偽陰性率が0.05で標準誤差0.01（95% CI：[0.03, 0.07]）であると仮定します。1週間後、新しい推定は0.12で標準誤差0.02（95% CI：[0.08, 0.16]）です。新しい推定が旧信頼区間の外にあるため、ドリフトがフラグ立てされます。センシングハードウェアが劣化したか、プライマリユーザーの送信パターンが変化したかを調査します。過去4週間のデータを用いて再推定します：新しい推定が0.08で SE 0.015であると仮定します。これは旧信頼区間内にあるため、ドリフトは一時的である可能性があります。監視を継続します。次週の推定も > 0.10 の場合、持続的なドリフトが確認され、再推定がトリガーされます。

• 失敗モードと対応：* ドリフト検出が再推定をトリガーし、新しいパラメータが理論的検証に失敗した場合、新しい指数を展開しないでください。代わりに、問題構造が変化したかどうかを調査します（例えば、チャネル数が増加した、またはセンシング誤差が相関するようになった）。構造が変わっていない場合、失敗は信頼性の高い推定のためのデータが不十分であることを示唆しているかもしれません。より多くのデータを収集して再試行します。構造が変化した場合、進める前にモデルを更新する必要があります。

測定インフラストラクチャとダッシュボード

• 主張：* 体系的な測定には、展開されたシステムの計測と自動分析パイプラインが必要です。

• 前提条件と仮定：*

• システムは最小限のオーバーヘッド（< 1% CPU、< 1% ネットワーク帯域幅）で決定、観測、結果をログに記録できます。

• ログは十分な保持期間（≥ 4週間）で保存され、履歴分析が可能です。

• 分析パイプラインは展開されたポリシーを中断することなく週単位で実行できます。

• 根拠：* 手動測定は誤りやすく、スケーラビリティに欠けます。自動パイプラインは一貫性のある再現可能な測定を保証し、異常の迅速な検出を可能にします。ダッシュボードはシステムの健全性に対する可視性を提供し、閾値が違反されたときにアラートをトリガーします。

• 具体的なインフラストラクチャ：*

1. ログ記録： 展開されたポリシーを計測して、各決定について以下をログに記録します：（a）タイムスタンプ；（b）観測されたチャネル状態；（c）センシング結果（各チャネルについて、占有として感知されたか空いているとして感知されたか）；（d）選択された行動（どのチャネルにアクセスするか）；（e）結果（アクセスが成功したか、衝突が発生したか）；（f）達成されたスループット。ログ形式：自動解析を可能にするために構造化（JSONまたはCSV）。
2. ストレージ： ログを時系列データベース（例えば、InfluxDB、Prometheus）またはデータレイク（例えば、S3、HDFS）に保存します。保持ポリシーを実装します：詳細ログを4週間保持し、集計ログ（例えば、時間単位のサマリー）を1年保持します。
3. 分析パイプライン： 以下を実行する週単位のバッチジョブを実装します：（a）過去1週間のログを取得する；（b）パラメータを再推定する；（c）指数を再計算する；（d）オフライン シミュレーションを実行する；（e）経験的性能指標を計算する；（f）経験的と予測を比較する；（g）閾値違反のアラートを含むレポートを生成する。
4. ダッシュボード： リアルタイム ダッシュボードに主要指標を表示します：（a）各チャネルの現在の指数；（b）経験的スループット対予測スループット；（c）信頼区間を含むパラメータ推定；（d）ドリフト検出ステータス；（e）指数化可能性検証ステータス；（f）アラートと異常。ダッシュボードを少なくとも日単位で更新します。
5. アラート： 以下に対して自動アラートを設定します：（a）指数化可能性検証失敗；（b）予測誤差が閾値を超える；（c）パラメータドリフトが検出される；（d）指数計算の計算エラー。重大度レベル（重大、警告、情報）を付けて運用チームにアラートをルーティングします。

リスクと軽減戦略

PCL指数化ポリシーは、予測と軽減が必要な新たな障害モードをもたらします。本セクションでは主要なリスクを特定し、具体的な軽減戦略を示します。

リスク1：パラメータ誤指定

• リスク記述:* 遷移確率やセンシング精度の推定が不十分な場合、指数は誤解を招くものになります。高価値と推定されたチャネルが実際には低価値である可能性があり、最適でない、あるいは安全でない決定につながります。

• 前提条件と仮定:*

• パラメータ推定は有限サンプルを使用して実行され、統計的誤差が生じます。

• 真のパラメータはモデル仮定と異なる可能性があります（例えば、センシング誤差は独立ではなく相関している可能性があります）。

• 推定誤差は信頼区間またはベイズ信用区間を通じて定量化可能です。

• 根拠:* 有限データからのパラメータ推定は本質的に不確実です。サンプルサイズが小さいか、データが代表的でない場合、推定値は大きく偏る可能性があります。誤指定されたパラメータは不正確な指数につながり、その結果として最適でない決定が生じます。軽減には以下が必要です：(a) 複数の独立した推定方法を使用して相互検証する、(b) 推定不確実性を定量化し、保守的（最悪ケース）推定値を使用する、(c) パラメータドリフトを継続的に監視し、ドリフトが検出されたときに再推定する。

• 具体的な軽減戦略:*

1. 複数の推定方法: 3つの独立した方法を使用してパラメータを推定します：(a) パッシブ監視（アクティブプローブなしでチャネル占有率を観察）、(b) アクティブプローブ（チャネルに意図的に送信してセンシング精度を測定）、(c) 履歴ベンチマーク（現在の推定値を同様の期間の履歴推定値と比較）。3つの方法が大きく異なる推定値を生成する場合（例えば20%以上異なる場合）、指数を展開する前に不一致を調査します。最も保守的（リスク回避的）な推定値を使用します。
2. 信頼区間: 各パラメータについて95%信頼区間を計算します。指数を計算する際、チャネル価値を増加させるパラメータ（例えばスループット）については信頼区間の下限を使用し、チャネル価値を減少させるパラメータ（例えば衝突確率）については上限を使用します。これにより指数が保守的であることが保証されます。
3. 感度分析: 各指数について、パラメータ摂動に対する感度を計算します。指数が大きな不確実性を持つパラメータに対して高度に敏感である場合、その指数を信頼できないものとしてフラグを立て、そのチャネルにはフォールバックポリシーを使用します。
4. 継続的な再推定: パラメータを週単位で再推定します（ドリフトが検出された場合はより頻繁に）。パラメータと指数のバージョン履歴を保持します。新しい推定値が古い推定値と大きく異なる場合、新しい指数を展開する前に根本原因を調査します。

リスク2：指数化可能性違反

• リスク記述:* 真のシステムがモデルから逸脱する場合、指数化可能性は失敗する可能性があります（例えば、センシング誤差が独立ではなく相関している、または状態空間が有限ではない）。指数化可能性が失敗する場合、指数ベースのフレームワークは無効になり、指数は信頼できないヒューリスティックになります。

• 前提条件と仮定:*

• 指数化可能性は最適化問題の構造的性質です。成立するか、しないかのいずれかです。

• 指数化可能性は緩和問題を解き、単調性を確認することで検証できます（理論的検証サブセクションを参照）。

• 指数化可能性が失敗する場合、システムは指数化されていないポリシーにフォールバックする必要があります。

• 根拠:* 指数化可能性は指数ベースのポリシーの最適性の十分条件です。指数化可能性が失敗する場合、指数ベースのポリシーはもはや最適であることが保証されません。軽減には以下が必要です：(a) 展開前に指数化可能性を検証する、(b) 指数化可能性違反を継続的に監視する、(c) 指数化可能性が失敗した場合にフォールバックポリシーを用意する。

• 具体的な軽減戦略:*

1. 展開前検証: 指数化されたポリシーを展開する前に、緩和問題を解き、最適ポリシーが指数のしきい値ルールを尊重することを検証します。検証が失敗した場合は展開しません。
2. 継続的検証: 指数を週単位で再計算し、指数化可能性を再検証します。検証が失敗した場合、重大アラートをログに記録し、調査をトリガーします。
3. フォールバックポリシー: 指数化可能性に依存しない単純で予測可能なフォールバックポリシーを設計します（例えば、ラウンドロビンチャネルアクセス、または均一確率でのランダムチャネル選択）。フォールバックポリシーをシステムに実装し、指数化可能性検証が失敗した場合に起動する準備をします。
4. モデル検証: 指数化可能性検証が失敗した場合、モデル仮定が違反されているかどうかを調査します。例えば、チャネル間のセンシング結果の結合分布を分析することで、センシング誤差が相関しているかどうかを確認します。相関が検出された場合、モデルを拡張してそれらをキャプチャし、指数化可能性を再検証します。

リスク3：計算誤差

• リスク記述:* 指数計算の誤差（数値不安定性、実装バグ、またはハードウェア障害が原因）はポリシーパフォーマンスに直接伝播します。

• 前提条件と仮定:*

• 指数計算は浮動小数点演算を含み、丸め誤差の対象となります。

• 実装バグはコーディング中または更新中に導入される可能性があります。

• ハードウェア障害（例えば、メモリのビットフリップ）は稀ですが可能性があります。

• 根拠:* 計算誤差は検出が困難です

結論と移行計画

PCL指数化ポリシーは、不完全な二値フィードバック下での最適な動的スペクトラムアクセスに対する理論的に根拠のあるアプローチを提供します。指数化可能性フレームワークは、適用可能な場合、無限次元最適化問題を、述べられた仮定の下で証明可能なパフォーマンス保証を持つ扱いやすい指数ベースのヒューリスティックに削減します（Whittle, 1988; Gittins et al., 2011）。展開には、理論的予測が実世界のパラメータ不確実性とフィードバック劣化の下で成立することを確認するための構造化検証が必要です。

フェーズ1：オフライン検証とパラメータ推定

• 目的:* フィールド展開前に基準パフォーマンスを確立し、指数化可能性条件を検証します。

• 手順:*

1. パラメータ推定: 最小4週間の運用にわたる履歴システムデータを抽出します。遷移確率$P(s’|s,a)$、観測モデルパラメータ（二値フィードバックの偽陽性率と偽陰性率）、およびログされたトランザクションから報酬構造を推定します。再現性を確保するため、すべてのフィルタリングと集約手順を文書化します。

2. 指数化可能性検証: 推定されたシステムがPCL条件を満たすことを確認します（Niño-Mora, 2007）：

   • 観測モデルにおける単調尤度比特性
   • 信念状態に関する価値関数の部分モジュラリティ
   • 指数計算の有限性

   条件が違反される場合、偏差の大きさを文書化し、近似誤差が有界のままであるかどうかを評価します。

3. オフラインシミュレーション: 計算された指数を使用してPCL指数化ポリシーを実装します。推定モデルの下でモンテカルロシミュレーション（最小1,000の独立した軌跡）を実行します。累積報酬、完全情報を持つオラクルに対する後悔、および信念状態全体での指数安定性を記録します。

4. 基準比較: シミュレートされた指数化ポリシーのパフォーマンスを現在の運用ポリシー（ヒューリスティック、ランダム、またはルールベース）と比較します。相対的改善を次のように計算します： $$\Delta = \frac{J_{\text{indexed}} - J_{\text{baseline}}}{|J_{\text{baseline}}|} \times 100%$$ ここで$J$は平均累積報酬を示します。$\Delta > 10%$であり、改善が$p < 0.05$レベルで統計的に有意である場合（例えば、t検定またはブートストラップ信頼区間を通じて）のみフェーズ2に進みます。

• 仮定:* 履歴データは将来の運用条件を代表しており、パラメータ推定は十分なデータで真の値に収束し、推定モデルは支配的なフィードバック劣化メカニズムをキャプチャします。

フェーズ2：継続的監視を伴うパイロット展開

• 目的:* オフライン予測が運用環境に転送されることを検証し、モデル誤指定を検出します。

• 展開範囲:* 初期展開を単一の明確に定義された運用ユニット（例えば、1つの地理的領域、1つの周波数帯、または1つの時間ウィンドウ）に制限します。この制限により、予期しない障害モードへの露出を制限します。

• 期間と測定プロトコル:*

• パイロットを最小4週間実行して、週単位および季節的変動をキャプチャします。

• 日単位の粒度で以下のメトリクスを測定します：

  • スループット: 成功した送信の総数またはサービスされたデータ量。
  • レイテンシ: 平均およびアクセス遅延の95パーセンタイル。
  • 干渉: 衝突率またはSINR（信号対干渉プラスノイズ比）分布。
  • パラメータドリフト: 遷移確率と観測モデルパラメータを週単位で再推定します。現在の推定値と基準推定値の間のKullback–Leibler発散を計算します。発散が事前指定されたしきい値を超える場合にフラグを立てます（例えば、0.05ナッツ）。

• 成功基準:*

• 観測されたパフォーマンスメトリクスはフェーズ1予測と±10%以内で一致します。

• パラメータドリフトは最小限に保たれます（KL発散は週あたり0.05ナッツ未満）。

• 計画外のポリシー障害またはアラートしきい値違反がありません。

• 決定ルール:* 全4週間にわたってすべての成功基準が満たされた場合、フェーズ3に進みます。基準が違反された場合、パラメータ推定またはモデル構造を修正するためにフェーズ1に戻ります。

• 仮定:* パイロット環境はターゲット展開環境を代表しており、4週間はモデル誤指定を検出するのに十分であり、±10%の許容度は許容可能な運用リスクを反映しています。

フェーズ3：フルスケール展開と適応的保守

• 目的:* 検証された指数化ポリシーを運用ドメイン全体に展開し、継続的な監視と適応的再計算を行います。

• 展開手順:*

1. 段階的展開: 指数化ポリシーを2週間の期間にわたってシステム全体に拡張し、カバレッジを段階的に増加させて、システム的問題の早期検出を可能にします。

2. 測定とフィードバックループ:

   • 週単位の測定: パフォーマンスメトリクス（スループット、レイテンシ、干渉、パラメータ推定）を週単位の間隔で収集および集約します。
   • 月単位の再計算: 最新の4週間のデータを使用してシステムパラメータを再推定します。パラメータ変更が有意性しきい値を超える場合、指数を再計算します（例えば、任意の遷移確率での相対変化が5%を超える）。監査および規制目的のため、すべての再計算を文書化します。

3. フォールバックポリシー: 指数化されたポリシーのパフォーマンスが事前指定されたしきい値を下回る場合に1時間以内に起動できる事前計算されたフォールバックポリシー（例えば、フェーズ1基準またはコンサーバティブなヒューリスティック）を保持します（例えば、スループットが4週間のローリング平均に対して15%以上低下）。

4. アラートしきい値とエスカレーション:

   • イエローアラート: パラメータドリフト（KL発散）が0.1ナッツを超えるか、パフォーマンスメトリクスが予測から10%以上逸脱します。手動レビューおよびオプションの再計算をトリガーします。
   • レッドアラート: パフォーマンスが20%以上低下するか、指数化可能性条件が違反されます。フォールバックポリシーを起動し、エンジニアリングチームにエスカレートします。

5. 規制文書: 以下を記録する決定ログを保持します：

   • すべてのポリシー更新と再計算の日付と根拠。
   • 各再計算サイクルでのパラメータ推定と指数値。
   • アラート起動と実施された是正措置。
   • 指数化ポリシーのパフォーマンスと規制基準またはサービスレベルアグリーメントの比較。

• 仮定:* 月単位の再計算頻度はパラメータドリフトを追跡するのに十分であり、フォールバックポリシーは常に利用可能でパフォーマンスが高く、規制要件は文書化された決定根拠を通じて満たすことができます。

範囲と制限

PCL指数化可能性フレームワークは以下の場合にのみ厳密に適用されます：

1. システムが不安定バンディット構造を示す（状態はアクションとは無関係に進化）。
2. 二値フィードバックが唯一利用可能な観測です（または重要な情報を失うことなく二値形式に集約できます）。
3. 推定モデルに対してPCL条件が成立します（または近似誤差が定量化されます）。

非二値フィードバック、強いアクション依存状態進化、または高度に非定常なパラメータを持つシステムは、代替アプローチが必要な場合があります（例えば、Thompson抽出法、文脈的バンディット、または適応制御）。

重要な要点

不完全な二値フィードバックを伴う不安定バンディットは、スペクトラムアクセス、センサーネットワーク、および内生的フィードバック下のオンライン学習全体で発生します。PCL指数化可能性は、部分観測可能性の下での逐次意思決定のための原則的で計算上扱いやすいフレームワークを提供し、真のシステムダイナミクスを観測ノイズから分離します。展開の成功は、厳密なオフライン検証、継続的監視を伴うパイロットテスト、および文書化された決定根拠を伴う適応的保守に依存します。前進の道は明確です：パラメータを保守的に推定し、指数化可能性を検証し、指数をオフラインで計算し、フォールバック保護措置を伴って展開し、継続的に測定し、月単位で反復します。この構造化されたアプローチは理論的厳密性と運用的実用性のバランスを取り、規制され安全性が重要なドメインでの高度なバンディットアルゴリズムの採用を可能にします。

再現性ヘッダー

• 問題クラス: 二値潜在状態と不完全な二値フィードバックを伴う不安定マルチアームドバンディット
• 運用コンテキスト: センサーノイズ下でのワイヤレススペクトラム割り当て
• 主要制約: チャネル状態は独立して進化し、観測は信頼できません
• 実現可能性仮定: オフラインポリシー計算が利用可能であり、オンライン推論レイテンシが100ms以下で許容可能

---

中核的な運用上の問題

ワイヤレススペクトラム管理は、従来の意思決定フレームワークを破壊する2つの複合的な不確実性の下で運用されます：

1. チャネルダイナミクスは自律的です。 ライセンスされたチャネルは、あなたのセンシングまたは送信決定とは無関係に、アイドル状態とアクティブ状態の間を遷移します。プローブとして自由と判定したチャネルが送信中に占有される可能性があります。回避したチャネルがクリアされている可能性があります。

2. センサーは不完全です。 検出機器は典型的な展開で約85%の精度を達成します（製造業者全体で±3%の分散）。チャネルは占有されているときに15%の確率で「自由」と表示され、実際にアイドル状態のときに15%の確率で「占有」と表示されます。

• 運用上の結果:* 貪欲なヒューリスティック（常に最も自由に見えるチャネルで送信）は体系的に失敗します。実際には占有されているが見えるチャネルに送信スロットを割り当て、干渉ペナルティ（規制罰金、サービス低下、再送信コスト）が発生します。同時に、実際にはアイドル状態だが占有されているように見えるチャネルを回避し、容量を未使用のままにします。

• コスト影響:* 10分間の観測ウィンドウを持つ5チャネルシステムでは、貪欲なアプローチは利用可能な容量の18～22%を浪費し、12～15%の干渉インシデントを生成します。このギャップを修正することが不安定バンディット問題です。

---

• 図2：チャネル状態の二状態マルコフ連鎖と遷移確率*

• 図3：不完全二値フィードバックモデル—真の状態と観測の確率的関係（記事の仮定2に基づく）*

標準的なバンディット解決策が失敗する理由

古典的なマルチアームドバンディットアルゴリズム（UCB、Thompson抽出法、ε-貪欲）は以下を仮定します：

• 静的または緩やかに変動する状態: アームを引くと、その報酬が明らかになり、その情報は持続します。
• 完全なフィードバック: アクションの真の結果を観測します。

スペクトラムアクセスは両方の仮定に違反します。

• ギャップ1：状態の自律性。* このスロットでチャネル3をプローブしない場合、その真の状態は変わる可能性があります。不作為は情報を提供しません。古典的なバンディットはアームの探索を最適化します。不安定バンディットは進化する状態の観測を最適化する必要があります。チャネルをスキップする決定は受動的ではなく、不確実性への高い約束です。

• ギャップ2：観測ノイズ。* センサーはチャネル2を自由と報告します。古典的なアルゴリズムはこれを基本的事実として扱います。不完全なフィードバックを伴う不安定バンディットは、ノイズのある観測とは別に、真のチャネル占有率の確率的推定である信念状態を保持する必要があります。この信念は直接観測ではなく、ベイズ更新を通じて進化します。

• 実践的な障害モード:* 貪欲なアルゴリズムはチャネル1、3、5を自由と観測し、チャネル2を占有と観測します。送信をチャネル1、3、5に割り当てます。チャネル2の観測が偽陽性（実際には自由）であり、チャネル1の観測が偽陰性（実際には占有）である場合、アルゴリズムは占有されたチャネルで送信し、利用可能な容量を見逃します。100スロット全体で繰り返されると、これは測定可能なスループット損失と規制露出に複合します。

実行可能なフレームワーク：信念状態インデックス化

オペレータは観測駆動型の意思決定から信念駆動型の意思決定へシフトする必要があります。これには3つの運用ステップが求められます。

ステップ1：確率的チャネル信念の維持

各チャネルについて以下を追跡します：

• 事前確率： P(チャネルが空いている)の履歴推定値

• 観測： このスロットのセンサ読み値(空いている、または占有されている)

• 事後確率： ベイズ推論後の更新された信念

• ワークフロー：*

各チャネル i について：
  1. 事前確率信念を取得：b_i(t) = P(空いている | 履歴)
  2. センサ読み値を観測：o_i(t) ∈ {空いている、占有されている}
  3. ベイズの定理を適用：
     b_i(t+1) = P(o_i(t) | 空いている) × b_i(t) / P(o_i(t))
  4. 自律的な遷移を考慮：
     b_i(t+1) ← transition_matrix × b_i(t+1)

• 計算コスト：* n個のチャネルについて1スロットあたりO(n)。n ≤ 100の場合、標準ハードウェアで実行可能です。

• リスク：* 遷移確率が誤指定されている場合、信念推定は劣化します。軽減策： 2～4週間の履歴データを使用してオフラインで遷移確率を推定し、四半期ごとに更新します。

ステップ2：配置インデックスの計算

信念が維持されたら、各チャネルについてホイットルインデックスを計算します。これは以下のバランスを取るスカラーランキングです：

• 探索価値： このチャネルをプローブすることで不確実性がどの程度低減されるか

• 搾取価値： このチャネルが空いており、送信に値する可能性はどの程度か

• 実践的解釈：* ホイットルインデックスは「均衡点センシングコスト」です。チャネルをプローブするコストがそのインデックスを超える場合はスキップします。コストがインデックス以下の場合はプローブします。

• ワークフロー：*

信念 b_i を持つ各チャネル i について：
  1. プローブの価値を計算：V_probe(i) = 予想スループット利得
  2. スキップの価値を計算：V_skip(i) = 予想スループット損失
  3. ホイットルインデックス λ_i = V_probe(i) - V_skip(i)
  4. チャネルを λ_i でランク付け(降順)
  5. 上位k個のチャネルに送信を配置

• 計算コスト：* 1スロットあたりO(n log n)(ソート)。n ≤ 1,000の場合、実行可能です。

• リスク：* インデックス計算は既知の遷移確率とセンサ精度を想定しています。これらのパラメータがドリフトした場合(例：センサ精度が80%に低下)、インデックスは古くなります。軽減策： インデックスを週単位で再計算し、センサ精度を継続的に監視します。

ステップ3：配置ポリシーの実行

ホイットルインデックスでランク付けされたチャネルに送信スロットを配置します。以下の制約に従います：

• 容量制約： 総送信数 ≤ 時間ウィンドウあたりの利用可能スロット

• 公平性制約： N個の連続スロット以上、チャネルが飢餓状態にならない

• レイテンシ制約： 意思決定は100ms以内に完了する必要があります

• ワークフロー：*

各スロット：
  1. すべてのチャネルの信念を更新(ステップ1)
  2. ホイットルインデックスを計算(ステップ2)
  3. チャネルをインデックスでソート
  4. 上位k個のチャネルに送信を配置(k = 利用可能容量)
  5. 配置、観測、結果をオフライン分析用にログ

• 運用チェックリスト：*

• センサ精度ベースラインが確立されている(目標：≥85%)

• 遷移確率推定値が利用可能(履歴データから)

• 信念更新コードが1週間の履歴トレースでテストされている

• インデックス計算レイテンシが測定されている(<100ms)

• 配置ポリシーがシャドウモードで展開されている(決定をログ、実行しない)

• シャドウモード結果が2週間、貪欲ベースラインと比較されている

• ライブ展開が信念ダイバージェンスの監視アラート付きで実施されている

---

実行可能性の制約とトレードオフ

計算オーバーヘッド

• 信念更新： チャネルあたりスロットあたり0.5～2ms(n=100：合計50～200ms)
• インデックス計算： スロットあたり5～20ms
• 総レイテンシ： スロットあたり60～250ms
• 軽減策： 信念更新を並列化し、一般的な信念状態についてインデックスを事前計算します

データ要件

• 遷移確率： 2～4週間の履歴チャネル占有データ
• センサ精度： 1週間のグラウンドトゥルース検証(手動またはデュアルセンサ)
• ギャップリスク： 履歴データが代表的でない場合(例：ピーク時間外に収集)、ピーク時間中はインデックスが最適ではなくなります
• 軽減策： 複数の時間帯ウィンドウ全体でデータを収集し、推定値を季節ごとに更新します

展開リスク

• 仮定のドリフト： センサ精度、遷移確率、またはチャネル動作が変わる可能性があります
• 検出： 配置結果(干渉インシデント、スループット)を週単位で監視します
• 対応： スループットが5%以上低下するか、干渉インシデントが10%以上増加した場合、貪欲ベースラインに戻し、再トレーニングします

---

具体例：5チャネルコグニティブラジオ

• セットアップ：*

• 5つのライセンスチャネル、各チャネルはアイドル/アクティブ間で60%のアイドル確率で遷移

• センサ精度：85%(15%の誤検知、15%の見落とし)

• 容量：10分ウィンドウあたり3送信スロット

• 目標：干渉を最小化しながらスループットを最大化

• ベースライン(貪欲)：* 最も空いていると観測されたチャネル3つに常に送信します。

• 予想スループット：1.8スロット/ウィンドウ(容量の60%)

• 予想干渉：0.3インシデント/ウィンドウ

• 信念状態インデックス化：*

1. 各チャネルの信念を維持(事前確率：60%アイドル)
2. 各観測後に信念を更新
3. ホイットルインデックスを計算
4. インデックスの上位3チャネルに配置

• 予想改善：*

• スループット：2.4スロット/ウィンドウ(+33%)

• 干渉：0.05インシデント/ウィンドウ(-83%)

• 計算コスト：10分ウィンドウあたり約150ms(無視できる)

• 実装タイムライン：*

• 第1週：履歴データを収集し、パラメータを推定

• 第2週：信念更新とインデックス計算を実装

• 第3週：シャドウモードテスト(決定をログ、貪欲と比較)

• 第4週：監視付きでライブ展開

---

戦略と現実のギャップ

ギャップ1：パラメータ不確実性

• 戦略：* 既知の遷移確率とセンサ精度を使用してインデックスを計算します。

• 現実：* これらのパラメータは限定的なデータから推定され、間違っている可能性があります。

• 軽減策：* 感度分析を実施します。±10%のパラメータ変動についてインデックスを計算します。ランキングが変わる場合は、ロバストインデックス(パラメータ範囲全体の平均)を使用します。

ギャップ2：非定常環境

• 戦略：* チャネルダイナミクスが定常的(遷移確率が一定)と仮定します。

• 現実：* チャネル占有は時間帯、曜日、季節によって変わります。

• 軽減策：* データを時間帯でセグメント化します。ピーク/オフピーク時間について別々の遷移確率推定値を維持します。四半期ごとに再トレーニングします。

ギャップ3：センサ劣化

• 戦略：* センサ精度が85%のままと仮定します。

• 現実：* センサは時間とともに劣化します(6ヶ月後、精度は75%に低下する可能性があります)。

• 軽減策：* センサ精度を月単位で検証します。精度が80%以下に低下した場合、メンテナンスをスケジュールします。75%以下の場合、貪欲ベースラインに戻します。

ギャップ4：計算レイテンシ

• 戦略：* インデックス計算は100ms以内に完了する必要があります。

• 現実：* 最適化されていないコードは500ms以上かかる可能性があります。

• 軽減策：* ターゲットハードウェアでコードをプロファイルします。ホットループにはコンパイル言語(C++、Rust)を使用します。信念更新を並列化します。一般的な信念状態についてインデックスを事前計算します。

---

意思決定チェックポイント：実装のタイミング

• 以下の場合は信念状態インデックス化を実装します：*

• スペクトラム容量が制約されている(利用率>70%)

• センサ精度が既知で≥80%

• 干渉インシデントが高コスト(規制罰金、SLA違約金)

• パラメータ推定に利用可能な履歴データがある

• 計算リソースが利用可能(レイテンシ予算>100ms)

• 以下の場合は貪欲ヒューリスティックを使用し続けます：*

• スペクトラムが豊富(利用率<50%)

• センサ精度が不明または<75%

• 干渉インシデントが稀で低コスト

• 履歴データが利用不可

• レイテンシ予算が<50ms

---

実行可能な次のステップ

1. 現在のシステムを監査： 1週間にわたってセンサ精度、チャネル占有分布、干渉インシデント率を測定します。

2. パラメータを推定： 2～4週間の履歴データを収集します。遷移確率とセンサ精度を計算します。

3. オフラインでプロトタイプ化： 信念更新とインデックス計算を実装します。履歴トレースでテストします。貪欲ベースラインと比較します。

4. シャドウモードでパイロット： 本番環境に展開しますが、決定をログして実行しません。シャドウ決定と実際の貪欲決定を2週間比較します。

5. 監視付きでライブ展開： ライブで展開します。スループット、干渉、信念ダイバージェンスを週単位で監視します。アラート閾値を確立します(例：スループット低下>5%)。

6. 四半期ごとに反復： パラメータを再トレーニングし、センサ精度を検証し、インデックスを更新します。

---

要約：実践における測定と検証

3信号監視フレームワーク(インデックス化可能性、経験的パフォーマンス、パラメータ妥当性)は、システム劣化の早期警告を提供します。週単位の検証サイクルと日単位のパフォーマンス監視により、迅速な検出と対応が可能になります。リスク軽減戦略(3重のパラメータ推定、インデックス化可能性検証ゲート、フォールバックポリシー)は、最も可能性の高い障害モードに対する多層防御を提供します。

• 主要な実装コスト：*

• 初期セットアップ：2～4週間(計測、ダッシュボード、検証パイプライン)

• 継続的メンテナンス：週4～8時間(パラメータ再推定、インデックス化可能性検証、アラート分類)

• 計算リソース：ログと分析に月100～500ドル

• 主要なリスクと軽減策：*

• パラメータドリフト → 合意投票による隔週再推定

• インデックス化可能性違反 → フォールバックポリシー付き週単位検証

• 計算エラー → 比較による重複実装

• 予想される結果：*

予測の15%以内で予測可能なパフォーマンスを維持し、7日以内に障害を検出し、1時間以内にロールバックまたはフォールバックで復旧できるシステム。

---

スペクトラムアクセスの不確実性下での課題：不安定なバンディット問題—適応的リソース配置への入口

ワイヤレススペクトラム管理は転換点に立っています。今日、チャネル占有を検出するセンサは不完全です。チャネルが占有されているときに空いていると見え、空いているときに占有されていると見えます。明日の自律システムは、グラウンドトゥルースへの直接アクセスなしに、数十、数百、または数千のチャネル全体で送信スロットを配置する必要があります。ノイズの多い観測のみに依存します。これが、二値潜在状態と不完全な二値フィードバックを伴う不安定なバンディット問題です。古典的なバンディット解法が崩壊する設定です。チャネル状態はアクションとは独立に進化し、観測自体が信頼できない信号だからです。

• 主張：* 機会的スペクトラムアクセスは莫大な経済価値を解放する準備ができています。ただし、真のチャネルダイナミクスを観測ノイズから分離し、この基本的な分離にもかかわらず最適配置インデックスを計算するフレームワークを構築した場合のみです。勝者は、不確実性を最小化すべき制約ではなく、活用すべき設計パラメータとして扱う者になります。

• 根拠：* 標準的なマルチアームドバンディットは、探索されるまで状態が静的なままと仮定します。スペクトラムが提供できない贅沢です。不安定なバンディットは、プローブされるかどうかに関わらず、チャネルが空いている状態と占有状態の間を自律的に遷移するモデルです。不完全なフィードバックは、不確実性の第2の複合層を追加します。観測したものは真実を確実に明かしません。従来のインデックスポリシーはこの二重不確実性の下で崩壊します。観測と現実を混同するからです。実務家はチャネルが空いていると観測し、送信を配置し、失敗します。決定が観測に基づいて間違っていたからではなく、観測が誤解を招いたからです。このシグナルと真実のギャップが、将来の競争優位が生まれる場所です。

より深い機会：観測ノイズの下で効果的に動作できるシステムは、スペクトラムをはるかに超えて一般化します。サプライチェーン可視性、センサネットワーク、自動運転車の認識、医療診断。すべて同じ構造的課題に直面しています。不安定なバンディットと不完全なフィードバックを解決するために必要な数学的および計算的ブレークスルーは、次世代の適応型システムの基礎インフラストラクチャになります。

• 具体的シナリオ：* コグニティブラジオシステムが5つのライセンスチャネルを監視します。各チャネルは、未知の遷移確率でアイドル状態とアクティブ状態の間を遷移します。都市環境では現実的です。使用パターンは時間ごとに変わります。センシング機器の精度は85%です。商用RFセンサの典型値です。アルゴリズムは各タイムスロットでどのチャネルをプローブするかを決定する必要があります。貪欲なアプローチ(常に最も空いていると観測されたチャネルをプローブ)は、実際には占有されているが空いていると見えるチャネルの機会を無駄にし、干渉ペナルティと規制リスクを招きます。素朴な探索(ランダムプローブ)は同様に無駄です。実際のコスト構造：占有されたチャネルで送信するとスペクトラムの評判を傷つけ、執行措置を招きます。本当に空いているチャネルを逃すとスループットと収益が失われます。システムは予算制約の下で、リアルタイムでシグナルをノイズから区別することを学ぶ必要があります。

• 地平線ベット：* 5年以内に、スペクトラムアクセスは静的ライセンスから動的で信念認識型の配置へシフトします。規制当局(FCC、OFCOMなど)は既に共有スペクトラムフレームワークをパイロットしています。信念状態モデルを今展開する組織(生の観測に反応するのではなく、真のチャネル占有の確率推定値を維持)は、不均衡な価値を獲得します。また、新しい(ノイズの多い)観測が到着するにつれて蓄積される実世界フィードバックに戻される運用インサイトとデータも生成します。これは政策設計に入ります。イノベーションの好循環を作成します。

• 実行可能な含意：* オペレータは観測ベースのヒューリスティックを超えて、真のチャネル占有の確率推定値を維持し、新しい(ノイズの多い)観測が到着するにつれて継続的に更新する信念状態モデルへ移行する必要があります。このシフトには、展開前にポリシーをオフラインで評価し、実世界フィードバックが蓄積するにつれて信念を再キャリブレーションする適応メカニズムを組み合わせた計算インフラストラクチャが必要です。インデックス化可能性分析と高速信念状態計算を組み合わせるこのインフラストラクチャを構築する組織は、スペクトラム効率の標準を設定し、次世代の共有フレームワークを設計する規制当局の信頼できるパートナーになります。これは段階的な最適化ではありません。不確実性の下でのリソース配置をどのように考えるかについての根本的な再構成です。

• 図5：信念状態インデックスフレームワークの全体フロー*