トランスフォーマーアテンションにおける実行制御の欠陥
トランスフォーマーアテンションにおける実行制御の欠陥 アテンションメカニズムにおける実行制御のギャップ トランスフォーマーのアテンションメカニズムは、人間の認知を区別する重要な能力を欠いています。それが実行制御です。ここでは実行制御を、訓練データから学習した統計的パターンのみに依存するのではなく、タスク目標と文脈的要求に基づいて戦略的に情報フローを調整する能力として定義します。人間の認知は、トップダウンの制御プロセスを採用し、タスク無関連な情報を抑制し、目...