表現層がメカニスティック解釈可能性のボトルネックとなる問題:マニフェステーション・ユニット・プロトコル
表現層がメカニスティック解釈可能性のボトルネックとなる問題:マニフェステーション・ユニット・プロトコル インベントリ問題:豊かな分析、閉じ込められた出力 メカニスティック解釈可能性は実質的な経験的進展をもたらしています。研究者は特定の意味的特徴をエンコードするニューロンを特定する手法(Elhage et al., 2022)、注意ヘッドのルーティングパターンをマッピングする手法(Clark et al., 2019)、モデルの計算を解釈可能な回路に分解する手...