自分の認知と学習を静かに磨くデジタルノート
速く流れていく情報から少し離れ、自分の頭でじっくり考えられる文章だけを集めています。
更新
2026/7/28
Tag
フラットな最小値は幻想なのか フラットネスのパラドックス：損失ランドスケープの幾何学が測定アーティファクトになるとき 主張： フラットな最小値がより良い汎化と相関するという広く信じられている見方は、モデル自体の根本的な性質ではなく、パラメータ化の選択によって生じた幻想に基づいているかもしれません。 根拠： ニューラルネットワークの損失ランドスケープは座標に依存しません。損失関数 $\mathcal{L}(\theta)$ はパラメータ化 $...
スパースグッドネス：選択的測定がフォワード・フォワード学習をいかに変革するか グッドネス関数のボトルネック フォワード・フォワード（FF）学習は、層ごとのローカル学習ルールを実装することで、逆伝播に対する生物学的に妥当な代替案を提案しています。各層はグッドネス関数（正例データと負例データを区別するスカラーメトリクス）を採用し、グローバルなエラー信号なしでの訓練を可能にしています（Hinton, 2022）。この設計上の選択は、標準的なディープラーニングから...
前置き AI システムにおける「学習」とは、実際のところ何を意味するのか 「学習」という用語は、認知科学と機械学習エンジニアリングの間で異なる意味を持っており、この区別は運用段階の AI デプロイメントにおいてしばしば曖昧にされています。認知科学における学習とは、生物が内部的な心的モデルを更新し、新しい情報を既存の知識構造に統合し、獲得したパターンを新しい文脈へと一般化するプロセスを指します（Schacter et al., 2007）。このプロセスには神...
季節トレンド分解の再検討：時系列予測の強化に向けて 現代的予測における分解の必然性 従来の時系列予測では、ニューラルネットワークが生の系列からトレンド、季節性、周期的パターン、ノイズを同時に学習する必要があります。この同時最適化は二つの明確な課題をもたらします。第一に最適化の困難性です。モデルは異なる時間特性を持つ複数の成分にわたって競合する目的関数のバランスを取らなければなりません。第二に解釈可能性の低下です。学習された表現が複数の信号源を混在させるため、...