ニュースから、自分の思い込みに気づく

テクノロジーと社会のニュースを、やさしい言葉で解きほぐすメディア。読み終えたとき、自分の見方が少し変わる記事を届けます。

Tag

#ニューラルネットワーク

AI・機械学習
2026年10月8日 21:06
先頭に指揮者のいない作業員の列が、それぞれ違う速さで荷車を引いて、列がぐにゃぐにゃに乱れている様子のイラスト。

ローカル学習の「深さに弱い」「設定が壊れやすい」は同根か スペクトル更新で検証する

ローカル学習は、各層が自分専用の補助的な損失(学習の目標となる指標)で訓練される方式だ。ネットワーク全体を逆向きにたどる計算(バックプロパゲーション)は使わない。原理的には、メモリを節約でき、層ごとに並列で訓練できる。ところが実際には、いまも一部の研究にとどまっている。理由は2つある。ネットワークが深くなると、精度が大きく落ちる。ハイパーパラメータ(学習率など訓練前に決める設定値)も壊れやすく、アーキテクチャやデータセットが変わると、同じ設定がほとんど通用しない。

-- いいね数
続きを読む
AI・機械学習
2026年5月22日 15:59
A three-dimensional mathematical loss landscape showing the same valley appearing both flat and sharp from different viewing angles, illustrating how parameterization affects the perception of flatness in neural network optimization

フラットな最小値は幻想なのか

フラットな最小値がより良い汎化と相関するという広く信じられている見方は、モデル自体の根本的な性質ではなく、パラメータ化の選択によって生じた幻想に基づいているかもしれません。根拠: ニューラルネットワークの損失ランドスケープは座標に依存しません。損失関数 $\mathcal{L}(\theta)$ はパラメータ化 $\theta$ に明示的に依存しています。

-- いいね数
続きを読む
AI・機械学習
2026年4月30日 14:59
Abstract visualization of neural network layers showing selective neuron activation patterns, with some nodes brightly illuminated in golden yellow against a blue background, representing sparse measurement in Forward-Forward learning architecture

スパースグッドネス:選択的測定がフォワード・フォワード学習をいかに変革するか

フォワード・フォワード(FF)学習は、層ごとのローカル学習ルールを実装することで、逆伝播に対する生物学的に妥当な代替案を提案しています。各層はグッドネス関数(正例データと負例データを区別するスカラーメトリクス)を採用し、グローバルなエラー信号なしでの訓練を可能にしています(Hinton, 2022)。この設計上の選択は、標準的なディープラーニングからの大きな転換である逆伝播勾配の必要性を排除しています。

-- いいね数
続きを読む
AI・機械学習
2026年3月31日 09:49
Split illustration comparing biological learning and AI processing: a human brain with dynamic, glowing neural connections on the left contrasts with a rigid, geometric AI network structure on the right, highlighting the fundamental difference between adaptive learning and fixed pattern matching

AIの「学習」は幻想 推論中はパラメータが一切変化しない構造的事実

「学習」という用語は、認知科学と機械学習エンジニアリングの間で異なる意味を持っており、この区別は運用段階の AI デプロイメントにおいてしばしば曖昧にされています。認知科学における学習とは、生物が内部的な心的モデルを更新し、新しい情報を既存の知識構造に統合し、獲得したパターンを新しい文脈へと一般化するプロセスを指します(Schacter et al., 2007)。このプロセスには神経基質の構造的な修正が伴い、経験後の行動能力に実証可能な変化が生じます。

-- いいね数
続きを読む
AI・機械学習
2026年2月28日 09:49
Visualization of time series decomposition showing a single waveform separating into three distinct components: a smooth trend line, a regular seasonal pattern, and irregular residual noise, rendered in blue and teal gradients against a light analytical background

季節トレンド分解の再検討:時系列予測の強化に向けて

従来の時系列予測では、ニューラルネットワークが生の系列からトレンド、季節性、周期的パターン、ノイズを同時に学習する必要があります。この同時最適化は二つの明確な課題をもたらします。第一に最適化の困難性です。モデルは異なる時間特性を持つ複数の成分にわたって競合する目的関数のバランスを取らなければなりません。第二に解釈可能性の低下です。学習された表現が複数の信号源を混在させるため、個別の成分を識別することが困難になります。

-- いいね数
続きを読む
TOPへ