鉄鋼AIの高精度は錯覚か SteelAgentが示すランダム分割の落とし穴
練習問題の数字だけを少し変えた問題が本番に出たとする。生徒はその試験で満点を取った。成績は立派に見えるが、初めて見る問題を解けるかどうかは、ほとんど分からない。鉄鋼の強度を予測するモデルも、同じ落とし穴にはまることがある。新しいプレプリント「SteelAgent(arXiv:2611.06953)」は、この問題をはっきり指摘している。鉄鋼の特性モデルは「ランダムな分割では良い成績を出せても、見慣れない合金への外挿は苦手なことがある」というのだ。