自分の認知と学習を静かに磨くデジタルノート
速く流れていく情報から少し離れ、自分の頭でじっくり考えられる文章だけを集めています。
更新
2026/7/28
Tag
生物進化と情報獲得 情報処理システムとしての進化 生物進化は、環境信号を遺伝的修正へと変換する情報獲得メカニズムとして機能します。その変換は、差別的な生殖成功を通じて行われます。この視点は自然選択を比喩的な「適者生存」ではなく、表現型変異のサンプリング、適応度の帰結評価、そして世代を超えた遺伝的形式での解決策の保存という機械的プロセスとして再構成します。 ゲノムは祖先的な環境との遭遇の符号化された記録として機能します。各対立遺伝子は、特定の生態学的文脈の中...
マスク離散シーケンスモデルにおけるペアワイズ相互情報量のニューラル推定 マスクシーケンスモデルにおける隠れた依存性の問題 マスク離散シーケンスモデル—タンパク質構造予測（AlphaFold2、OmegaFold）、コード生成（CodeBERT、GraphCodeBERT）、自然言語処理（BERT、RoBERTa）に展開されているものを含む—は条件付き独立性の仮定の下で動作します。これらのモデルはマスクされたトークンを可視コンテキストに条件付けて予測します。形...
形式的定理証明器がなぜ莫大な計算資源を要求するのか 大規模言語モデル（LLM）は形式的定理証明タスク（Lean、Coq、Isabelleなど）において測定可能な能力を示していますが、本番環境での展開は深刻なスケーラビリティの制約に直面しています。最先端のシステムは、（1）広範なテスト時ロールアウト（定理あたり500～5,000以上の証明試行が記録されています：Thakur et al., 2024; OpenAI Codex評価）、または（2）拡張されたコンテキ...