自分の認知と学習を静かに磨くデジタルノート
速く流れていく情報から少し離れ、自分の頭でじっくり考えられる文章だけを集めています。
更新
2026/9/20
Tag
フロンティアモデルの品質を維持しながら、コストを半減させる小規模モデルの蒸留と運用 モデルデプロイメントの経済学：フロンティアモデルが本番環境で持続不可能である理由 GPT-4やClaude 3 Opusといったフロンティアモデルは優れた推論能力を示していますが、本番環境での規模展開において経済的に成立しないコスト構造を強制します。エージェントシステムをデプロイする組織は根本的な制約に直面しています。これらのモデルは複雑な推論タスクで例外的なパフォーマンス...
大規模言語モデルのための二段階オプティマイザ認識型オンラインデータ選択 オフライングラディエント選択とオンラインの現実 グラディエントベースのデータ選択手法は、LLM ファインチューニング時のサンプル有用性を推定するための原理的な基盤を確立しています。理論的根拠は堅牢です。各訓練例のグラディエントと検証性能目標との整合性を計算し、整合性の高いサンプルを優先するというアプローチです。このアプローチは、完全なデータセットが事前に利用可能であり、選択フェーズと訓練...
微調整されたQwen2.5-7Bを100本の映画で訓練した確率的ストーリーグラフ 映画学とシステムズエンジニアリングの架橋 映画のナラティブとシステムズエンジニアリングにまたがる学際的研究は、構造的な同型性を露呈させる。物語は有向非環グラフとして形式化可能であり、登場人物、事象、感情的なビートがノードを構成し、因果関係またはテーマ的関係がエッジを構成する。この観察は比喩的ではない。ナラティブ構造を数学的グラフ理論の言葉で正確に言い直したものであり、数十年のナ...
コールセンターQ&Aデータセットを通じたドメイン特化型LLMの適応 LLMのファインチューニングには高品質な指示データが必要 主張: 大規模言語モデルは、汎用的な事前学習済み重みのみに依存するのではなく、運用コンテキストに基づいた質問-回答ペアという形式の高品質な指示フォーマットデータセットでファインチューニングすることで、ドメイン特化型の能力を獲得する。 理論的基盤: 事前学習済みLLMは広範な言語パターンをエンコードしているが、制約さ...