ニュースから、自分の思い込みに気づく

テクノロジーと社会のニュースを、やさしい言葉で解きほぐすメディア。読み終えたとき、自分の見方が少し変わる記事を届けます。

Tag

#KVキャッシュ

AI・機械学習
2026年11月20日 13:18
AIエージェントの作業記憶をKVのグラフで共有する仕組みを示す見出しの横で、三毛のミケが不思議そうに問いかけ、鉢割れのハチが得意げに答えている。

Octopus、KVキャッシュ共有で複数エージェントを「1つの頭脳」に

AIエージェントに調べものを頼んだとしよう。エージェントは検索をかけ、ページを読み、数字を確かめ、もう一度検索する。その結果は、作業が終わるまでどこかに覚えておかなければならない。覚えておく方法しだいで、エージェントにかかるお金も、考える力も変わってくる。これが、大規模言語モデル(LLM)を使ったエージェントの「作業用メモリ」の問題だ。1つのエージェントにすべてを任せる方式では、結果が1本の長い記録に積み上がっていく。

-- いいね数
続きを読む
AI・機械学習
2026年11月5日 09:11
AIの作業メモリを残すか作り直すかを問う見出しの横で、研究者の鉢割れ猫ハチが興味深そうな表情を浮かべている画像。

AIの応答速度を左右するKVキャッシュ 分離型で「保存はただ」が崩れる

長いレポートをチャットボットに貼りつけて、そのあとに5つ質問を重ねたとしよう。どの質問にも、同じ長い書き出しがついてくる。システムがその書き出しを覚えているか、毎回やり直すか。それしだいで、答えが返ってくる速さも、あなたに応えるためのコストも変わってくる。この「覚えておく仕組み」の裏には、いま多くの大規模なAIサービスが選んでいる設計がある。答えるまでの仕事を2つに分け、その間で記憶を受け渡すという設計だ。

-- いいね数
続きを読む
TOPへ