思考の幾何学:トロピカル多項式回路としてのTransformerの開示
思考の幾何学:トロピカル多項式回路としてのTransformerの開示 トロピカル幾何学が自己注意機構をMax-Plus代数として明らかにする 主張: Transformerの自己注意機構は、高信頼条件下においてmax-plus代数(トロピカル半環)として動作し、これはsoftmax関数における逆温度パラメータβを通じて形式化できる。 前提条件と定義: - Softmax注意機構は次のように定義される:α(i,j) = exp(β·s(i,...