行列の微分

ベクトルで微分をするには、元の型を保ったまま展開するのが基本。
これは慣習であって、必ずしもそうとは限らない。列ベクトルを列ベクトルで微分して行方向に展開してしまうこともある。

ヤコビ行列との関係
ヤコビ行列は，独立変数xを横方向に伸ばし，従属変数yは縦方向に展開するのが良いらしい。
この向きは，重積分の変数変換などでは（行列式にしてしまうので）どちらでも支障はないが，
テイラー展開などで左から列ベクトルに作用させる場合などには重要である。

Wiki, 幾何学B で出てきたのは次の形だった。
特に幾何学Bでは，転置や逆関数をとったりするから，向きに気をつけてさえいればどっちでもよさそうだった。


しかし，Taylor展開を自然に書くためには，xを横に伸ばす必要性が出てくる。
cf. １次のTaylor展開

行列関数を微分

行列関数Fの行列Aによる微分は、Fを行列RN×Mの各成分aijを引数とする多変数関数とみなして微分することができる。


これを利用して、合成行列関数の微分におけるヤコビ行列の積のようなものが得られると嬉しいが、残念ながら下記の様に成分毎の結果しか得られていない。



Traceをとる方法ではなく、M×N×P×Q個の成分を２つの行列の積として上手く並べる方法は見当たらない（vecを使う方法はある）。
The Matrix Cookbook 式122,126 でもこの形式を用いている。

逆行列による微分では、もう少し計算が進む。

Lem. 
 はXの逆行列X-1のij成分であるとして、
 
 (証明)
 
 ここで Y:=X-1と置くと、xijはY-1のij成分であることに注意して、
 
 このYをX、xijをと読み替えればよい。

逆行列による微分

 
 (証明)
 合成関数の微分公式によって、
 
  
  
  
この関係式から「系.Fは逆行列で最適化しても変わらない。」が導かれる。

Trの微分

次の交換が基本

detの微分

余因子展開と余因子行列の性質を用いると，次が分かる。

二次形式の微分

二次形式はスカラーであるから，トレースや転置をとっても変わらないことを利用する。
二次形式において、行列を対称成分と反対称成分に分けたとき、反対称成分は相殺してしまうので、表現行列として対称行列のみを考えて一般性を失わない。

方向微分による方法

定義に戻って，FのAにおけるH方向微分（Gateaux微分）を以下で計算する方法も有効である。
この計算で得られるのは，Jacobi行列の拡張に相当する作用素である。

計算結果において，Hは一般に外せない位置にくる。