多変数微積分のための特殊な表記法
数学 において 、 行列計算は 多変数計算、特に 行列 空間上での計算 を行うための特殊な表記法である 。これは、 単一の 関数の多数の 変数 に関するさまざまな 偏導関数 、および/または 多変数関数 の単一の変数に関するさまざまな偏導関数を、 単一のエンティティとして扱うことができるベクトルと行列 に集める。これにより、多変数関数の最大値または最小値の検索や 微分方程式の解法などの操作が大幅に簡素化される。ここで使用される表記法は 統計学 や 工学 で一般的に使用されている が、 テンソル指数表記法は 物理学 で好まれる 。
2 つの競合する表記規則により、行列計算の分野は 2 つの別々のグループに分かれています。2 つのグループは、スカラーの ベクトル に関する導関数を列ベクトルと書くか 、行ベクトル と書くかで区別できます。ベクトルは、行列と組み合わせる場合は (行ベクトルではなく) 列ベクトルとして扱うべきであるという共通の仮定が立てられている場合でも、これらの規則は両方とも可能です。行列計算を一般的に使用する 1 つの分野 (計量 経済学 、統計学、 推定理論 、 機械学習 など) では、1 つの規則がある程度標準になる場合があります。ただし、特定の分野内であっても、競合する規則を使用する異なる著者が見つかることがあります。両方のグループの著者は、多くの場合、特定の規則が標準であるかのように書いています。互換性のある表記が使用されていることを慎重に確認せずに、異なる著者の結果を組み合わせると、重大な間違いが発生する可能性があります。これら 2 つの規則の定義と比較は、レイアウト規則のセクションにまとめられています。
範囲 行列計算とは、行列とベクトルを使用して、独立変数の各要素に対する従属変数の各要素の導関数を収集するさまざまな表記法を指します。一般に、独立変数はスカラー、ベクトル、または行列にすることができ、従属変数もこれらのいずれかにすることができます。それぞれの異なる状況は、異なる一連の規則、またはより広い意味での別の 計算 につながります。行列表記は、多くの導関数を整理された方法で収集するための便利な方法として機能します。
最初の例として、 ベクトル解析 の 勾配 を考えてみましょう。3つの独立変数のスカラー関数の場合、 勾配はベクトル方程式で与えられます。
f
(
x
1
,
x
2
,
x
3
)
{\displaystyle f(x_{1},x_{2},x_{3})}
∇
f
=
∂
f
∂
x
1
x
^
1
+
∂
f
∂
x
2
x
^
2
+
∂
f
∂
x
3
x
^
3
,
{\displaystyle \nabla f={\frac {\partial f}{\partial x_{1}}}{\hat {x}}_{1}+{\frac {\partial f}{\partial x_{2}}}{\hat {x}}_{2}+{\frac {\partial f}{\partial x_{3}}}{\hat {x}}_{3},}
ここで、 は の 方向 の単位ベクトルを表します。このタイプの一般化微分は、スカラー f のベクトル に関する 微分として考えることができ 、その結果はベクトル形式で簡単に収集できます。
x
^
i
{\displaystyle {\hat {x}}_{i}}
x
i
{\displaystyle x_{i}}
1
≤
i
≤
3
{\displaystyle 1\leq i\leq 3}
x
{\displaystyle \mathbf {x} }
∇
f
=
(
∂
f
∂
x
)
T
=
[
∂
f
∂
x
1
∂
f
∂
x
2
∂
f
∂
x
3
]
T
.
{\displaystyle \nabla f=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}={\begin{bmatrix}{\dfrac {\partial f}{\partial x_{1}}}&{\dfrac {\partial f}{\partial x_{2}}}&{\dfrac {\partial f}{\partial x_{3}}}\\\end{bmatrix}}^{\textsf {T}}.}
より複雑な例としては、スカラー関数の行列に対する導関数（勾配行列と呼ばれる）が挙げられます。勾配行列は、結果の行列内の対応する位置にある各行列要素に対する導関数を収集します。この場合、スカラーは行列内の各独立変数の関数でなければなりません。別の例として、 m 個 の独立変数の従属変数または関数の nベクトルがある場合、独立ベクトルに対する従属ベクトルの導関数を検討できます。結果は、すべての可能な導関数の組み合わせで構成される m × n 行列に収集できます 。
スカラー、ベクトル、行列を使用した場合、合計 9 つの可能性があります。独立変数と従属変数のそれぞれに含まれるコンポーネントの数が増えると、非常に多くの可能性が残ることに注意してください。行列形式で最もきれいに整理できる 6 種類の導関数は、次の表にまとめられています。 [1]
ここでは、ベクトルは単に 1 列の行列 (スカラーは単に 1 行のベクトル) であることを認識して、最も一般的な意味で「行列」という用語を使用しています。さらに、太字はベクトルを示し、太字の大文字は行列を示しています。この表記法は全体にわたって使用されています。
行列や表内の他の空白セルに対するベクトルの微分についても説明できることに注目してください。ただし、これらの微分は2 以上の階数の テンソル に最も自然にまとめられるため、行列にうまく収まりません。次の 3 つのセクションでは、これらの微分をそれぞれ定義し、他の数学の分野と関連付けます。より詳細な表については、レイアウト規則のセクションを参照してください。
他のデリバティブとの関係 行列微分は、計算を行う際に偏微分を記録するのに便利な表記法です。 フレシェ微分は、 関数解析 の設定において ベクトルに関して微分を取る標準的な方法です。行列の行列関数がフレシェ微分可能である場合、2 つの微分は表記の変換を除いて一致します。 偏微分 の場合一般の場合と同様に、いくつかの公式は、線形写像を近似する微分の存在よりも弱い解析条件下で拡張される場合があります。
使用法 行列計算は最適な確率推定量を導出するために使用され、多くの場合、ラグランジュ乗数 が使用されます 。これには以下の導出が含まれます。
表記 以降のセクションで説明するベクトルおよび行列の導関数は 、多数の変数を単一の変数で表すという 行列表記の利点を最大限に活用しています。以下では、スカラー、ベクトル、行列をその書体で区別します。 M ( n , m )が、 n 行 m 列の実数 n × m 行列 の空間を表すものとします 。このような行列は、太字の大文字を使用して A 、 X 、 Yなどと表記します。 M ( n ,1) の要素 、つまり 列ベクトルは 、太字の小文字で a 、 x 、 yなどと表記します。 M (1,1) の要素は スカラーであり、小文字のイタリック体書体で a 、 t 、 x などと表記します。 X T は 行列の 転置 、 tr( X ) は トレース 、 det( X ) または | X |は 行列式 です 。特に断りのない限り、すべての関数は 微分可能クラス C 1 であると想定されます 。一般に、アルファベットの前半 (a、b、c、...) の文字は定数を表すために使用され、後半 (t、x、y、...) の文字は変数を表すために使用されます。
注: 上で述べたように、ベクトルと行列の 偏微分 システムをレイアウトするための表記法は競合しており 、標準はまだ確立されていないようです。次の 2 つの導入セクションでは、説明が過度に複雑になるのを避けるために、便宜上、分子レイアウト規則を使用します。その後のセクションでは、レイアウト規則についてさらに詳しく説明します。次の点を理解することが重要です。
「分子レイアウト」と「分母レイアウト」という用語が使用されていますが、実際には 2 つ以上の表記法の選択肢があります。その理由は、分子と分母 (または状況によっては分子と混合) の選択は、スカラー対ベクトル、ベクトル対スカラー、ベクトル対ベクトル、およびスカラー対行列の導関数ごとに独立して行うことができ、多くの著者がさまざまな方法でレイアウトの選択を組み合わせているからです。 以下の導入セクションで分子レイアウトを選択しているからといって、それが「正しい」または「優れた」選択であることを意味するわけではありません。さまざまなレイアウト タイプには、長所と短所があります。異なるレイアウトで記述された数式を不注意に組み合わせると、重大な間違いが発生する可能性があります。また、あるレイアウトから別のレイアウトに変換する場合は、間違いを避けるために注意が必要です。したがって、既存の数式を操作する場合、すべての状況で同じレイアウトを使用するのではなく、使用されているレイアウトを識別して一貫性を維持するのが最善の策です。
代替案 テンソル のインデックス表記法 とその アインシュタイン和の 規則は、一度に 1 つの要素しか記述できないことを除いて、行列計算と非常によく似ています。この表記法には、任意の高階数のテンソルを簡単に操作できるという利点がありますが、2 階以上のテンソルは行列表記では非常に扱いにくくなります。ここでのすべての作業は、1 変数行列表記を使用せずにこの表記法で行うことができます。ただし、推定理論やその他の応用数学の分野では、インデックスが多すぎて適切に追跡できない問題が多く発生するため、これらの分野では行列計算の方が適しています。また、アインシュタイン表記法は、明示的な和を持ち運ぶと扱いにくくなる可能性がある一般的な要素表記法の代わりとして、ここで提示した恒等式を証明するのに非常に役立ちます ( 微分化 のセクションを参照)。行列は階数 2 のテンソルと見なすことができることに注意してください。
ベクトルによる微分 ベクトルは 1 列のみの行列であるため、最も単純な行列微分はベクトル微分です。
ここで開発された表記法は、 n ベクトル の 空間 M ( n ,1)を ユークリッド空間 R n と同一視し、スカラー M (1,1)を R と同一視することで、ベクトル計算 の通常の操作に対応できます 。ベクトル計算の対応する概念は、各サブセクションの最後に示されています。
注 : このセクションでの説明は、教育目的のため、分子レイアウト規則を前提としています。著者によっては、異なる規則を使用している場合もあります。レイアウト規則に関するセクションでは、この問題についてさらに詳しく説明します。以下に示す ID は、すべての一般的なレイアウト規則と組み合わせて使用できる形式で提示されます。
ベクトル×スカラー ベクトル の スカラー x による 微分 は （分子レイアウト表記で）次のように表される。
y
=
[
y
1
y
2
⋯
y
m
]
T
{\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}
d
y
d
x
=
[
d
y
1
d
x
d
y
2
d
x
⋮
d
y
m
d
x
]
.
{\displaystyle {\frac {d\mathbf {y} }{dx}}={\begin{bmatrix}{\frac {dy_{1}}{dx}}\\{\frac {dy_{2}}{dx}}\\\vdots \\{\frac {dy_{m}}{dx}}\\\end{bmatrix}}.}
ベクトル解析 では、スカラー x に関する ベクトル y の微分は、ベクトル yの 接線ベクトル と呼ばれます 。 ここで、 y : R 1 → R m であることに注意してください。
∂
y
∂
x
{\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}
例 簡単な例としては、 ユークリッド空間 の 速度ベクトルが挙げられます。これは 位置 ベクトルの 接線ベクトル です （時間の関数として考えられます）。また、 加速度 は速度の接線ベクトルです。
スカラー×ベクトル スカラー y のベクトル による 微分 は 、（分子レイアウト表記で）次のように表される。
x
=
[
x
1
x
2
⋯
x
n
]
T
{\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}
∂
y
∂
x
=
[
∂
y
∂
x
1
∂
y
∂
x
2
⋯
∂
y
∂
x
n
]
.
{\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\dfrac {\partial y}{\partial x_{1}}}&{\dfrac {\partial y}{\partial x_{2}}}&\cdots &{\dfrac {\partial y}{\partial x_{n}}}\end{bmatrix}}.}
ベクトル解析 では 、 スカラー場 f : R n → R (その独立座標は x の成分) の 勾配は 、スカラーをベクトルで微分したものの転置です。
∇
f
=
[
∂
f
∂
x
1
⋮
∂
f
∂
x
n
]
=
(
∂
f
∂
x
)
T
{\displaystyle \nabla f={\begin{bmatrix}{\frac {\partial f}{\partial x_{1}}}\\\vdots \\{\frac {\partial f}{\partial x_{n}}}\end{bmatrix}}=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}}
たとえば、物理学では、 電場は 電位 の 負のベクトル 勾配 です。
空間ベクトル x のスカラー関数 f ( x )の単位ベクトル u (この場合は列ベクトルとして表される)の方向への 方向 微分は 、勾配を使用して次のように定義されます。
∇
u
f
(
x
)
=
∇
f
(
x
)
⋅
u
{\displaystyle \nabla _{\mathbf {u} }{f}(\mathbf {x} )=\nabla f(\mathbf {x} )\cdot \mathbf {u} }
ベクトルに対するスカラーの微分に対して定義した表記法を使用すると、方向微分を次のように書き直すことができます。
このタイプの表記法は、スカラー 微分 でよく知られているものと似た積則や連鎖律を証明するときに便利です 。
∇
u
f
=
∂
f
∂
x
u
.
{\displaystyle \nabla _{\mathbf {u} }f={\frac {\partial f}{\partial \mathbf {x} }}\mathbf {u} .}
ベクトルごとに 前の 2 つのケースはそれぞれ、サイズ 1 のベクトルを適切に使用して、ベクトルに対するベクトルの微分を適用したものと考えることができます。同様に、行列を含む微分は、対応する方法でベクトルを含む微分に簡約されることがわかります。
ベクトル関数 （要素が関数であるベクトル）の 入力ベクトルに対する 導関数は、 （分子レイアウト表記で）次のように表されます。
y
=
[
y
1
y
2
⋯
y
m
]
T
{\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}
x
=
[
x
1
x
2
⋯
x
n
]
T
{\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}
∂
y
∂
x
=
[
∂
y
1
∂
x
1
∂
y
1
∂
x
2
⋯
∂
y
1
∂
x
n
∂
y
2
∂
x
1
∂
y
2
∂
x
2
⋯
∂
y
2
∂
x
n
⋮
⋮
⋱
⋮
∂
y
m
∂
x
1
∂
y
m
∂
x
2
⋯
∂
y
m
∂
x
n
]
.
{\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.}
ベクトル解析 では、 要素が空間を表すベクトル x に関するベクトル関数 y の微分は、 プッシュフォワード (または微分) 、あるいは ヤコビ行列 として知られています。
R n のベクトル v に関する ベクトル関数 f に沿ったプッシュフォワードは次のように表される。
d
f
(
v
)
=
∂
f
∂
v
d
v
.
{\displaystyle d\mathbf {f} (\mathbf {v} )={\frac {\partial \mathbf {f} }{\partial \mathbf {v} }}d\mathbf {v} .}
行列による微分 同じサイズの行列にまとめられる行列の導関数には 2 種類あります。これらは、スカラーによる行列の導関数と、スカラーによる行列の導関数です。これらは、応用数学の多くの分野で見られる最小化問題で役立ち、ベクトルの類似物にちなんで、それぞれ 接線行列 と 勾配行列 という名前が付けられています。
注 : このセクションでの議論は、教育目的のために分子レイアウト規則を前提としています。著者によっては異なる規則を使用している人もいます。レイアウト規則のセクションでは、この問題についてさらに詳しく説明します。以下に示す ID は、すべての一般的なレイアウト規則と組み合わせて使用できる形式で提示されます。
行列×スカラー 行列関数 Y のスカラー x による微分は接線行列 と呼ばれ 、分子レイアウト表記では次のように表される。
∂
Y
∂
x
=
[
∂
y
11
∂
x
∂
y
12
∂
x
⋯
∂
y
1
n
∂
x
∂
y
21
∂
x
∂
y
22
∂
x
⋯
∂
y
2
n
∂
x
⋮
⋮
⋱
⋮
∂
y
m
1
∂
x
∂
y
m
2
∂
x
⋯
∂
y
m
n
∂
x
]
.
{\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.}
スカラー×行列 スカラー関数 yの p × q 行列 X に対する微分は 、分子レイアウト表記で次のように表される。
∂
y
∂
X
=
[
∂
y
∂
x
11
∂
y
∂
x
21
⋯
∂
y
∂
x
p
1
∂
y
∂
x
12
∂
y
∂
x
22
⋯
∂
y
∂
x
p
2
⋮
⋮
⋱
⋮
∂
y
∂
x
1
q
∂
y
∂
x
2
q
⋯
∂
y
∂
x
p
q
]
.
{\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.}
行列のスカラー関数の重要な例としては、 行列のトレースと 行列 式 が挙げられます。
ベクトル解析 と同様に、 この導関数は次のように記述されることが多いです。
∇
X
y
(
X
)
=
∂
y
(
X
)
∂
X
{\displaystyle \nabla _{\mathbf {X} }y(\mathbf {X} )={\frac {\partial y(\mathbf {X} )}{\partial \mathbf {X} }}}
また、ベクトル解析 と同様に 、 行列 X のスカラー f ( X )の行列 Y の方向の 方向微分 は次のように表される。
∇
Y
f
=
tr
(
∂
f
∂
X
Y
)
.
{\displaystyle \nabla _{\mathbf {Y} }f=\operatorname {tr} \left({\frac {\partial f}{\partial \mathbf {X} }}\mathbf {Y} \right).}
特に勾配行列は、 推定理論 における最小化問題、特に この分野で非常に重要な
カルマンフィルタ アルゴリズムの 導出において多くの用途が見出されます。
その他の行列微分 考慮されていない 3 種類の導関数は、ベクトル × 行列、行列 × ベクトル、行列 × 行列です。これらはあまり広く考慮されておらず、表記法も広く合意されていません。
レイアウト規則 このセクションでは、行列計算を利用するさまざまな分野で使用されている表記規則の類似点と相違点について説明します。 基本的に 2 つの規則が一貫していますが、著者の中には、以下で説明する形式で 2 つの規則を混在させる方が便利だと考える人もいます。 このセクションの後、方程式は 2 つの競合する形式で別々にリストされます。
基本的な問題は、ベクトルのベクトルに対する導関数、つまり が 、しばしば 2 つの競合する方法で記述されることです。分子 y のサイズが m で、分母 x のサイズが n の場合、結果は m × n 行列または n × m 行列、つまり y の m 要素が行に配置され、 xの n 要素が 列に配置されるか、またはその逆になります。これにより、次の可能性が生まれます。
∂
y
∂
x
{\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}
分子レイアウト、つまり y と x T に従って （つまり x とは逆に）レイアウトします。これは ヤコビアン定式化と呼ばれることもあります。これは前の例の m × n レイアウトに対応し 、 の行番号は 分子のサイズに等しく 、 の列番号は x T のサイズに等しいことを意味します 。
∂
y
∂
x
{\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}
y
{\displaystyle \mathbf {y} }
∂
y
∂
x
{\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}
分母レイアウト、つまり y T と x に従って（つまり y とは逆に ）レイアウトします。これは ヘッセ行列式 と呼ばれることもあります。著者の中には、このレイアウトを 、その転置である ヤコビ行列 （分子レイアウト）と区別して勾配 と呼ぶ人もいます 。（ただし、 勾配は レイアウトに関係なく導関数を意味する方が一般的です 。）これは前の例の n×m レイアウトに対応し、 の行数は x （分母） のサイズに等しいことを意味します。
∂
y
∂
x
,
{\displaystyle {\frac {\partial y}{\partial \mathbf {x} }},}
∂
y
∂
x
{\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}
時々見られる 3 番目の可能性は、導関数を と記述し(つまり、導関数は x の転置に対して取られます )、分子のレイアウトに従うことです。これにより、行列が分子と分母の両方に従ってレイアウトされていると主張できるようになります。実際には、これにより分子のレイアウトと同じ結果が生成されます。
∂
y
∂
x
′
,
{\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} '}},}
勾配 と逆のケースを 処理する場合、 同じ問題が発生します。一貫性を保つには、次のいずれかを実行する必要があります。
∂
y
∂
x
{\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}
∂
y
∂
x
,
{\displaystyle {\frac {\partial \mathbf {y} }{\partial x}},}
分子レイアウトを選択した場合は、 勾配を 行ベクトルとして、列ベクトルとして レイアウトする必要があります 。
∂
y
∂
x
,
{\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},}
∂
y
∂
x
{\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}
∂
y
∂
x
{\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}
分母レイアウトを選択した場合は、 勾配を 列ベクトルとして、 行ベクトルとして レイアウトする必要があります。
∂
y
∂
x
,
{\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},}
∂
y
∂
x
{\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}
∂
y
∂
x
{\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}
上記の 3 番目の可能性では、 およびを記述し 、分子レイアウトを使用します。
∂
y
∂
x
′
{\displaystyle {\frac {\partial y}{\partial \mathbf {x} '}}}
∂
y
∂
x
,
{\displaystyle {\frac {\partial \mathbf {y} }{\partial x}},}
数学の教科書や論文は、この点で一貫しているわけではありません。つまり、同じ本や論文でも、文脈によって異なる規則が使用されることがあります。たとえば、勾配には分母レイアウト（列ベクトルとしてレイアウト）を選択しますが、ベクトルごとの微分には分子レイアウトを選択します。
∂
y
∂
x
.
{\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}.}
同様に、スカラー対行列の導関数 と行列対スカラーの導関数の場合、一貫した分子レイアウトは Y と X T に従ってレイアウトされ 、一貫した分母レイアウトは Y T と X に従ってレイアウトされます。ただし、実際には、の分母レイアウトに従い 、結果を Y T に従ってレイアウトすることは、スカラー式に対応しない見苦しい式になるため、ほとんど見られません。結果として、次のレイアウトがよく見られます。
∂
y
∂
X
{\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}
∂
Y
∂
x
,
{\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}
∂
Y
∂
x
,
{\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}
一貫した分子レイアウト 。Y に従って 、また X T に従って レイアウトされます 。
∂
Y
∂
x
{\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}
∂
y
∂
X
{\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}
Y に従ってレイアウトし 、 X に従って レイアウトする 混合レイアウト 。
∂
Y
∂
x
{\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}
∂
y
∂
X
{\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}
一貫した分子レイアウトと同じ結果になる 表記法を使用します。
∂
y
∂
X
′
,
{\displaystyle {\frac {\partial y}{\partial \mathbf {X} '}},}
以下の式では、 との 5 つの可能な組み合わせを 個別に処理します。また、中間ベクトルまたは行列を含むスカラーごとの微分の場合も処理します。(これは、たとえば、多次元 パラメトリック曲線 がスカラー変数で定義され、曲線のスカラー関数の微分が、曲線をパラメータ化するスカラーに関して取得される場合に発生する可能性があります。) さまざまな組み合わせごとに、分子レイアウトと分母レイアウトの結果を示します。ただし、分母レイアウトがめったに発生しない上記のケースを除きます。意味のある行列を含むケースでは、分子レイアウトと混合レイアウトの結果を示します。前述のように、ベクトルと行列の分母が転置表記で記述されている場合は、転置なしで分母を記述した分子レイアウトと同じです。
∂
y
∂
x
,
∂
y
∂
x
,
∂
y
∂
x
,
∂
y
∂
X
{\displaystyle {\frac {\partial y}{\partial \mathbf {x} }},{\frac {\partial \mathbf {y} }{\partial x}},{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},{\frac {\partial y}{\partial \mathbf {X} }}}
∂
Y
∂
x
{\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}
さまざまな著者がさまざまなタイプの導関数に対してさまざまな組み合わせの分子と分母のレイアウトを使用しているため、著者がすべてのタイプに対して一貫して分子または分母のレイアウトのいずれかを使用するという保証はありません。以下の式をソースで引用されている式と照合して、特定のタイプの導関数に使用されるレイアウトを決定しますが、他のタイプの導関数が必ずしも同じ種類のレイアウトに従うとは想定しないように注意してください。
総和（ベクトルまたは行列）の分母で導関数を取り、総和の最大値または最小値を求める場合、分子レイアウトを使用すると総和に関して転置された結果が生成されることに注意してください。たとえば、行列計算を使用して 多変量正規分布 の 最大尤度 推定値を求める場合、ドメインが k ×1 列ベクトルであれば、分子レイアウトを使用した結果は 1× k 行ベクトルの形式になります 。したがって、結果を最後に転置するか、分母レイアウト（または混合レイアウト）を使用する必要があります。
分子レイアウト表記と分母レイアウト表記を切り替えると、演算結果が転置されます。
分子レイアウト表記 分子レイアウト表記法を用いると次のようになる: [1]
∂
y
∂
x
=
[
∂
y
∂
x
1
∂
y
∂
x
2
⋯
∂
y
∂
x
n
]
.
∂
y
∂
x
=
[
∂
y
1
∂
x
∂
y
2
∂
x
⋮
∂
y
m
∂
x
]
.
∂
y
∂
x
=
[
∂
y
1
∂
x
1
∂
y
1
∂
x
2
⋯
∂
y
1
∂
x
n
∂
y
2
∂
x
1
∂
y
2
∂
x
2
⋯
∂
y
2
∂
x
n
⋮
⋮
⋱
⋮
∂
y
m
∂
x
1
∂
y
m
∂
x
2
⋯
∂
y
m
∂
x
n
]
.
∂
y
∂
X
=
[
∂
y
∂
x
11
∂
y
∂
x
21
⋯
∂
y
∂
x
p
1
∂
y
∂
x
12
∂
y
∂
x
22
⋯
∂
y
∂
x
p
2
⋮
⋮
⋱
⋮
∂
y
∂
x
1
q
∂
y
∂
x
2
q
⋯
∂
y
∂
x
p
q
]
.
{\displaystyle {\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}}
以下の定義は分子レイアウト表記法でのみ提供されます。
∂
Y
∂
x
=
[
∂
y
11
∂
x
∂
y
12
∂
x
⋯
∂
y
1
n
∂
x
∂
y
21
∂
x
∂
y
22
∂
x
⋯
∂
y
2
n
∂
x
⋮
⋮
⋱
⋮
∂
y
m
1
∂
x
∂
y
m
2
∂
x
⋯
∂
y
m
n
∂
x
]
.
d
X
=
[
d
x
11
d
x
12
⋯
d
x
1
n
d
x
21
d
x
22
⋯
d
x
2
n
⋮
⋮
⋱
⋮
d
x
m
1
d
x
m
2
⋯
d
x
m
n
]
.
{\displaystyle {\begin{aligned}{\frac {\partial \mathbf {Y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.\\d\mathbf {X} &={\begin{bmatrix}dx_{11}&dx_{12}&\cdots &dx_{1n}\\dx_{21}&dx_{22}&\cdots &dx_{2n}\\\vdots &\vdots &\ddots &\vdots \\dx_{m1}&dx_{m2}&\cdots &dx_{mn}\\\end{bmatrix}}.\end{aligned}}}
分母レイアウト表記 分母レイアウト表記法を用いると次のようになる: [2]
∂
y
∂
x
=
[
∂
y
∂
x
1
∂
y
∂
x
2
⋮
∂
y
∂
x
n
]
.
∂
y
∂
x
=
[
∂
y
1
∂
x
∂
y
2
∂
x
⋯
∂
y
m
∂
x
]
.
∂
y
∂
x
=
[
∂
y
1
∂
x
1
∂
y
2
∂
x
1
⋯
∂
y
m
∂
x
1
∂
y
1
∂
x
2
∂
y
2
∂
x
2
⋯
∂
y
m
∂
x
2
⋮
⋮
⋱
⋮
∂
y
1
∂
x
n
∂
y
2
∂
x
n
⋯
∂
y
m
∂
x
n
]
.
∂
y
∂
X
=
[
∂
y
∂
x
11
∂
y
∂
x
12
⋯
∂
y
∂
x
1
q
∂
y
∂
x
21
∂
y
∂
x
22
⋯
∂
y
∂
x
2
q
⋮
⋮
⋱
⋮
∂
y
∂
x
p
1
∂
y
∂
x
p
2
⋯
∂
y
∂
x
p
q
]
.
{\displaystyle {\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}\\{\frac {\partial y}{\partial x_{2}}}\\\vdots \\{\frac {\partial y}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}&{\frac {\partial y_{2}}{\partial x}}&\cdots &{\frac {\partial y_{m}}{\partial x}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{1}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{1}}}\\{\frac {\partial y_{1}}{\partial x_{2}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{1}}{\partial x_{n}}}&{\frac {\partial y_{2}}{\partial x_{n}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{12}}}&\cdots &{\frac {\partial y}{\partial x_{1q}}}\\{\frac {\partial y}{\partial x_{21}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{2q}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{p1}}}&{\frac {\partial y}{\partial x_{p2}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}}
アイデンティティ 前述のように、一般に、分子レイアウト表記と分母レイアウト表記を切り替えると、演算の結果は転置されます。
以下の恒等式の意味を理解するには、最も重要な規則である 連鎖律 、 積律 、 和律 を覚えておいてください。和律は普遍的に適用され、積律は、行列積の順序が維持される限り、以下のほとんどの場合に適用されます。これは、行列積が可換ではないためです。連鎖律はいくつかの場合に適用されますが、残念ながら、 行列とスカラーの微分やスカラーと行列の微分には適用されません (後者の場合、ほとんどの場合、 行列に適用される トレース 演算子が関係します)。後者の場合、積律を直接適用することもできませんが、微分恒等式を使用してもう少し作業することで同等のことを行うことができます。
以下のアイデンティティは、以下の規則を採用しています。
スカラー a 、 b 、 c 、 d 、 e は に関して定数であり、スカラー u 、 v はx 、 x 、または X のいずれかの関数である 。 ベクトル a 、 b 、 c 、 d 、 e は、に関して定数であり、ベクトル u 、 v は 、 x 、 x 、または X のいずれかの関数である 。 行列 A 、 B 、 C 、 D 、 E は 、に関して定数であり、行列 U および V は、 x 、 x 、または X のいずれかの関数です 。
ベクトルごとの同一性 これを最初に紹介するのは、ベクトルごとの微分に適用されるすべての演算が、分子または分母の適切なベクトルをスカラーに減らすだけで、ベクトルごとのスカラーまたはスカラーごとの微分に直接適用されるためです。
スカラー対ベクトルの恒等式 基本的なアイデンティティは太い黒い線の上に配置されます。
ベクトルとスカラーの恒等式 注 : ベクトルごとの導関数 と (出力が行列) を含む式では、行列がベクトルのレイアウトと一致して配置されていることを前提としています。つまり、分子がレイアウトされたベクトルの場合は分子がレイアウトされた行列、その逆も同様です。それ以外の場合は、ベクトルごとの導関数を転置します。
∂
g
(
u
)
∂
u
{\displaystyle {\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}}
∂
f
(
g
)
∂
g
{\displaystyle {\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}}
スカラー対行列の恒等式 スカラー 積の法則 と 連鎖則は 、行列の行列値関数に適用する場合、正確には存在しないことに注意してください。ただし、この種の積の法則は微分形式 (以下を参照) には適用され、トレース関数が転置と巡回置換を可能にするという事実と組み合わせると、 トレース 関数を含む以下の多くの恒等式を導出できます。つまり
、
tr
(
A
)
=
tr
(
A
⊤
)
tr
(
A
B
C
D
)
=
tr
(
B
C
D
A
)
=
tr
(
C
D
A
B
)
=
tr
(
D
A
B
C
)
{\displaystyle {\begin{aligned}\operatorname {tr} (\mathbf {A} )&=\operatorname {tr} \left(\mathbf {A^{\top }} \right)\\\operatorname {tr} (\mathbf {ABCD} )&=\operatorname {tr} (\mathbf {BCDA} )=\operatorname {tr} (\mathbf {CDAB} )=\operatorname {tr} (\mathbf {DABC} )\end{aligned}}}
例えば、計算するには
∂
tr
(
A
X
B
X
⊤
C
)
∂
X
:
{\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {AXBX^{\top }C} )}{\partial \mathbf {X} }}:}
d
tr
(
A
X
B
X
⊤
C
)
=
d
tr
(
C
A
X
B
X
⊤
)
=
tr
(
d
(
C
A
X
B
X
⊤
)
)
=
tr
(
C
A
X
d
(
B
X
⊤
)
+
d
(
C
A
X
)
B
X
⊤
)
=
tr
(
C
A
X
d
(
B
X
⊤
)
)
+
tr
(
d
(
C
A
X
)
B
X
⊤
)
=
tr
(
C
A
X
B
d
(
X
⊤
)
)
+
tr
(
C
A
(
d
X
)
B
X
⊤
)
=
tr
(
C
A
X
B
(
d
X
)
⊤
)
+
tr
(
C
A
(
d
X
)
B
X
⊤
)
=
tr
(
(
C
A
X
B
(
d
X
)
⊤
)
⊤
)
+
tr
(
C
A
(
d
X
)
B
X
⊤
)
=
tr
(
(
d
X
)
B
⊤
X
⊤
A
⊤
C
⊤
)
+
tr
(
C
A
(
d
X
)
B
X
⊤
)
=
tr
(
B
⊤
X
⊤
A
⊤
C
⊤
(
d
X
)
)
+
tr
(
B
X
⊤
C
A
(
d
X
)
)
=
tr
(
(
B
⊤
X
⊤
A
⊤
C
⊤
+
B
X
⊤
C
A
)
d
X
)
=
tr
(
(
C
A
X
B
+
A
⊤
C
⊤
X
B
⊤
)
⊤
d
X
)
{\displaystyle {\begin{aligned}d\operatorname {tr} (\mathbf {AXBX^{\top }C} )&=d\operatorname {tr} \left(\mathbf {CAXBX^{\top }} \right)=\operatorname {tr} \left(d\left(\mathbf {CAXBX^{\top }} \right)\right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d(\mathbf {BX^{\top }} \right)+d\left(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d\left(\mathbf {BX^{\top }} \right)\right)+\operatorname {tr} \left(d(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} d\left(\mathbf {X^{\top }} \right)\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)+\operatorname {tr} (\mathbf {CA} \left(d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)^{\top }\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left((d\mathbf {X} )\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} \right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} (d\mathbf {X} )\right)+\operatorname {tr} \left(\mathbf {BX^{\top }} \mathbf {CA} (d\mathbf {X} )\right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }} \mathbf {CA} \right)d\mathbf {X} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} \right)^{\top }d\mathbf {X} \right)\end{aligned}}}
したがって、
∂
tr
(
A
X
B
X
⊤
C
)
∂
X
=
B
⊤
X
⊤
A
⊤
C
⊤
+
B
X
⊤
C
A
.
{\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }CA} .}
(分子レイアウト)
∂
tr
(
A
X
B
X
⊤
C
)
∂
X
=
C
A
X
B
+
A
⊤
C
⊤
X
B
⊤
.
{\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} .}
（分母レイアウト） (最後のステップについては、「微分形式から微分形式への変換」セクションを参照してください。)
行列とスカラーの恒等式
スカラーごとの恒等式
ベクトルが関与している
マトリックスが関与する
微分形式で作業してから通常の導関数に戻す方が簡単な場合がよくあります。これは分子レイアウトを使用する場合にのみうまく機能します。これらのルールでは、 a はスカラーです。
最後の行では、は クロネッカーのデルタ であり 、は X の k 番目の固有ベクトルに投影する直交射影演算子の集合です 。
Q は の 固有ベクトル の行列であり 、 は 固有値です。 行列関数は、 の とき、対角化可能な行列の スカラー関数によって 次のように定義され ます 。
δ
i
j
{\displaystyle \delta _{ij}}
(
P
k
)
i
j
=
(
Q
)
i
k
(
Q
−
1
)
k
j
{\displaystyle (\mathbf {P} _{k})_{ij}=(\mathbf {Q} )_{ik}(\mathbf {Q} ^{-1})_{kj}}
X
=
Q
Λ
Q
−
1
{\displaystyle \mathbf {X} =\mathbf {Q} {\boldsymbol {\Lambda }}\mathbf {Q} ^{-1}}
(
Λ
)
i
i
=
λ
i
{\displaystyle ({\boldsymbol {\Lambda }})_{ii}=\lambda _{i}}
f
(
X
)
{\displaystyle f(\mathbf {X} )}
f
(
x
)
{\displaystyle f(x)}
f
(
X
)
=
∑
i
f
(
λ
i
)
P
i
{\textstyle f(\mathbf {X} )=\sum _{i}f(\lambda _{i})\mathbf {P} _{i}}
X
=
∑
i
λ
i
P
i
{\textstyle \mathbf {X} =\sum _{i}\lambda _{i}\mathbf {P} _{i}}
P
i
P
j
=
δ
i
j
P
i
{\displaystyle \mathbf {P} _{i}\mathbf {P} _{j}=\delta _{ij}\mathbf {P} _{i}}
通常の導関数形式に変換するには、まず次の標準形式のいずれかに変換してから、これらの恒等式を使用します。
アプリケーション 行列微分積分は統計学や計量経済学において、特に多変量分布 、特に 多変量正規分布 やその他の 楕円分布 の統計解析に使用されます 。 [8] [9] [10]
これは回帰分析 において、例えば複数の 説明変数 がある場合の 通常の最小二乗回帰式 を計算するために使用されます 。 [11]
また、ランダム行列、統計モーメント、局所感度、統計診断にも使用されます。 [12] [13]
参照
数学ポータル
注記
^ abc ここで、はサイズ n のすべての 0 の 列ベクトル を指します 。ここで、 n は x の長さです 。
0
{\displaystyle \mathbf {0} }
^ ab ここで、は X と同じ形状のすべて 0 の行列を指します 。
0
{\displaystyle \mathbf {0} }
^ 定数 aは 結果では消えます。これは意図的なものです。一般に、
あるいはまた、
d
ln
a
u
d
x
=
1
a
u
d
(
a
u
)
d
x
=
1
a
u
a
d
u
d
x
=
1
u
d
u
d
x
=
d
ln
u
d
x
.
{\displaystyle {\frac {d\ln au}{dx}}={\frac {1}{au}}{\frac {d(au)}{dx}}={\frac {1}{au}}a{\frac {du}{dx}}={\frac {1}{u}}{\frac {du}{dx}}={\frac {d\ln u}{dx}}.}
d
ln
a
u
d
x
=
d
(
ln
a
+
ln
u
)
d
x
=
d
ln
a
d
x
+
d
ln
u
d
x
=
d
ln
u
d
x
.
{\displaystyle {\frac {d\ln au}{dx}}={\frac {d(\ln a+\ln u)}{dx}}={\frac {d\ln a}{dx}}+{\frac {d\ln u}{dx}}={\frac {d\ln u}{dx}}.}
参考文献
^ abcde Thomas P.、Minka（2000年12月28日）。「統計に役立つ古くて新しい行列代数」MITメディアラボノート（1997年、2000年12月改訂） 。 2016年 2月5日 閲覧 。 ^ Felippa, Carlos A. 「付録 D、線形代数: 行列式、逆行列、順位」 (PDF) 。ASEN 5007: 有限要素法入門 。コロラド州ボルダー: コロラド大学。2016 年 2 月 5 日 閲覧 。 ベクトルおよび行列の導関数のヘッセ行列 ( ヤコビ行列 への 転置 ) 定義を使用します 。 ^ abcdefghijklmnopq Petersen, Kaare Brandt; Pedersen, Michael Syskind. The Matrix Cookbook (PDF) . 2010年3月2日時点のオリジナルよりアーカイブ。 2016年 2月5日 閲覧 。 この本は混合レイアウトを採用しています。つまり 、 Y が X に
∂
Y
∂
x
,
{\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}
∂
y
∂
X
.
{\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}.}
^ Duchi, John C. 「トレースおよびマトリックス微分の特性」 (PDF) 。スタンフォード大学。 2016年 2月5日 閲覧 。 ^ 導出については 行列式§導関数 を参照。 ^ Giles, Mike B. (2008)。「順方向および逆方向モードのアルゴリズム微分化の収集された行列微分結果」。Bischof, Christian H.、Bücker, H. Martin、Hovland, Paul、Naumann, Uwe、Utke, Jean (編)。 自動 微分化の進歩 。計算科学と工学の講義ノート。第 64 巻。ベルリン: Springer。pp. 35–44。doi : 10.1007/978-3-540-68942-3_4。ISBN 978-3-540-68935-5 . MR 2531677。 ^ S Adler (IAS) による未発表メモ ^ Fang, Kai-Tai ; Zhang, Yao-Ting (1990). 一般化多変量解析 . Science Press (北京) および Springer-Verlag (ベルリン). ISBN 3540176519 . 9783540176510. ^ Pan, Jianxin; Fang, Kaitai (2007). 成長曲線モデルと統計診断 . 北京: Science Press. ISBN 9780387950532 。 ^ コロ、トゥヌ;フォン・ローゼン、ディートリッヒ (2005)。 行列を使用した高度な多変量統計 。ドルドレヒト: スプリンガー。 ISBN 978-1-4020-3418-3 。 ^ Magnus, Jan; Neudecker, Heinz (2019).統計学と計量経済学 における 行列微分計算の応用 。ニューヨーク: John Wiley。ISBN 9781119541202 。 ^ Liu, Shuangzhe; Leiva, Victor; Zhuang , Dan; Ma, Tiefeng; Figueroa-Zúñiga, Jorge I. (2022). 「多変量線形モデルとその診断への応用を伴う行列微分計算」。Journal of Multivariate Analysis。188 : 104849。doi : 10.1016/ j.jmva.2021.104849 。 ^ 劉双哲;トレンクラー、ゲッツ。コロ、トゥヌ。フォン・ローゼン、ディートリッヒ。バクサラリー、オスカー・マリア（2023）。 「ハインツ・ノイデッカー教授と行列微分積分」。 統計論文 。 土井 ：10.1007/s00362-023-01499-w。 S2CID 263661094。
さらに読む
アバディール、カリム・M.、マグナス、ヤン・R. (2005)。 行列代数 。計量経済学演習。ケンブリッジ：ケンブリッジ大学出版局 。ISBN 978-0-511-64796-3 . OCLC 569411497. Lax, Peter D. (2007) 「9. ベクトル値関数と行列値関数の計算」 線形 代数とその応用 (第 2 版) ホーボーケン、ニュージャージー: Wiley-Interscience。ISBN 978-0-471-75156-4 。 Magnus, Jan R. (2010年 10 月)。「行列微分の概念について」。 多変量解析ジャーナル 。101 (9): 2200–2206。doi :10.1016/ j.jmva.2010.05.005 。 このWikipediaの記事は、この記事で批判されているバージョンからほぼ完全に改訂されていることに注意してください。
外部リンク
ソフトウェア MatrixCalculus.org、行列計算式を記号的に評価するウェブサイト NCAlgebra は、行列計算機能を備えた オープンソースの Mathematicaパッケージです。 SymPy は、 行列式モジュールでシンボリック行列導関数をサポートし、配列式モジュールでシンボリックテンソル導関数をサポートします。
マトリックスリファレンスマニュアル、マイク・ブルックス、 インペリアル・カレッジ・ロンドン 。 行列微分法（およびその他いくつかのもの）、Randal J. Barnes、ミネソタ大学土木工学部。 行列計算に関するノート、ポール・L・ファクラー、 ノースカロライナ州立大学 。 行列微分積分 (スライド プレゼンテーション)、Zhang Le、 エディンバラ大学、 Wayback Machine に 2012-09-16 にアーカイブ。 ベクトル微分と行列微分入門（計量経済学 の文脈における行列微分に関するメモ ）、Heino Bohn Nielsen。 行列の微分化に関するメモ (行列の微分化に関するメモ)、Pawel Koval、ミュンヘン個人 RePEc アーカイブより。 ベクトル/行列計算 行列の微分に関する詳細なメモ。 行列のアイデンティティ (行列の微分化に関するメモ)、Sam Roweis。
![{\displaystyle {\begin{aligned}d\operatorname {tr} (\mathbf {AXBX^{\top }C} )&=d\operatorname {tr} \left(\mathbf {CAXBX^{\top }} \right)=\operatorname {tr} \left(d\left(\mathbf {CAXBX^{\top }} \right)\right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d(\mathbf {BX^{\top }} \right)+d\left(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d\left(\mathbf {BX^{\top }} \right)\right)+\operatorname {tr} \left(d(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} d\left(\mathbf {X^{\top }} \right)\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)+\operatorname {tr} (\mathbf {CA} \left(d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\left(\left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)^{\top }\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left((d\mathbf {X} )\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} \right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} (d\mathbf {X} )\right)+\operatorname {tr} \left(\mathbf {BX^{\top }} \mathbf {CA} (d\mathbf {X} )\right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }} \mathbf {CA} \right)d\mathbf {X} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} \right)^{\top }d\mathbf {X} \right)\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3ca1c0807b52b0c32354803abbd029430fdf8813)
