多項ロジスティック回帰

統計学において、多項ロジスティック回帰は、ロジスティック回帰を多クラス問題、つまり2つ以上の離散的な結果が考えられる問題に一般化した分類法です。 ^{[1]つまり、これは、}独立変数（実数値、2値、カテゴリ値など） のセットが与えられた場合に、カテゴリ分布する従属変数 のさまざまな考えられる結果の確率を予測するために使用されるモデルです。

多項ロジスティック回帰は、多項式LR、^{[2] [3]} 多クラスLR、ソフトマックス回帰、多項式ロジット（mlogit）、最大エントロピー（MaxEnt）分類器、条件付き最大エントロピーモデルなど、さまざまな名前で知られています。^[4]

多項ロジスティック回帰は、問題の従属変数が名目変数（カテゴリ変数と同等で、意味のある方法で順序付けできないカテゴリ セットのいずれかに該当する変数）であり、カテゴリが 2 つ以上ある場合に使用されます。次に例を示します。

• 成績、好き嫌いなどを考慮して、大学生はどの専攻を選択するでしょうか?
• さまざまな診断テストの結果から、人の血液型はどれでしょうか?
• ハンズフリーの携帯電話ダイヤル アプリケーションでは、音声信号のさまざまな特性を考慮すると、どの人の名前が話されたでしょうか。
• 特定の人口統計学的特性を考慮すると、人々はどの候補者に投票するでしょうか?
• 企業とさまざまな候補国の特性を考慮すると、どの国にオフィスを設置することになるでしょうか?

これらはすべて統計的な分類問題です。これらの問題に共通するのは、意味のある順序付けができない限られた項目セットの 1 つから得られる予測対象の従属変数と、従属変数を予測するために使用される独立変数セット(特徴、説明子などとも呼ばれる) です。多項ロジスティック回帰は、分類問題に対する特定のソリューションであり、観測された特徴と問題固有のパラメータの線形結合を使用して、従属変数の特定の各値の確率を推定します。特定の問題に対するパラメータの最適な値は、通常、何らかのトレーニング データ (診断テストの結果と血液型の両方がわかっている人々、または既知の単語の例) から決定されます。

多項ロジスティックモデルは、データがケース固有であると仮定します。つまり、各独立変数は各ケースに対して単一の値を持ちます。他の種類の回帰と同様に、独立変数が互いに統計的に独立している必要はありません（たとえば、ナイーブベイズ分類器とは異なります）。ただし、そうでない場合は複数の変数の影響を区別することが困難になるため、共線性は比較的低いと想定されます。^[5]

多項ロジットを使用して選択をモデル化する場合、無関係な選択肢の独立性(IIA)という仮定に依存しますが、これは必ずしも望ましいとは限りません。この仮定は、あるクラスを別のクラスよりも好む確率は、他の「無関係な」選択肢の有無に依存しないことを示しています。たとえば、自転車が追加の可能性として追加されても、車またはバスで通勤する相対的な確率は変わりません。これにより、K 個の選択肢の選択をK − 1 個の独立したバイナリ選択のセットとしてモデル化できます 。このセットでは、1 つの選択肢が「ピボット」として選択され、他のK  − 1 個が一度に 1 つずつそれと比較されます。IIA 仮説は、合理的選択理論の中心的な仮説ですが、心理学の多くの研究では、個人が選択を行う際にこの仮定に違反することが多いことが示されています。問題の例は、選択肢に車と青いバスが含まれている場合に発生します。両者のオッズ比が 1 : 1 であると仮定します。ここで赤いバスのオプションが導入された場合、人は赤いバスと青いバスのどちらにも無関心になる可能性があり、そのため車 : 青いバス : 赤いバスのオッズ比は 1 : 0.5 : 0.5 となり、車 : 任意のバスの比率は 1 : 1 のまま、車 : 青いバスの比率は 1 : 0.5 に変更されます。ここで赤いバスのオプションは実際には無関係ではありません。赤いバスは青いバスの 完全な代替品だからです。

多項ロジットを使用して選択をモデル化する場合、状況によっては、異なる選択肢間の相対的な選好に過度の制約を課す可能性があります。分析の目的が、1つの選択肢がなくなった場合に選択がどのように変化するかを予測することである場合（たとえば、3人の候補者がいる選挙から1人の候補者が撤退した場合）は、特にこの点を考慮する必要があります。このような場合には、ネストロジットや多項プロビットなどの他のモデルが、IIAに違反することを許容するため使用できます。^[6]

多項ロジスティック回帰の基礎となる数学モデルを説明する同等の方法は複数あります。このため、異なるテキストで主題の異なる扱いを比較することが困難になる場合があります。ロジスティック回帰に関する記事では、単純ロジスティック回帰の同等の定式化がいくつか紹介されており、その多くには多項ロジット モデルに類似点があります。

これらすべての背後にある考え方は、他の多くの統計分類手法と同様に、ドット積を使用して特定の観測の説明変数（特徴）と線形に結合された一連の重みからスコアを構築する線形予測関数を構築することです。

${\displaystyle \operatorname {score} (\mathbf {X} _{i},k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},}$

ここで、X _iは観測値iを説明する説明変数のベクトル、β _kは結果kに対応する重み (または回帰係数)のベクトル、 score( X _i , k ) は観測値i をカテゴリkに割り当てることに関連付けられたスコアです。離散選択理論では、観測値は人を表し、結果は選択を表し、スコアは人i が結果k を選択することに関連付けられた効用と見なされます。予測される結果は、スコアが最も高いものになります。

多項ロジットモデルと、同じ基本設定を持つ他の多数の方法、モデル、アルゴリズムなど（パーセプトロンアルゴリズム、サポートベクターマシン、線形判別分析など）との違いは、最適な重み/係数を決定（トレーニング）する手順と、スコアの解釈方法です。特に、多項ロジットモデルでは、スコアは確率値に直接変換でき、測定された観測特性を前提として観測i が結果kを選択する確率を示します。これにより、特定の多項ロジットモデルの予測を、それぞれがエラーの可能性がある複数の予測を含む可能性のあるより大きな手順に組み込むための原則的な方法が提供されます。予測を組み合わせるこのような手段がなければ、エラーが増加する傾向があります。たとえば、一連のサブモデルに分割された大規模な予測モデルを想像してください。特定のサブモデルの予測は別のサブモデルの入力として使用され、その予測は 3 番目のサブモデルの入力として使用されます。各サブモデルの予測精度が 90% で、サブモデルが 5 つ連続している場合、モデル全体の精度は 0.9 ^{5 = 59% になります。各サブモデルの精度が 80% の場合、全体の精度は 0.8 5} = 33% に低下します。この問題はエラー伝播と呼ばれ、通常は多数の部分で構成される実際の予測モデルでは深刻な問題です。この問題を軽減する 1 つの方法は、単に 1 つの最適な予測を行うのではなく、起こり得る結果の確率を予測することです。^{[引用が必要]}

基本的な設定はロジスティック回帰と同じですが、唯一の違いは従属変数がバイナリではなくカテゴリであることです。つまり、可能な結果は 2 つではなくK 個あります。以下の説明は多少短縮されています。詳細については、ロジスティック回帰の記事を参照してください。

具体的には、一連のN 個の観測データ ポイントがあると仮定します。各データ ポイントi (1 からNまで) は、 M 個の説明変数x _{1, i} ... x _M,i (独立変数、予測変数、特徴などとも呼ばれる)のセットと、関連するカテゴリ結果Y _i (従属変数、応答変数とも呼ばれる) で構成され、 K 個の可能な値のいずれかを取ることができます。これらの可能な値は、論理的に別個のカテゴリ (異なる政党、血液型など) を表し、多くの場合、それぞれに 1 からKまでの数字を任意に割り当てることで数学的に記述されます。説明変数と結果は、データ ポイントの観測された特性を表し、 N 個の「実験」の観測から生じると考えられることがよくあります。ただし、「実験」はデータ収集のみで構成される場合もあります。多項ロジスティック回帰の目的は、説明変数と結果の関係を説明するモデルを構築し、説明変数は利用できるが結果は利用できない新しいデータ ポイントに対して、新しい「実験」の結果を正しく予測できるようにすることです。このプロセスでは、モデルは異なる説明変数が結果に及ぼす相対的な影響を説明しようとします。

例:

• 観察される結果は、患者群における肝炎などの疾患のさまざまな変異体（「無疾患」および/またはその他の関連疾患を含む可能性がある）であり、説明変数は、関連があると考えられる患者の特徴（性別、人種、年齢、血圧、さまざまな肝機能検査の結果など）である可能性があります。目標は、新しい患者で観察される肝臓関連の症状を引き起こしている疾患を予測することです。
• 観察される結果は、選挙で一群の人々が選んだ政党であり、説明変数は各人の人口統計学的特性（性別、人種、年齢、収入など）です。目標は、与えられた特性を持つ新しい有権者の投票の可能性を予測することです。

他の形式の線形回帰と同様に、多項ロジスティック回帰では、次の形式の 線形予測関数を使用して、観測値 i が結果kを持つ確率を予測します。${\displaystyle f(k,i)}$

${\displaystyle f(k,i)=\beta _{0,k}+\beta _{1,k}x_{1,i}+\beta _{2,k}x_{2,i}+\cdots +\beta _{M,k}x_{M,i},}$

ここで、はm番目の説明変数とk番目の結果に関連付けられた回帰係数です。ロジスティック回帰の記事で説明したように、回帰係数と説明変数は通常、サイズM  + 1 のベクトルにグループ化されるため、予測関数をよりコンパクトに記述できます。 ${\displaystyle \beta _{m,k}}$

${\displaystyle f(k,i)={\boldsymbol {\beta }}_{k}\cdot \mathbf {x} _{i},}$

ここで、 は結果kに関連付けられた回帰係数の集合であり、(行ベクトル) は観測値iに関連付けられた説明変数の集合です。 ${\displaystyle {\boldsymbol {\beta }}_{k}}$${\displaystyle \mathbf {x} _{i}}$

多項ロジット モデルに到達するには、K 個の可能な結果に対して、K 個の独立したバイナリ ロジスティック回帰モデルを実行することを想定できます。このモデルでは、1 つの結果が「ピボット」として選択され、他のK  − 1 個の結果がピボット結果に対して個別に回帰されます。結果K (最後の結果) がピボットとして選択された場合、K  − 1 回帰方程式は次のようになります。

${\displaystyle \ln {\frac {\Pr(Y_{i}=k)}{\Pr(Y_{i}=K)}}\,=\,{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}\;\;\;\;,\;\;k<K}$。

この定式化は、構成データ分析で一般的に使用される加法対数比変換としても知られています。他のアプリケーションでは、「相対リスク」と呼ばれます。^[7]

両辺を累乗して確率を解くと、次のようになります。

${\displaystyle \Pr(Y_{i}=k)\,=\,{\Pr(Y_{i}=K)}\;e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}\;\;\;\;,\;\;k<K}$

すべてのK個の確率の合計は 1 になる という事実を利用すると、次の式が得られます。

${\displaystyle {\begin{aligned}\Pr(Y_{i}=K)={}&1-\sum _{j=1}^{K-1}\Pr(Y_{i}=j)\\={}&1-\sum _{j=1}^{K-1}{\Pr(Y_{i}=K)}\;e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}\;\;\Rightarrow \;\;\Pr(Y_{i}=K)\\={}&{\frac {1}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

これを使って他の確率を見つけることができます:

${\displaystyle \Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}\;\;\;\;,\;\;k<K}$。

多重回帰を実行するという事実は、モデルが上記の 無関係な選択肢の独立性の仮定に依存している理由を明らかにします。

各ベクトルβ _kの未知のパラメータは、通常、最大事後確率(MAP) 推定によって共同推定されます。これは、最大尤度法の拡張であり、重みの正規化を使用して病的な解を防止します (通常は、重みにゼロ平均ガウス 事前分布を配置することと同等の 2 乗正規化関数ですが、他の分布も可能です)。解は通常、一般化反復スケーリング、^{[8] 、} 反復再重み付け最小二乗法(IRLS)、^[9]などの反復手順を使用して、 L-BFGS、^[4]などの勾配ベースの最適化アルゴリズム、または特殊な座標降下アルゴリズムによって見つけられます。^[10]

対数線形モデルとしてのバイナリロジスティック回帰の定式化は、多元回帰に直接拡張できます。つまり、線形予測子と追加の正規化係数、つまりパーティション関数の対数を使用して、特定の出力が発生する確率の対数をモデル化します。

${\displaystyle \ln \Pr(Y_{i}=k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}-\ln Z\;\;\;\;,\;\;k\leq K.}$

バイナリの場合と同様に、確率の集合全体が確率分布を形成すること、つまり、それらの合計がすべて 1 になることを保証するために、追加の項が必要です。 ${\displaystyle -\ln Z}$

${\displaystyle \sum _{k=1}^{K}\Pr(Y_{i}=k)=1}$

正規化を確実にするために、通常のように掛け算するのではなく項を追加する必要がある理由は、確率の対数をとっているためです。両辺を累乗すると、加法項が乗法係数になり、確率はギブス測度になります。

${\displaystyle \Pr(Y_{i}=k)={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}\;\;\;\;,\;\;k\leq K.}$

量Z は分布の分割関数と呼ばれます。すべての確率の合計が 1 になるという上記の制約を適用することで、分割関数の値を計算できます。

${\displaystyle 1=\sum _{k=1}^{K}\Pr(Y_{i}=k)\;=\;\sum _{k=1}^{K}{\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}\;=\;{\frac {1}{Z}}\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}.}$

したがって

${\displaystyle Z=\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}.}$

この係数は、確率分布が定義される変数であるY _iの関数ではないという意味で「定数」であることに注意してください。ただし、説明変数に関しては定数ではありません。また、重要なことに、何らかの最適化手順を通じて決定する必要がある未知の回帰係数β _kに関しては定数ではありません。

得られた確率の式は次のようになる。

${\displaystyle \Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}{\sum _{j=1}^{K}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}\;\;\;\;,\;\;k\leq K.}$

あるいは一般的には:

${\displaystyle \Pr(Y_{i}=c)={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{\sum _{j=1}^{K}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}}$

次の関数:

${\displaystyle \operatorname {softmax} (k,x_{1},\ldots ,x_{n})={\frac {e^{x_{k}}}{\sum _{i=1}^{n}e^{x_{i}}}}}$

はソフトマックス関数と呼ばれます。その理由は、値を指数化すると、値間の差が誇張されるからです。その結果、 は、がすべての値の最大値よりも大幅に小さい場合は常に 0 に近い値を返し、最大値に適用した場合は、次に大きい値に非常に近い場合を除き、1 に近い値を返します。したがって、ソフトマックス関数は、滑らかな関数（ などを簡単に微分化できる）として動作し、指標関数を近似する加重平均を構築するために使用できます。${\displaystyle x_{1},\ldots ,x_{n}}$${\displaystyle \operatorname {softmax} (k,x_{1},\ldots ,x_{n})}$${\displaystyle x_{k}}$

${\displaystyle f(k)={\begin{cases}1&{\textrm {if}}\;k=\operatorname {\arg \max } (x_{1},\ldots ,x_{n}),\\0&{\textrm {otherwise}}.\end{cases}}}$

したがって、確率方程式は次のように書ける。

${\displaystyle \Pr(Y_{i}=c)=\operatorname {softmax} (c,{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i},\ldots ,{\boldsymbol {\beta }}_{K}\cdot \mathbf {X} _{i})}$

したがって、ソフトマックス関数は、バイナリ ロジスティック回帰における ロジスティック関数と同等のものとして機能します。

係数ベクトルのすべてが一意に識別できるわけではないことに注意してください。これは、すべての確率の合計が 1 になる必要があるため、残りがすべてわかるとそのうちの 1 つが完全に決定されるためです。結果として、個別に指定できる確率のみが存在し、したがって個別に識別できる係数ベクトルのみが存在することになります。これを確認する 1 つの方法は、すべての係数ベクトルに定数ベクトルを追加すると、方程式が同一になることに注目することです。 ${\displaystyle \beta _{k}}$${\displaystyle k-1}$${\displaystyle k-1}$

${\displaystyle {\begin{aligned}{\frac {e^{({\boldsymbol {\beta }}_{c}+C)\cdot \mathbf {X} _{i}}}{\sum _{k=1}^{K}e^{({\boldsymbol {\beta }}_{k}+C)\cdot \mathbf {X} _{i}}}}&={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}e^{C\cdot \mathbf {X} _{i}}}{\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}e^{C\cdot \mathbf {X} _{i}}}}\\&={\frac {e^{C\cdot \mathbf {X} _{i}}e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{e^{C\cdot \mathbf {X} _{i}}\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}}\\&={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}}\end{aligned}}}$

その結果、設定するのが慣例となっています(または、他の係数ベクトルの 1 つ)。基本的に、定数を設定してベクトルの 1 つが 0 になり、他のすべてのベクトルがそれらのベクトルと選択したベクトルの差に変換されます。これは、K 個の選択肢の 1 つを中心に「ピボット」し、ピボットしている選択肢と比較して、他のK − 1 個の選択肢すべてがどれだけ優れているか 、または劣っているかを調べることと同じです。数学的には、係数を次のように変換します。 ${\displaystyle C=-{\boldsymbol {\beta }}_{K}}$

${\displaystyle {\begin{aligned}{\boldsymbol {\beta }}'_{k}&={\boldsymbol {\beta }}_{k}-{\boldsymbol {\beta }}_{K}\;\;\;,\;k<K\\{\boldsymbol {\beta }}'_{K}&=0\end{aligned}}}$

これにより、次の式が導かれます。

${\displaystyle \Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}'_{k}\cdot \mathbf {X} _{i}}}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}'_{j}\cdot \mathbf {X} _{i}}}}\;\;\;\;,\;\;k\leq K}$

回帰係数のプライム記号を除けば、これはK  − 1 の独立した 2 元回帰 に関して上で説明したモデルの形式とまったく同じです。

バイナリ ロジスティック回帰で説明した2 元潜在変数モデルに従って、多項ロジスティック回帰を潜在変数モデルとして定式化することもできます。この定式化は離散選択モデルの理論では一般的であり、多項ロジスティック回帰を関連する多項プロビットモデルと比較したり、より複雑なモデルに拡張したりすることが容易になります。

各データポイントiと可能な結果k  = 1,2,..., Kに対して、次のように分布する 連続潜在変数 Y _i,k ^* (つまり、観測されないランダム変数)があるとします。

${\displaystyle Y_{i,k}^{\ast }={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}+\varepsilon _{k}\;\;\;\;,\;\;k\leq K}$

ここで、すなわち標準的なタイプ1極値分布。 ${\displaystyle \varepsilon _{k}\sim \operatorname {EV} _{1}(0,1),}$

この潜在変数は、データ ポイントi が結果k を選択することに関連付けられた効用と考えることができます。ここで、実際に得られる効用量にはランダム性があり、選択に影響する他のモデル化されていない要因を考慮します。実際の変数の値は、これらの潜在変数から非ランダムな方法で決定されます (つまり、ランダム性は観測された結果から潜在変数に移動されます)。ここで、結果kは、関連付けられた効用 (の値) が他のすべての選択肢の効用よりも大きい場合、つまり、結果kに関連付けられた効用がすべての効用の最大値である場合に限り選択されます。潜在変数は連続しているため、2 つの値がまったく同じである確率は 0 であり、このシナリオは無視されます。つまり、 ${\displaystyle Y_{i}}$${\displaystyle Y_{i,k}^{\ast }}$

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1)&=\Pr(Y_{i,1}^{\ast }>Y_{i,2}^{\ast }{\text{ and }}Y_{i,1}^{\ast }>Y_{i,3}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,1}^{\ast }>Y_{i,K}^{\ast })\\\Pr(Y_{i}=2)&=\Pr(Y_{i,2}^{\ast }>Y_{i,1}^{\ast }{\text{ and }}Y_{i,2}^{\ast }>Y_{i,3}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,2}^{\ast }>Y_{i,K}^{\ast })\\&\,\,\,\vdots \\\Pr(Y_{i}=K)&=\Pr(Y_{i,K}^{\ast }>Y_{i,1}^{\ast }{\text{ and }}Y_{i,K}^{\ast }>Y_{i,2}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,K}^{\ast }>Y_{i,K-1}^{\ast })\\\end{aligned}}}$

または同等:

${\displaystyle \Pr(Y_{i}=k)\;=\;\Pr(\max(Y_{i,1}^{\ast },Y_{i,2}^{\ast },\ldots ,Y_{i,K}^{\ast })=Y_{i,k}^{\ast })\;\;\;\;,\;\;k\leq K}$

最初の方程式をもう少し詳しく見てみましょう。次のように書くことができます。

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1)&=\Pr(Y_{i,1}^{\ast }>Y_{i,k}^{\ast }\ \forall \ k=2,\ldots ,K)\\&=\Pr(Y_{i,1}^{\ast }-Y_{i,k}^{\ast }>0\ \forall \ k=2,\ldots ,K)\\&=\Pr({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}-({\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}+\varepsilon _{k})>0\ \forall \ k=2,\ldots ,K)\\&=\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{k})\cdot \mathbf {X} _{i}>\varepsilon _{k}-\varepsilon _{1}\ \forall \ k=2,\ldots ,K)\end{aligned}}}$

ここで理解すべきことがいくつかあります:

1. 一般に、の場合には となります。つまり、2 つの独立した同一分布の極値分布変数の差はロジスティック分布に従いますが、最初のパラメータは重要ではありません。最初のパラメータは位置パラメータ、つまり平均を一定量シフトするもので、2 つの値が両方とも同じ量シフトされる場合、その差は同じままなので、これは理解できます。つまり、特定の選択の確率の基礎となる関係ステートメントはすべてロジスティック分布に関係しており、これにより、かなり恣意的に思えた極値分布の最初の選択が、いくらか理解しやすくなります。${\displaystyle X\sim \operatorname {EV} _{1}(a,b)}$${\displaystyle Y\sim \operatorname {EV} _{1}(a,b)}$${\displaystyle X-Y\sim \operatorname {Logistic} (0,b).}$
2. 極値分布またはロジスティック分布の 2 番目のパラメータはスケール パラメータで、の場合、 となります。これは、スケール 1 の代わりに任意のスケール パラメータを持つエラー変数を使用することによる影響は、すべての回帰ベクトルに同じスケールを掛けるだけで補正できることを意味します。前のポイントと合わせて、これは、エラー変数に標準の極値分布 (位置 0、スケール 1) を使用しても、任意の極値分布を使用する場合と比べて一般性が失われないことを示しています。実際、より一般的な分布を使用すると、モデルは識別不可能になります(最適な係数の単一のセットが存在しません)。${\displaystyle X\sim \operatorname {Logistic} (0,1)}$${\displaystyle bX\sim \operatorname {Logistic} (0,b).}$
3. 回帰係数のベクトルの差のみが使用されるため、すべての係数ベクトルに任意の定数を追加してもモデルには影響しません。つまり、対数線形モデルと同様に、係数ベクトルのK  − 1 のみが識別可能であり、最後の係数ベクトルは任意の値 (例: 0) に設定できます。

実際に上記の確率の値を見つけることはやや難しく、一連の値の特定の順序統計量(最初の、つまり最大値) を計算する問題です。ただし、結果の式は上記の定式と同じであること、つまり 2 つが同等であることが示されます。

多項ロジスティック回帰を使用する場合、従属変数の 1 つのカテゴリが参照カテゴリとして選択されます。参照カテゴリを除く従属変数の各カテゴリのすべての独立変数について、個別のオッズ比が決定されます。参照カテゴリは分析から省略されます。指数ベータ係数は、対応する独立変数の 1 単位の変化に関連付けられた、参照カテゴリに対する従属変数が特定のカテゴリにあるオッズの変化を表します。

説明変数の観測値は、確率的に独立し、カテゴリ的に分布するランダム変数の実現として考えられます。 ${\displaystyle y_{i}\in {0,1,\dots K}}$${\displaystyle i=1,\dots ,n}$${\displaystyle Y_{1},\dots ,Y_{n}}$

このモデルの尤度関数は次のように定義されます。

${\displaystyle L=\prod _{i=1}^{n}P(Y_{i}=y_{i})=\prod _{i=1}^{n}\left(\prod _{j=1}^{K}P(Y_{i}=j)^{\delta _{j,y_{i}}}\right),}$ここで、インデックスは観測値 1 から n を表し、インデックスはクラス 1 からK を表します。はクロネッカーのデルタです。${\displaystyle i}$${\displaystyle j}$${\displaystyle \delta _{j,y_{i}}={\begin{cases}1{\text{ for }}j=y_{i}\\0{\text{ otherwise}}\end{cases}}}$

したがって、負の対数尤度関数はよく知られているクロスエントロピーです。

${\displaystyle -\log L=-\sum _{i=1}^{n}\sum _{j=1}^{K}\delta _{j,y_{i}}\log(P(Y_{i}=j)).}$

自然言語処理では、多項式 LR 分類器は、予測子として機能するランダム変数 (一般に特徴と呼ばれる) の統計的独立性を前提としないため、ナイーブベイズ分類器の代替としてよく使用されます。ただし、このようなモデルでの学習はナイーブベイズ分類器よりも遅くなるため、学習するクラスの数が非常に多い場合は適切ではない可能性があります。特に、ナイーブベイズ分類器での学習は、特徴とクラスの共起数を数えるだけの単純なものですが、最大エントロピー分類器では、通常は最大事後確率 (MAP) 推定を使用して最大化される重みを、反復手順を使用して学習する必要があります。「係数の推定」を参照してください。

• ロジスティック回帰
• 多項プロビット