ロジスティック回帰

ロジスティック回帰は、機械学習、ほとんどの医療分野、社会科学など、さまざまな分野で使用されています。たとえば、負傷した患者の死亡率を予測するために広く使用されている外傷および傷害重症度スコア（ TRISS ）は、もともとボイドらがロジスティック回帰を使用して開発したものです。^{[ 6 ]} 患者の重症度を評価するために使用される他の多くの医療スケールは、ロジスティック回帰を使用して開発されています。^{[ 7 ] [ 8 ] [ 9 ] [ 10 ]}ロジスティック回帰は、患者の観察された特性（年齢、性別、体格指数、さまざまな血液検査の結果など）に基づいて、特定の疾患（たとえば、糖尿病、冠状動脈性心疾患）を発症するリスクを予測するために使用できます。^{[ 11 ] [ 12 ]} 別の例としては、年齢、収入、性別、人種、居住州、過去の選挙での投票などに基づいて、ネパールの有権者がネパール会議派、ネパール共産党、またはその他の政党に投票するかどうかを予測することが挙げられます。 ^{[ 13 ]}この手法は、特に特定のプロセス、システム、または製品の故障確率を予測するために、工学でも使用できます。 ^{[ 14 ] [ 15 ]}また、顧客が製品を購入したり、購読を停止したりする傾向を予測するなど、マーケティングの用途でも使用されます。 ^{[ 16 ]}経済学では、人が労働力になる可能性を予測するために使用でき、ビジネス用途としては、住宅所有者が住宅ローンを滞納する可能性を予測することが挙げられます。条件付きランダムフィールドは、ロジスティック回帰をシーケンスデータに拡張したもので、自然言語処理で使用されます。災害対策担当者や技術者は、建物火災、山火事、ハリケーンなどの小規模および大規模な避難時に、住宅所有者や建物居住者が下す決定を予測するためにこれらのモデルに頼っています。^{[ 17 ] [ 18 ] [ 19 ]}これらのモデルは、信頼性の高い災害管理計画と建築環境のより安全な設計の開発に役立ちます。

ロジスティック回帰は、電子メールがスパムかどうかを識別したり、患者の検査結果に基づいて特定の状態の有無を評価して病気を診断したりするなど、二値分類タスクに広く使用されている教師あり機械学習アルゴリズムです。このアプローチでは、ロジスティック関数（またはシグモイド関数）を使用して、入力特徴の線形結合を0から1の間の確率値に変換します。この確率は、特定の入力が2つの事前定義されたカテゴリのいずれかに対応する可能性を示します。ロジスティック回帰の基本的なメカニズムは、二値結果の確率を正確にモデル化するロジスティック関数の能力に基づいています。特徴的なS字型の曲線を持つロジスティック関数は、実数値を0から1の区間内の値に効果的にマッピングします。この特徴により、電子メールを「スパム」または「スパムではない」に分類するなど、二値分類タスクに特に適しています。従属変数が特定のグループに分類される確率を計算することで、ロジスティック回帰は情報に基づいた意思決定をサポートする確率的フレームワークを提供します。^{[ 20 ]}

簡単な例として、説明変数1つとカテゴリ2つを用いたロジスティック回帰分析を用いて、以下の質問に答えることができます。

20人の学生グループが、試験勉強に0時間から6時間費やすとします。勉強に費やす時間数は、学生が試験に合格する確率にどのように影響しますか？

この問題にロジスティック回帰を用いる理由は、従属変数である合格と不合格の値が「1」と「0」で表されるものの、基数ではないためです。もし問題が変更され、合格／不合格が0～100の点数（基数）に置き換えられた場合、単純回帰分析を用いることができます。

この表は、各学生が勉強に費やした時間と、合格（1）か不合格（0）かを示しています。

学習時間 ( x _k ) とテスト結果 ( y _k = 合格の場合は 1、不合格の場合は 0)からなるデータにロジスティック関数を当てはめたい。データポイントは添え字kでインデックス付けされており、kは から始まる 。${\displaystyle k=1}$に${\displaystyle k=K=20}$x変数は「説明変数」と呼ばれ、y変数は「カテゴリ変数」と呼ばれ、「合格」または「不合格」の2つのカテゴリから構成され、それぞれカテゴリ値1と0に対応します。

ロジスティック関数は次の形式です。

${\displaystyle p(x)={\frac {1}{1+e^{-(x-\mu )/s}}}}$

ここでμは位置パラメータ（曲線の中点、${\displaystyle p(\mu )=1/2}$）そしてsはスケールパラメータです。この式は次のように書き換えることができます。

${\displaystyle p(x)={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x)}}}}$

どこ${\displaystyle \beta _{0}=-\mu /s}$そしてそれは切片として知られています（直線の垂直切片またはy切片です）。${\displaystyle y=\beta _{0}+\beta _{1}x}$）、 そして${\displaystyle \beta _{1}=1/s}$（逆スケールパラメータまたはレートパラメータ）：これらは、xの関数としての対数オッズのy切片と傾きです。逆に、${\displaystyle \mu =-\beta _{0}/\beta _{1}}$そして${\displaystyle s=1/\beta _{1}}$。

このモデルは実際には過度に単純化されており、学生が無限に勉強すれば（限界＝1）全員が合格することを意味していることに注意してください。

ロジスティック回帰の適合度の一般的な尺度は、ロジスティック損失（または対数損失）、すなわち負の対数尤度を使用します。与えられたx _kとy _kに対して、次のように記述します。${\displaystyle p_{k}=p(x_{k})}$. その⁠${\displaystyle p_{k}}$は対応する確率です。$\displaystyle y_k}}$は1 に等しくなり、$1-p_k$は、それらがゼロになる確率です（ベルヌーイ分布を参照）。 の値を求めたいのです。$\displaystyle \beta _{0}}$そして​​$\displaystyle \beta _{1}}$これはデータに「最もよく適合する」ものです。データへの「最もよく適合する」ものの比較については、線形回帰の場合を参照してください。線形回帰では、適合とデータ点 ( y _k )との二乗偏差の合計、つまり二乗誤差損失が適合の良し悪しの尺度として用いられ、この損失が最小化されたときに最もよく適合するものが得られます。

k番目の点の対数損失$\displaystyle \ell _{k}}$⁠は：

${\displaystyle \ell _{k}={\begin{cases}-\ln p_{k}&{\text{ if }}y_{k}=1,\\-\ln(1-p_{k})&{\text{ if }}y_{k}=0.\end{cases}}}$

対数損失は、実際の結果に対する「驚き」として解釈できる。${\displaystyle y_{k}}$予測と比較して${\displaystyle p_{k}}$⁠ 、情報量の尺度です。対数損失は常に0以上であり、完全な予測の場合（つまり、${\displaystyle p_{k}=1}$そして${\displaystyle y_{k}=1}$、 または${\displaystyle p_{k}=0}$そして${\displaystyle y_{k}=0}$）であり、予測が悪化するにつれて無限大に近づきます（つまり、${\displaystyle y_{k}=1}$そして${\displaystyle p_{k}\to 0}$または${\displaystyle y_{k}=0}$そして${\displaystyle p_{k}\to 1}$）、つまり実際の結果は「より驚くべき」ということです。ロジスティック関数の値は常に厳密にゼロから1の間にあるため、対数損失は常にゼロより大きく、無限大より小さくなります。線形回帰では、モデルがデータポイントを通過することである点で損失がゼロになる可能性があり（すべての点が直線上にある場合は全体として損失がゼロになります）、ロジスティック回帰では、どの点でも損失がゼロになることはありません。${\displaystyle y_{k}}$は0または1のいずれかですが、${\displaystyle 0<p_{k}<1}$⁠ .

これらは1つの式にまとめることができます。

${\displaystyle \ell _{k}=-y_{k}\ln p_{k}-(1-y_{k})\ln(1-p_{k}).}$

この式は、より正式には予測分布の交差エントロピーとして知られています。${\displaystyle {\big (}p_{k},(1-p_{k}){\big )}}$実際の分布から${\displaystyle {\big (}y_{k},(1-y_{k}){\big )}}$（合格、不合格）の2要素空間上の確率分布として。

これらを合計した総損失は、全体的な負の対数尤度である。${\displaystyle -\ell }$⁠、そして、これらの選択肢に対して最適な適合が得られます。${\displaystyle \beta _{0}}$そして​​${\displaystyle \beta _{1}}$⁠そのため⁠${\displaystyle -\ell }$最小化されています。

あるいは、損失を最小化する代わりに、その逆数である（正の）対数尤度を最大化することもできる。

${\displaystyle \ell =\sum _{k:y_{k}=1}\ln(p_{k})+\sum _{k:y_{k}=0}\ln(1-p_{k})=\sum _{k=1}^{K}\left(\,y_{k}\ln(p_{k})+(1-y_{k})\ln(1-p_{k})\right)}$

あるいは、同等に、与えられたデータセットが特定のロジスティック関数によって生成される確率である尤度関数自体を最大化する。

${\displaystyle L=\prod _{k:y_{k}=1}p_{k}\,\prod _{k:y_{k}=0}(1-p_{k})}$

この方法は最尤推定法として知られています。

ℓは非線形であるため${\displaystyle \beta _{0}}$そして​​${\displaystyle \beta _{1}}$⁠、それらの最適値を決定するには数値的手法が必要となる。ℓ を最大化する一つの方法は、 ℓの⁠に関する導関数を求めることである${\displaystyle \beta _{0}}$そして​​${\displaystyle \beta _{1}}$ゼロになる：

${\displaystyle 0={\frac {\partial \ell }{\partial \beta _{0}}}=\sum _{k=1}^{K}(y_{k}-p_{k})}$

${\displaystyle 0={\frac {\partial \ell }{\partial \beta _{1}}}=\sum _{k=1}^{K}(y_{k}-p_{k})x_{k}}$

そして、最大化手順は、上記の2つの方程式を解くことによって実行できます。${\displaystyle \beta _{0}}$そして​​${\displaystyle \beta _{1}}$⁠、これもまた、一般的には数値的手法の使用を必要とするだろう。

の値${\displaystyle \beta _{0}}$そして​​${\displaystyle \beta _{1}}$上記のデータを用いてℓとLを最大化する値は以下のとおりである。

${\displaystyle \beta _{0}\approx -4.1}$

${\displaystyle \beta _{1}\approx 1.5}$

これにより、 μとsの値は次のようになる。

${\displaystyle \mu =-\beta _{0}/\beta _{1}\approx 2.7}$

${\displaystyle s=1/\beta _{1}\approx 0.67}$

その​${\displaystyle \beta _{0}}$そして​​${\displaystyle \beta _{1}}$係数をロジスティック回帰方程式に入力することで、試験に合格する確率を推定できます。

例えば、2時間勉強する学生の場合、値を入力すると${\displaystyle x=2}$この式に代入すると、試験に合格する推定確率は0.25となる。

${\displaystyle t=\beta _{0}+2\beta _{1}\approx -4.1+2\cdot 1.5=-1.1}$

${\displaystyle p={\frac {1}{1+e^{-t}}}\approx 0.25={\text{Probability of passing exam}}}$

同様に、4時間勉強する学生の場合、試験に合格する確率は0.87と推定される。

${\displaystyle t=\beta _{0}+4\beta _{1}\approx -4.1+4\cdot 1.5=1.9}$

${\displaystyle p={\frac {1}{1+e^{-t}}}\approx 0.87={\text{Probability of passing exam}}}$

この表は、様々な学習時間における試験合格の推定確率を示しています。

ロジスティック回帰分析の結果は以下のとおりです。

ウォルド検定によると、勉強時間は試験合格の確率と有意に関連していることが示されています（${\displaystyle p=0.017}$）。ワルド法ではなく、ロジスティック回帰のp値を計算する推奨方法^{[ 21 ]}は尤度比検定（LRT）であり、このデータでは次のようになります。${\displaystyle p\approx 0.00064}$（下記の§ 逸脱度検定および尤度比検定を参照）。

この単純なモデルは二項ロジスティック回帰の一例であり、1つの説明変数と、2つのカテゴリ値のいずれかを取る二値カテゴリ変数から構成されています。多項ロジスティック回帰は、二項ロジスティック回帰を一般化したもので、任意の数の説明変数と任意の数のカテゴリに対応できます。

ロジスティック回帰の説明は、標準的なロジスティック関数の説明から始めることができます。ロジスティック関数はシグモイド関数であり、任意の実数値を入力として受け取ります。${\displaystyle t}$、そして0から1の間の値を出力します。^{[ 2 ]}ロジットの場合、これは入力対数オッズを受け取り、出力確率を持つと解釈されます。標準ロジスティック関数${\displaystyle \sigma$ :\mathbb {R} \rightarrow (0,1)} は次のように定義されます。

${\displaystyle \sigma (t)={\frac {e^{t}}{e^{t}+1}}={\frac {1}{1+e^{-t}}}}$

図1に、 t区間(−6,6)におけるロジスティック関数のグラフを示す。

と仮定しましょう${\displaystyle t}$単一の説明変数の線形関数である${\displaystyle x}$（${\displaystyle t}$は複数の説明変数の線形結合であり、同様に扱われます。${\displaystyle t}$次のように：

${\displaystyle t=\beta _{0}+\beta _{1}x}$

そして一般的なロジスティック関数${\displaystyle p:\mathbb {R} \rightarrow (0,1)}$次のように記述できます。

${\displaystyle p(x)=\sigma (t)={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x)}}}}$

ロジスティックモデルでは、${\displaystyle p(x)}$従属変数の確率として解釈される${\displaystyle Y}$成功/ケースと等しく、失敗/非ケースとは等しくない。応答変数は${\displaystyle Y_{i}}$分布は同一ではない。${\displaystyle P(Y_{i}=1\mid X)}$1つのデータポイントと異なる${\displaystyle X_{i}}$設計行列が与えられているが、それらは互いに独立している。${\displaystyle X}$および共有パラメータ${\displaystyle \beta }$[ ^{11 ]​}

ロジット（対数オッズ）関数を逆関数として定義できます。${\displaystyle g=\sigma ^{-1}}$標準ロジスティック関数の。これは以下の条件を満たすことが容易にわかる。

${\displaystyle g(p(x))=\sigma ^{-1}(p(x))=\operatorname {logit} p(x)=\ln \left({\frac {p(x)}{1-p(x)}}\right)=\beta _{0}+\beta _{1}x,}$

同様に、両辺を指数関数化すると、オッズは次のようになります。

${\displaystyle {\frac {p(x)}{1-p(x)}}=e^{\beta _{0}+\beta _{1}x}.}$

上記の式において、各項は以下のとおりです。

• ${\displaystyle g}$ロジット関数です。${\displaystyle g(p(x))}$これは、ロジット（つまり、対数オッズまたはオッズの自然対数）が線形回帰式と同等であることを示しています。
• ${\displaystyle \ln }$は自然対数を表します。
• ${\displaystyle p(x)}$は、予測変数の線形結合が与えられた場合に、従属変数がケースと等しくなる確率です。${\displaystyle p(x)}$これは、従属変数がケースとなる確率が、線形回帰式のロジスティック関数の値に等しいことを示しています。これは、線形回帰式の値が負から正の無限大まで変化する可能性があるにもかかわらず、変換後に確率を表す結果の式が、${\displaystyle p(x)}$0から1の範囲の値をとります。
• ${\displaystyle \beta _{0}}$これは線形回帰方程式の切片（予測変数がゼロの場合の基準値）です。
• ${\displaystyle \beta _{1}x}$回帰係数に予測変数の何らかの値を乗じたものです。
• ベース${\displaystyle e}$は指数関数を表します。

従属変数がケースと等しくなる確率（ある線形結合が与えられた場合）${\displaystyle x}$予測変数の）は、線形回帰式の指数関数に相当します。これは、ロジットが確率と線形回帰式の間のリンク関数としてどのように機能するかを示しています。ロジットは負の無限大から正の無限大までの範囲をとるため、線形回帰を実行するための適切な基準を提供し、ロジットはオッズに簡単に変換できます。^{[ 2 ]}

そこで、従属変数がケースと等しくなるオッズを定義します（ある線形結合が与えられた場合）。${\displaystyle x}$予測因子の内訳は以下のとおりです。

${\displaystyle {\text{odds}}=e^{\beta _{0}+\beta _{1}x}.}$

連続的な独立変数の場合、オッズ比は次のように定義できます。

${\displaystyle \mathrm {OR} ={\frac {\operatorname {odds} (x+1)}{\operatorname {odds} (x)}}={\frac {\left({\frac {p(x+1)}{1-p(x+1)}}\right)}{\left({\frac {p(x)}{1-p(x)}}\right)}}={\frac {e^{\beta _{0}+\beta _{1}(x+1)}}{e^{\beta _{0}+\beta _{1}x}}}=e^{\beta _{1}}}$

この指数関数的な関係は、${\displaystyle \beta _{1}}$: オッズは${\displaystyle e^{\beta _{1}}}$xが1単位増加するごとに。^{[ 22 ]}

二値独立変数の場合、オッズ比は次のように定義されます。${\displaystyle {\frac {ad}{bc}}}$ここで、 a、b、c、dは2×2分割表のセルである。^{[ 23 ]}

説明変数が複数ある場合、上記の式${\displaystyle \beta _{0}+\beta _{1}x}$改訂可能${\displaystyle \beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m}=\beta _{0}+\sum _{i=1}^{m}\beta _{i}x_{i}}$そして、これが成功の対数オッズと予測変数の値の関係式で使用されると、線形回帰はm個の説明変数を持つ多重回帰になります。${\displaystyle \beta _{i}}$すべての人々のために${\displaystyle i=0,1,2,\dots ,m}$すべて推定値です。

繰り返しますが、より伝統的な方程式は次のとおりです。

${\displaystyle \log {\frac {p}{1-p}}=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m}}$

そして

${\displaystyle p={\frac {1}{1+b^{-(\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m})}}}}$

通常${\displaystyle b=e}$。

上記の説明変数1つに対する二項ロジスティック回帰の例は、任意の数の説明変数x ₁、x ₂、...および任意の数のカテゴリ値に対する二項ロジスティック回帰に一般化できます。${\displaystyle y=0,1,2,\dots }$。

まず、M個の説明変数x ₁、x ₂ ... x _Mと、上記の例のように 2 つのカテゴリ値 ( y = 0 と 1 ) を持つロジスティック モデルを考えてみましょう。単純な二項ロジスティック回帰モデルでは、予測変数とイベントの対数オッズ (ロジットとも呼ばれる) の間に線形関係があると仮定しました。${\displaystyle y=1}$この線形関係は、 M個の説明変数がある場合にも拡張できる。

${\displaystyle t=\log _{b}{\frac {p}{1-p}}=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{M}x_{M}}$

ここでtは対数オッズであり、${\displaystyle \beta _{i}}$はモデルのパラメータです。モデルの基底 ( b ) がオイラー数eに限定されないという追加の一般化が導入されています。ほとんどのアプリケーションでは、基底は${\displaystyle b}$対数の底は通常eとされます。しかし、場合によっては、底を 2 または底を 10 で計算した方が結果を伝えやすいことがあります。

より簡潔な表記のために、説明変数とβ係数を以下のように指定します。${\displaystyle (M+1)}$⁠ -次元ベクトル:

${\displaystyle {\boldsymbol {x}}=\{x_{0},x_{1},x_{2},\dots ,x_{M}\}}$

${\displaystyle {\boldsymbol {\beta }}=\{\beta _{0},\beta _{1},\beta _{2},\dots ,\beta _{M}\}}$

説明変数x ₀ =1 を追加した場合、ロジットは次のように表すことができます。

${\displaystyle t=\sum _{m=0}^{M}\beta _{m}x_{m}={\boldsymbol {\beta }}\cdot x}$

確率pを解くと${\displaystyle y=1}$収量：

${\displaystyle p({\boldsymbol {x}})={\frac {b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}{1+b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}}={\frac {1}{1+b^{-{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}}=S_{b}(t)}$、

どこ${\displaystyle S_{b}}$は底が のシグモイド関数です${\displaystyle b}$上記の式は、${\displaystyle \beta _{m}}$が固定されている場合、対数オッズを簡単に計算できます。${\displaystyle y=1}$特定の観測値、または確率${\displaystyle y=1}$与えられた観測値に対して。ロジスティックモデルの主な使用例は、観測値が与えられた場合です。${\displaystyle {\boldsymbol {x}}}$確率を推定する${\displaystyle p({\boldsymbol {x}})}$それ${\displaystyle y=1}$最適なベータ係数は、対数尤度を最大化することによって再び見つけることができます。K回の測定の場合、次のように定義します。${\displaystyle {\boldsymbol {x}}_{k}}$k番目の測定値の説明ベクトルとして、${\displaystyle y_{k}}$その測定のカテゴリカルな結果として、対数尤度は単純なものと非常によく似た形式で記述できます。${\displaystyle M=1}$上記のケース：

${\displaystyle \ell =\sum _{k=1}^{K}y_{k}\log _{b}(p({\boldsymbol {x_{k}}}))+\sum _{k=1}^{K}(1-y_{k})\log _{b}(1-p({\boldsymbol {x_{k}}}))}$

上記の簡単な例と同様に、最適なβパラメータを見つけるには数値計算法が必要です。有効な手法の一つは、対数尤度の各βパラメータに関する導関数をゼロに等しくすることです。これにより、対数尤度の最大値で成り立つ一連の方程式が得られます。

${\displaystyle {\frac {\partial \ell }{\partial \beta _{m}}}=0=\sum _{k=1}^{K}y_{k}x_{mk}-\sum _{k=1}^{K}p({\boldsymbol {x}}_{k})x_{mk}}$

ここで、x _mkはk 番目の測定値からのx _m説明変数の値です。

例を考えてみましょう${\displaystyle M=2}$説明変数、${\displaystyle b=10}$、および係数${\displaystyle \beta _{0}=-3}$、${\displaystyle \beta _{1}=1}$、 そして${\displaystyle \beta _{2}=2}$これらは上記の方法によって決定されたものである。具体的には、モデルは以下のとおりである。

${\displaystyle t=\log _{10}{\frac {p}{1-p}}=-3+x_{1}+2x_{2}}$

${\displaystyle p={\frac {b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}{1+b^{{\boldsymbol {\beta }}\cdot x}}}={\frac {b^{\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}}{1+b^{\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}}}={\frac {1}{1+b^{-(\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2})}}}}$、

ここでpは、${\displaystyle y=1}$これは次のように解釈できます。

• ${\displaystyle \beta _{0}=-3}$はy切片です。これは、次の事象の対数オッズです。${\displaystyle y=1}$予測因子が${\displaystyle x_{1}=x_{2}=0}$指数化することで、次のことがわかります。${\displaystyle x_{1}=x_{2}=0}$その出来事の確率${\displaystyle y=1}$1から1000まで、または${\displaystyle 10^{-3}}$同様に、${\displaystyle y=1}$いつ${\displaystyle x_{1}=x_{2}=0}$計算すると次のようになります。${\displaystyle 1/(1000+1)=1/1001.}$
• ${\displaystyle \beta _{1}=1}$増加は${\displaystyle x_{1}}$1 増やすと対数オッズが${\displaystyle 1}$なので、もし${\displaystyle x_{1}}$1増加すると、${\displaystyle y=1}$倍に増加${\displaystyle 10^{1}}$確率${\displaystyle y=1}$増加もしているが、オッズの増加ほどではない。
• ${\displaystyle \beta _{2}=2}$増加は${\displaystyle x_{2}}$1 増やすと対数オッズが${\displaystyle 2}$なので、もし${\displaystyle x_{2}}$1増加すると、${\displaystyle y=1}$倍に増加${\displaystyle 10^{2}.}$効果に注目してください${\displaystyle x_{2}}$対数オッズでは、効果の2倍になります${\displaystyle x_{1}}$しかし、オッズへの影響は10倍大きい。しかし、確率への影響は${\displaystyle y=1}$10倍も大きいわけではなく、確率への影響が10倍大きいだけです。

上記の2つのカテゴリ（二項ロジスティック回帰）の場合、カテゴリは「0」と「1」でインデックス付けされ、2つの確率がありました。結果がカテゴリ1である確率は次のように与えられます。${\displaystyle p({\boldsymbol {x}})}$そして、結果がカテゴリー0になる確率は次のように表される。${\displaystyle 1-p({\boldsymbol {x}})}$これらの確率の合計は1になります。これは、この設定では「0」と「1」しかあり得ないカテゴリであるため、必ず正しいことになります。

一般的に、もし私たちが${\displaystyle M+1}$説明変数（ x ₀を含む）および${\displaystyle N+1}$カテゴリー、必要になります${\displaystyle N+1}$各カテゴリごとに個別の確率（添え字n付き）があり、これは共変量ベクトルxを条件として、カテゴリ結果yがカテゴリy=nに属する確率を表します。これらの確率をすべてのカテゴリについて合計すると1になります。数学的に便利な基数eを用いると、これらの確率は次のようになります。

${\displaystyle p_{n}({\boldsymbol {x}})={\frac {e^{{\boldsymbol {\beta }}_{n}\cdot {\boldsymbol {x}}}}{1+\sum _{u=1}^{N}e^{{\boldsymbol {\beta }}_{u}\cdot {\boldsymbol {x}}}}}}$のために${\displaystyle n=1,2,\dots ,N}$

${\displaystyle p_{0}({\boldsymbol {x}})=1-\sum _{n=1}^{N}p_{n}({\boldsymbol {x}})={\frac {1}{1+\sum _{u=1}^{N}e^{{\boldsymbol {\beta }}_{u}\cdot {\boldsymbol {x}}}}}}$

それぞれの確率は${\displaystyle p_{0}({\boldsymbol {x}})}$それぞれ独自の回帰係数セットを持つ${\displaystyle {\boldsymbol {\beta }}_{n}}$必要なとおり、${\displaystyle p_{n}({\boldsymbol {x}})}$すべてのカテゴリnは 1 です。${\displaystyle p_{0}({\boldsymbol {x}})}$他の確率で定義されるのは人為的である。どの確率でもそのように定義されるように選択できたはずだ。この特別なnの値は「ピボットインデックス」と呼ばれ、対数オッズ ( t _n ) はピボット確率で表され、説明変数の線形結合として再び表される。

${\displaystyle t_{n}=\ln \left({\frac {p_{n}({\boldsymbol {x}})}{p_{0}({\boldsymbol {x}})}}\right)={\boldsymbol {\beta }}_{n}\cdot {\boldsymbol {x}}}$

また、単純なケースでは、${\displaystyle N=1}$2つのカテゴリーのケースが回復され、${\displaystyle p({\boldsymbol {x}})=p_{1}({\boldsymbol {x}})}$そして${\displaystyle p_{0}({\boldsymbol {x}})=1-p_{1}({\boldsymbol {x}})}$。

上記の確率によって特定のK個の測定値またはデータポイントが生成される対数尤度を計算できます。各測定値をkでインデックス付けし、k番目の測定された説明変数のセットを次のように表します。${\displaystyle {\boldsymbol {x}}_{k}}$そしてそれらのカテゴリー別結果は、${\displaystyle y_{k}}$これは[0,N]内の任意の整数に等しくなります。対数尤度は次のようになります。

${\displaystyle \ell =\sum _{k=1}^{K}\sum _{n=0}^{N}\Delta (n,y_{k})\,\ln(p_{n}({\boldsymbol {x}}_{k}))}$

どこ${\displaystyle \Delta (n,y_{k})}$は、 y _k = nの場合に 1、それ以外の場合は 0 となる指示関数です。説明変数が 2 つの場合、この指示関数はn = 1 のときにy _k 、 n = 0のときに1-y _kと定義されました。これは便利でしたが、必須ではありませんでした。^{[ 24 ]}繰り返しになりますが、最適なベータ係数は、一般的に数値的手法を用いて対数尤度関数を最大化することによって見つけることができます。考えられる解法の 1 つは、各ベータ係数に関する対数尤度の導関数をゼロに設定し、ベータ係数を解くことです。

${\displaystyle {\frac {\partial \ell }{\partial \beta _{nm}}}=0=\sum _{k=1}^{K}\Delta (n,y_{k})x_{mk}-\sum _{k=1}^{K}p_{n}({\boldsymbol {x}}_{k})x_{mk}}$

どこ${\displaystyle \beta _{nm}}$は、のm番目の係数です。${\displaystyle {\boldsymbol {\beta }}_{n}}$ベクトルと${\displaystyle x_{mk}}$は、 k番目の測定値に対するm番目の説明変数です。データからベータ係数が推定されると、その後の任意の説明変数セットが、考えられる結果カテゴリのいずれかをもたらす確率を推定できるようになります。

ロジスティック回帰が用いる特定のモデルは、標準的な線形回帰や二値結果に用いられる他のタイプの回帰分析と区別されるものであり、特定の結果の確率が線形予測関数にどのように結び付けられるかという点にある。

${\displaystyle \operatorname {logit} (\operatorname {\mathbb {E} } [Y_{i}\mid x_{1,i},\ldots ,x_{m,i}])=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)=\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{m}x_{m,i}}$

上記で説明したより簡潔な表記法を用いて記述すると、次のようになります。

${\displaystyle \operatorname {logit} (\operatorname {\mathbb {E} } [Y_{i}\mid \mathbf {X} _{i}])=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}$

この定式化は、ロジスティック回帰を一般化線形モデルの一種として表現しており、変数の期待値の何らかの任意の変換に対して上記の形式の線形予測関数を当てはめることで、様々なタイプの確率分布を持つ変数を予測します。

ロジット関数（オッズの自然対数）を用いた変換の直感は、すでに上で説明しました。また、この変換は、確率（0から1の間に限定される）を、範囲が の変数に変換するという実際的な効果もあります。${\displaystyle (-\infty ,+\infty )}$―これにより、等式の右辺にある線形予測関数の潜在的な範囲と一致する。

確率p _iと回帰係数はどちらも観測されておらず、それらを決定する手段はモデル自体の一部ではありません。通常、それらは何らかの最適化手順、たとえば最尤推定によって決定され、観測データに最もよく適合する値（つまり、既に観測されているデータに対して最も正確な予測を与える値）を見つけます。通常、正則化条件が適用され、ありそうもない値、たとえば回帰係数のいずれかの極端に大きな値を排除しようとします。正則化条件の使用は、最尤推定の拡張である最大事後確率（MAP）推定を行うことと同等です。（正則化は、係数に平均ゼロのガウス事前分布を置くことと同等の二乗正則化関数を使用して最も一般的に行われますが、他の正則化も可能です。）正則化を使用するかどうかにかかわらず、通常、閉形式の解を見つけることはできません。代わりに、反復重み付き最小二乗法（IRLS）などの反復数値法、または最近ではより一般的にはL-BFGS法などの準ニュートン法を使用する必要がある。^{[ 25 ]}

β _jパラメータ推定値の解釈は、説明変数jの単位変化に対するオッズの対数への加算効果として解釈されます。例えば、性別のような二値の説明変数の場合、${\displaystyle e^{\beta }}$これは、例えば男性の場合と女性の場合で、その結果が生じる確率の推定値です。

同等の式では、ロジット関数の逆関数であるロジスティック関数を使用します。つまり、次のようになります。

${\displaystyle \operatorname {\mathbb {E} } [Y_{i}\mid \mathbf {X} _{i}]=p_{i}=\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})={\frac {1}{1+e^{-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}}$

この式は、確率分布（具体的には、確率質量関数を用いる）として表すこともできます。

${\displaystyle \Pr(Y_{i}=y\mid \mathbf {X} _{i})={p_{i}}^{y}(1-p_{i})^{1-y}=\left({\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{y}\left(1-{\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{1-y}={\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}\cdot y}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}}$

ロジスティックモデルは、潜在変数モデルと同等の定式化が可能です。この定式化は離散選択モデルの理論でよく用いられ、複数の相関する選択肢を持つより複雑なモデルへの拡張を容易にするだけでなく、ロジスティック回帰と密接に関連するプロビットモデルとの比較も容易にします。

各試行iに対して、次のような分布に従う連続潜在変数Y _i ^* (つまり、観測されない確率変数) が存在すると想像してください。

${\displaystyle Y_{i}^{\ast }={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon _{i}\,}$

どこ

${\displaystyle \varepsilon _{i}\sim \operatorname {Logistic} (0,1)\,}$

つまり、潜在変数は線形予測関数と標準ロジスティック分布に従って分布する加法的なランダム誤差変数を用いて直接記述することができる。

すると、Y _{i は}この潜在変数が正であるかどうかの指標と見なすことができる。

${\displaystyle Y_{i}={\begin{cases}1&{\text{if }}Y_{i}^{\ast }>0\ {\text{ i.e. }}{-\varepsilon _{i}}<{\boldsymbol {\beta }}\cdot \mathbf {X} _{i},\\0&{\text{otherwise.}}\end{cases}}}$

誤差変数を、位置と尺度を任意の値に設定した一般的なロジスティック分布ではなく、標準ロジスティック分布でモデル化するという選択は、制約が多いように思えるかもしれませんが、実際にはそうではありません。回帰係数は自分で選択でき、多くの場合、誤差変数の分布のパラメータの変化を相殺するために使用できることを覚えておく必要があります。たとえば、位置パラメータμ（平均を設定する）がゼロでないロジスティック誤差変数分布は、位置パラメータがゼロで、μが切片係数に加算された分布と同等です。どちらの場合も、説明変数の設定に関係なく、 Y _i ^*の値は同じになります。同様に、任意の尺度パラメータsは、尺度パラメータを1に設定し、すべての回帰係数をsで割ることと同等です。後者の場合、Y _i ^*の結果値は、すべての説明変数セットに対して、前者の場合よりもs倍小さくなりますが、重要なことに、常に0の同じ側に留まり、したがって同じY _iの選択につながります。

（これは、尺度パラメータの無関係性が、2つ以上の選択肢が存在するより複雑なモデルには当てはまらない可能性があることを示唆している。）

この定式化は、一般化線形モデルで表現され、潜在変数を含まない、前述の定式化と完全に等価であることが判明しました。これは、標準ロジスティック分布の累積分布関数（CDF）がロジスティック関数であり、それがロジット関数の逆関数であるという事実を用いて、次のように示すことができます。

${\displaystyle \Pr(\varepsilon _{i}<x)=\operatorname {logit} ^{-1}(x)}$

それから：

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1\mid \mathbf {X} _{i})&=\Pr(Y_{i}^{\ast }>0\mid \mathbf {X} _{i})\\[5pt]&=\Pr({\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon _{i}>0)\\[5pt]&=\Pr(\varepsilon _{i}>-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})\\[5pt]&=\Pr(\varepsilon _{i}<{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&&{\text{(because the logistic distribution is symmetric)}}\\[5pt]&=\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&\\[5pt]&=p_{i}&&{\text{(see above)}}\end{aligned}}}$

この定式化は離散選択モデルでは標準的なものであり、ロジスティック回帰（「ロジットモデル」）とプロビットモデルの関係を明確にしています。プロビットモデルでは、誤差変数が標準ロジスティック分布ではなく標準正規分布に従って分布します。ロジスティック分布と正規分布はどちらも対称で、基本的な単峰性の「ベルカーブ」形状をしています。唯一の違いは、ロジスティック分布の方が裾がやや重いということです。つまり、外れ値データに対する感度が低く（したがって、モデルの誤った仕様や誤ったデータに対してやや頑健である）、ロジスティック分布の方が優れているということです。

さらに別の定式化では、2つの別々の潜在変数を使用する。

${\displaystyle {\begin{aligned}Y_{i}^{0\ast }&={\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}+\varepsilon _{0}\,\\Y_{i}^{1\ast }&={\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}\,\end{aligned}}}$

どこ

${\displaystyle {\begin{aligned}\varepsilon _{0}&\sim \operatorname {EV} _{1}(0,1)\\\varepsilon _{1}&\sim \operatorname {EV} _{1}(0,1)\end{aligned}}}$

ここで、EV ₁ (0,1) は標準的なタイプ 1極値分布である。

${\displaystyle \Pr(\varepsilon _{0}=x)=\Pr(\varepsilon _{1}=x)=e^{-x}e^{-e^{-x}}}$

それから

${\displaystyle Y_{i}={\begin{cases}1&{\text{if }}Y_{i}^{1\ast }>Y_{i}^{0\ast },\\0&{\text{otherwise.}}\end{cases}}}$

このモデルでは、従属変数の各可能な結果に対して、それぞれ独立した潜在変数と回帰係数のセットが存在します。このように分離する理由は、多項ロジットモデルのように、ロジスティック回帰を複数の結果を持つカテゴリ変数に容易に拡張できるようにするためです。このようなモデルでは、各可能な結果を​​異なる回帰係数のセットを用いてモデル化するのが自然です。また、それぞれの潜在変数を、関連する選択を行うことに関連する理論的効用として捉えることも可能であり、効用理論の観点からロジスティック回帰を説明できます。（効用理論では、合理的な行為者は常に最も効用の高い選択肢を選びます。）これは、経済学者が離散選択モデルを定式化する際に採用するアプローチです。理論的に強固な基盤を提供すると同時に、モデルに関する直感的な理解を容易にし、ひいては様々な拡張を容易に検討できるようにするためです。（以下の例を参照してください。）

タイプ1の極値分布の選択はかなり恣意的に思えるが、数学的にはうまくいくし、合理的な選択理論を通してその使用を正当化できるかもしれない。

一見すると分かりにくいかもしれないが、このモデルは前のモデルと等価であることが判明した。なぜなら、回帰係数と誤差変数のセットが2つあり、誤差変数の分布も異なっているからである。実際、このモデルは以下の置換を行うことで前のモデルに直接帰着する。

${\displaystyle {\boldsymbol {\beta }}={\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0}}$

${\displaystyle \varepsilon =\varepsilon _{1}-\varepsilon _{0}}$

これに対する直感的な理解は、2つの値の最大値に基づいて選択するため、正確な値ではなく、その差だけが重要であり、これにより実質的に1つの自由度が失われるという事実から得られる。もう1つの重要な事実は、2つのタイプ1極値分布変数の差がロジスティック分布であるということ、つまり${\displaystyle \varepsilon =\varepsilon _{1}-\varepsilon _{0}\sim \operatorname {Logistic} (0,1).}$以下のように、同等のものを実証できます。

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1\mid \mathbf {X} _{i})={}&\Pr \left(Y_{i}^{1\ast }>Y_{i}^{0\ast }\mid \mathbf {X} _{i}\right)&\\[5pt]={}&\Pr \left(Y_{i}^{1\ast }-Y_{i}^{0\ast }>0\mid \mathbf {X} _{i}\right)&\\[5pt]={}&\Pr \left({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}-\left({\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}+\varepsilon _{0}\right)>0\right)&\\[5pt]={}&\Pr \left(({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}-{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i})+(\varepsilon _{1}-\varepsilon _{0})>0\right)&\\[5pt]={}&\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0})\cdot \mathbf {X} _{i}+(\varepsilon _{1}-\varepsilon _{0})>0)&\\[5pt]={}&\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0})\cdot \mathbf {X} _{i}+\varepsilon >0)&&{\text{(substitute }}\varepsilon {\text{ as above)}}\\[5pt]={}&\Pr({\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon >0)&&{\text{(substitute }}{\boldsymbol {\beta }}{\text{ as above)}}\\[5pt]={}&\Pr(\varepsilon >-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&&{\text{(now, same as above model)}}\\[5pt]={}&\Pr(\varepsilon <{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&\\[5pt]={}&\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})\\[5pt]={}&p_{i}\end{aligned}}}$

さらに別の定式化では、上記の双方向潜在変数定式化と、潜在変数を含まない上位の元の定式化を組み合わせ、その過程で多項ロジットの標準的な定式化の1つへのリンクを提供します。

ここでは、確率p _iのロジットを線形予測子として記述する代わりに、線形予測子を 2 つの結果それぞれに対応する 2 つの部分に分割します。

${\displaystyle {\begin{aligned}\ln \Pr(Y_{i}=0)&={\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}-\ln Z\\\ln \Pr(Y_{i}=1)&={\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}-\ln Z\end{aligned}}}$

2つの別々の回帰係数セットが導入されており、これは2方向潜在変数モデルと同様で、2つの方程式は、関連する確率の対数を線形予測子として記述する形式に、追加の項を加えた形で現れます。${\displaystyle -\ln Z}$最後に。この項は、結果が分布となることを保証する正規化係数として機能します。これは、両辺を指数関数化することで確認できます。

${\displaystyle {\begin{aligned}\Pr(Y_{i}=0)&={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}\\[5pt]\Pr(Y_{i}=1)&={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}\end{aligned}}}$

この形式から明らかなように、 Zの目的は、Y _iに関する結果的な分布が実際に確率分布となること、つまり合計が 1 になることを保証することです。これは、Z がすべての非正規化確率の合計であり、各確率をZで割ることによって確率が「正規化」されることを意味します。つまり、次のようになります。

${\displaystyle Z=e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}$

そして、結果として得られる方程式は次のようになる。

${\displaystyle {\begin{aligned}\Pr(Y_{i}=0)&={\frac {e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}\\[5pt]\Pr(Y_{i}=1)&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

あるいは一般的に言えば：

${\displaystyle \Pr(Y_{i}=c)={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{\sum _{h}e^{{\boldsymbol {\beta }}_{h}\cdot \mathbf {X} _{i}}}}}$

これは、多項ロジットのように、この定式化を2つ以上の結果に一般化する方法を明確に示しています。この一般的な定式化は、まさに次のソフトマックス関数です。

${\displaystyle \Pr(Y_{i}=c)=\operatorname {softmax} (c,{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i},{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i},\dots ).}$

これが前のモデルと同等であることを証明するために、まず上記のモデルが過剰指定されていることを認識することから始めます。${\displaystyle \Pr(Y_{i}=0)}$そして${\displaystyle \Pr(Y_{i}=1)}$独立して指定することはできません。むしろ${\displaystyle \Pr(Y_{i}=0)+\Pr(Y_{i}=1)=1}$つまり、一方が分かれば他方も自動的に分かる。結果として、モデルは識別不可能であり、複数の組み合わせで${\displaystyle {\boldsymbol {\beta }}_{0}}$そして${\displaystyle {\boldsymbol {\beta }}_{1}}$考えられるすべての説明変数に対して、同じ確率が得られます。実際、両方に任意の定数ベクトルを加えると、同じ確率が得られることがわかります。

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1)&={\frac {e^{({\boldsymbol {\beta }}_{1}+\mathbf {C} )\cdot \mathbf {X} _{i}}}{e^{({\boldsymbol {\beta }}_{0}+\mathbf {C} )\cdot \mathbf {X} _{i}}+e^{({\boldsymbol {\beta }}_{1}+\mathbf {C} )\cdot \mathbf {X} _{i}}}}\\[5pt]&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}}\\[5pt]&={\frac {e^{\mathbf {C} \cdot \mathbf {X} _{i}}e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{\mathbf {C} \cdot \mathbf {X} _{i}}(e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}})}}\\[5pt]&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

その結果、2つのベクトルのうちの1つに任意の値を選択することで、問題を単純化し、識別可能性を回復することができます。ここでは、${\displaystyle {\boldsymbol {\beta }}_{0}=\mathbf {0} .}$ それから、

${\displaystyle e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}=e^{\mathbf {0} \cdot \mathbf {X} _{i}}=1}$

など

${\displaystyle \Pr(Y_{i}=1)={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}={\frac {1}{1+e^{-{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}=p_{i}}$

これは、この定式化が確かに前の定式化と同等であることを示しています。（2方向潜在変数定式化と同様に、${\displaystyle {\boldsymbol {\beta }}={\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0}}$（同等の結果が得られるでしょう。）

多項ロジットモデルのほとんどの扱いは、ここで紹介した「対数線形」定式化、または上記で紹介した2方向潜在変数定式化のいずれかを拡張することから始まります。これは、どちらの定式化も、モデルを多方向の結果に拡張する方法を明確に示しているためです。一般的に、潜在変数を用いた表現は、離散選択モデルや効用理論が主流である計量経済学や政治学でより一般的であり、一方、ここで紹介した「対数線形」定式化は、機械学習や自然言語処理などのコンピュータ科学でより一般的です。

このモデルには同等の定式化がある

${\displaystyle p_{i}={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i})}}}.\,}$

この関数形式は、一般的に単層パーセプトロンまたは単層人工ニューラルネットワークと呼ばれます。単層ニューラルネットワークは、ステップ関数ではなく連続出力を計算します。X = ( x 1 _, ..., x _k )に関する p _iの導関数は、次の一般形式から計算されます。  

${\displaystyle y={\frac {1}{1+e^{-f(X)}}}}$

ここで、f ( X )はXに関する解析関数です。この選択により、単層ニューラルネットワークはロジスティック回帰モデルと同一になります。この関数は連続微分が可能であるため、バックプロパゲーションに使用できます。また、この関数は微分が容易であるため、好ましいとされています。

${\displaystyle {\frac {\mathrm {d} y}{\mathrm {d} X}}=y(1-y){\frac {\mathrm {d} f}{\mathrm {d} X}}.\,}$

密接に関連するモデルでは、各iは単一のベルヌーイ試行ではなく、n _{i 個}の独立した同一分布の試行に関連付けられていると仮定し、観測値Y _iは観測された成功数 (個々のベルヌーイ分布に従う確率変数の合計) であり、したがって二項分布に従います。

${\displaystyle Y_{i}\,\sim \operatorname {Bin} (n_{i},p_{i}),{\text{ for }}i=1,\dots ,n}$