ロジスティック回帰

統計学において、ロジスティックモデル（またはロジットモデル）は、ある事象の対数オッズを1つ以上の独立変数の線型結合としてモデル化する統計モデルである。回帰分析において、ロジスティック回帰^[1]（またはロジット回帰）はロジスティックモデルのパラメータ（線型結合または非線型結合の係数）を推定する。バイナリロジスティック回帰では、指標変数によってコード化された単一のバイナリ従属変数があり、2つの値には「0」と「1」のラベルが付けられ、独立変数はそれぞれバイナリ変数（指標変数によってコード化された2つのクラス）または連続変数（任意の実数値）にすることができる。ラベルが付けられた値「1」に対応する確率は、0（必ず値「0」）から1（必ず値「1」）の間で変化するため、^{[2]対数オッズを確率に変換する関数は}ロジスティック関数であり、これが名前の由来である。対数オッズ尺度の測定単位は、 logistic unitからlogitと呼ばれ、別名もこれに由来しています。正式な数学については § 背景と § 定義を、実例については § 例 を参照してください 。

バイナリ変数は、チームが勝つ確率や患者が健康である確率など、特定のクラスまたはイベントが発生する確率をモデル化するために統計で広く使用されています (§ アプリケーションを参照)。ロジスティックモデルは、1970 年頃からバイナリ回帰の最も一般的に使用されているモデルです^{。 [3]}バイナリ変数は、2 つ以上の値が可能な場合 (画像が猫、犬、ライオンなどであるかどうかなど)、カテゴリ変数に一般化でき、バイナリロジスティック回帰は多項ロジスティック回帰に一般化されます。複数のカテゴリが順序付けられている場合は、順序ロジスティック回帰(比例オッズ順序ロジスティックモデル^[4]など)を使用できます。さらなる拡張については、§ 拡張を参照してください。ロジスティック回帰モデル自体は、単に入力に対する出力の確率をモデル化するものであり、統計的分類は実行しません（分類器ではありません）。ただし、たとえばカットオフ値を選択し、カットオフよりも高い確率の入力を 1 つのクラスとして分類し、カットオフよりも低い確率の入力を別のクラスとして分類するなど、分類器を作成するために使用できます。これは、バイナリ分類器を作成する一般的な方法です。

バイナリ変数の類似の線型モデルも、ロジスティック関数の代わりに異なるシグモイド関数を使用して (線型結合を確率に変換するため) 使用できます。最も有名なのはプロビット モデルです。§ 代替案を参照してください。ロジスティック モデルの定義特性は、独立変数の 1 つを増やすと、特定の結果のオッズが一定の割合で乗法的に拡大され、各独立変数が独自のパラメーターを持つことです。バイナリ従属変数の場合、これによりオッズ比が一般化されます。より抽象的に言えば、ロジスティック関数はベルヌーイ分布の自然なパラメーターであり、この意味では実数を確率に変換する「最も単純な」方法です。特に、エントロピーを最大化 (追加情報を最小化) し、この意味ではモデル化されるデータに関する仮定が最も少なくなります。§ 最大エントロピーを参照してください。

ロジスティック回帰のパラメータは、通常、最大尤度推定法(MLE) によって推定されます。これは、線形最小二乗法とは異なり、閉じた形式の式を持ちません。§ モデルの当てはめを参照してください。MLE によるロジスティック回帰は、通常最小二乗法(OLS)による線形回帰がスカラー応答に対して果たすのと同様に、バイナリ応答またはカテゴリ応答に対して基本的な役割を果たします。つまり、これは単純で、十分に分析されたベースライン モデルです。詳細については、§ 線形回帰との比較を参照してください。一般的な統計モデルとしてのロジスティック回帰は、もともとJoseph Berksonによって開発され、普及しました。 ^[5] Berkson (1944) で彼が「logit」という造語を生み出したことに始まります。§ 歴史を参照してください。

ロジスティック回帰は、機械学習、ほとんどの医療分野、社会科学など、さまざまな分野で使用されています。たとえば、負傷した患者の死亡率を予測するために広く使用されている外傷および傷害の重症度スコア（TRISS）は、もともとBoydらによってロジスティック回帰を使用して開発されました。 [ ^6] 患者の重症度を評価するために使用される他の多くの医療スケールは、ロジスティック回帰を使用して開発されています。^{[7] [8] [9] [10]}ロジスティック回帰は、患者の観察された特性（年齢、性別、BMI、さまざまな血液検査の結果など）に基づいて、特定の疾患（例：糖尿病、冠状動脈性心疾患）を発症するリスクを予測するために使用される場合があります。^{[11] [12]} 別の例としては、年齢、収入、性別、人種、居住州、前回の選挙での投票などに基づいて、ネパールの有権者がネパール会議派、ネパール共産党、またはその他の政党のいずれに投票するかを予測することが挙げられます。 ^{[13]この手法は}エンジニアリングでも使用でき、特に特定のプロセス、システム、または製品の故障確率を予測するために使用できます。^{[14] [15]}また、顧客の製品購入傾向やサブスクリプションの停止傾向の予測など、マーケティングアプリケーションでも使用されます。 ^[16]経済学では、人が労働力に入る可能性を予測するために使用でき、ビジネスアプリケーションでは、住宅所有者が住宅ローンを滞納する可能性を予測します。ロジスティック回帰を順次データに拡張した条件付きランダムフィールドは、自然言語処理で使用されます。災害計画者や技術者は、建物火災、山火事、ハリケーンなどの小規模および大規模避難における世帯主や建物居住者の意思決定を予測するためにこれらのモデルに依存しています。^{[17] [18] [19]これらのモデルは、信頼性の高い}災害管理計画の開発と構築環境のより安全な設計に役立ちます。

ロジスティック回帰は、電子メールがスパムであるかどうかを識別したり、患者の検査結果に基づいて特定の状態の有無を評価して病気を診断したりするなど、バイナリ分類タスクに広く使用されている教師あり機械学習アルゴリズムです。このアプローチでは、ロジスティック (またはシグモイド) 関数を使用して、入力機能の線形結合を 0 から 1 の範囲の確率値に変換します。この確率は、特定の入力が 2 つの定義済みカテゴリのいずれかに対応する可能性を示します。ロジスティック回帰の基本的なメカニズムは、バイナリ結果の確率を正確にモデル化するロジスティック関数の能力に基づいています。ロジスティック関数は、独特の S 字型曲線を使用して、任意の実数値を 0 から 1 の間隔内の値に効果的にマッピングします。この機能により、電子メールを「スパム」または「スパムではない」に分類するなどのバイナリ分類タスクに特に適しています。従属変数が特定のグループに分類される確率を計算することにより、ロジスティック回帰は情報に基づいた意思決定をサポートする確率フレームワークを提供します。^[20]

簡単な例として、1 つの説明変数と 2 つのカテゴリを持つロジスティック回帰を使用して、次の質問に答えることができます。

20 人の学生のグループが試験のために 0 ～ 6 時間を勉強に費やしています。勉強に費やした時間数は、学生が試験に合格する確率にどのように影響しますか?

この問題にロジスティック回帰を使用する理由は、従属変数の合格と不合格の値が「1」と「0」で表されているものの、基数ではないためです。合格/不合格を 0 ～ 100 の成績 (基数) に置き換えるように問題を変更した場合は、単回帰分析を使用できます。

表には、各生徒が勉強に費やした時間と、合格（1）か不合格（0）かが表示されます。

学習時間 ( x _k ) とテストの結果 ( y _k  =1 (合格)、0 (不合格)) からなるデータにロジスティック関数を当てはめます。データ ポイントは、から までの添え字 k でインデックス付けされます。x変数は「説明変数」と呼ばれ、y変数は「カテゴリ変数」と呼ばれ、カテゴリ値 1 と 0 にそれぞれ対応する「合格」または「不合格」の 2 つのカテゴリで構成されます。 ${\displaystyle k=1}$${\displaystyle k=K=20}$

ロジスティック関数は次の形式になります。

${\displaystyle p(x)={\frac {1}{1+e^{-(x-\mu )/s}}}}$

ここで、μ は位置パラメータ（曲線の中点、）であり、 s はスケールパラメータです。この式は次のように書き直すことができます。 ${\displaystyle p(\mu )=1/2}$

${\displaystyle p(x)={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x)}}}}$

ここで、 および は切片（直線 の垂直切片またはy切片）として知られています。また、（逆スケールパラメータまたは速度パラメータ）は、 xの関数としての対数オッズのy切片と傾きです。逆に、および です。 ${\displaystyle \beta _{0}=-\mu /s}$${\displaystyle y=\beta _{0}+\beta _{1}x}$${\displaystyle \beta _{1}=1/s}$${\displaystyle \mu =-\beta _{0}/\beta _{1}}$${\displaystyle s=1/\beta _{1}}$

注意: このモデルは、十分に学習すれば誰でも合格すると想定しているため、実際には過度に単純化されています (制限 = 1)。より現実的にしたい場合は、制限値も可変パラメータにする必要があります。

ロジスティック回帰の適合度の通常の尺度には、ロジスティック損失（またはログ損失）、つまり負の対数尤度が使用されます。与えられたx _kとy _kについて、と書きます。⁠ ⁠は、対応する⁠ ⁠が 1 になる確率で、 ⁠ ⁠ は、それらが 0 になる確率です（ベルヌーイ分布を参照）。データに「最適適合」する⁠ ⁠ ⁠と⁠ ⁠の値を見つけます。線形回帰の場合、データ ポイント（y _k）からの適合度の二乗偏差の合計、つまり二乗誤差損失が適合度の尺度として採用され、その関数が最小化されるときに最適適合が得られます。 ${\displaystyle p_{k}=p(x_{k})}$${\displaystyle p_{k}}$${\displaystyle y_{k}}$${\displaystyle 1-p_{k}}$${\displaystyle \beta _{0}}$${\displaystyle \beta _{1}}$

k番目の点⁠ ⁠${\displaystyle \ell _{k}}$の対数損失は次のとおりです。

${\displaystyle \ell _{k}={\begin{cases}-\ln p_{k}&{\text{ if }}y_{k}=1,\\-\ln(1-p_{k})&{\text{ if }}y_{k}=0.\end{cases}}}$

ログ損失は、予測⁠ ⁠に対する実際の結果の「意外性」として解釈でき、情報コンテンツの尺度です。ログ損失は常に 0 以上で、予測が完璧な場合 (つまり、 および、またはおよびの場合) のみ 0 になり、予測が悪くなると (つまり、 およびまたはおよびの場合) 無限大に近づき、実際の結果が「より意外」であることを意味します。ロジスティック関数の値は常に 0 と 1 の間にあるため、ログ損失は常に 0 より大きく無限大より小さくなります。線形回帰では、モデルはデータ ポイントを通過することで 1 つのポイントで損失をゼロにすることができ (すべてのポイントが直線上にある場合は全体の損失がゼロになります)、ロジスティック回帰では ⁠ ⁠ が 0 または1であるが⁠ ⁠であるため、どのポイントでも損失をゼロにすることはできません。 ${\displaystyle y_{k}}$${\displaystyle p_{k}}$${\displaystyle p_{k}=1}$${\displaystyle y_{k}=1}$${\displaystyle p_{k}=0}$${\displaystyle y_{k}=0}$${\displaystyle y_{k}=1}$${\displaystyle p_{k}\to 0}$${\displaystyle y_{k}=0}$${\displaystyle p_{k}\to 1}$${\displaystyle y_{k}}$${\displaystyle 0<p_{k}<1}$

これらを 1 つの式に組み合わせることができます。

${\displaystyle \ell _{k}=-y_{k}\ln p_{k}-(1-y_{k})\ln(1-p_{k}).}$

この表現は、より正式には、(合格、不合格)の2要素空間上の確率分布としての、 実際の分布からの予測分布のクロスエントロピーとして知られています。${\displaystyle {\big (}p_{k},(1-p_{k}){\big )}}$${\displaystyle {\big (}y_{k},(1-y_{k}){\big )}}$

これらの合計、つまり総損失は、全体的な負の対数尤度⁠ ⁠であり、 ${\displaystyle -\ell }$⁠ ⁠が最小化される⁠ ⁠${\displaystyle \beta _{0}}$および⁠ ⁠${\displaystyle \beta _{1}}$の選択に対して最適な適合が得られます。 ${\displaystyle -\ell }$

あるいは、損失を最小化する代わりに、その逆数である（正の）対数尤度 を最大化することもできます。

${\displaystyle \ell =\sum _{k:y_{k}=1}\ln(p_{k})+\sum _{k:y_{k}=0}\ln(1-p_{k})=\sum _{k=1}^{K}\left(\,y_{k}\ln(p_{k})+(1-y_{k})\ln(1-p_{k})\right)}$

または、与えられたデータセットが特定のロジスティック関数によって生成される確率である 尤度関数自体を最大化します。

${\displaystyle L=\prod _{k:y_{k}=1}p_{k}\,\prod _{k:y_{k}=0}(1-p_{k})}$

この方法は最大尤度推定法として知られています。

ℓ は⁠ ⁠${\displaystyle \beta _{0}}$および⁠ ⁠${\displaystyle \beta _{1}}$に関して非線形であるため、それらの最適値を決定するには数値的な方法が必要になります。ℓを最大化する 1 つの方法は 、 ⁠ ⁠および⁠ ⁠に関するℓの導関数が0 になるようにすることです。 ${\displaystyle \beta _{0}}$${\displaystyle \beta _{1}}$

${\displaystyle 0={\frac {\partial \ell }{\partial \beta _{0}}}=\sum _{k=1}^{K}(y_{k}-p_{k})}$

${\displaystyle 0={\frac {\partial \ell }{\partial \beta _{1}}}=\sum _{k=1}^{K}(y_{k}-p_{k})x_{k}}$

そして、最大化の手順は、上記の2つの方程式を⁠ ⁠${\displaystyle \beta _{0}}$と⁠ ⁠${\displaystyle \beta _{1}}$について解くことによって達成できますが、この場合も通常は数値手法を使用する必要があります。

上記のデータを使用してℓとL を最大化する⁠ ⁠${\displaystyle \beta _{0}}$と⁠ ⁠${\displaystyle \beta _{1}}$の値は次のようになります。

${\displaystyle \beta _{0}\approx -4.1}$

${\displaystyle \beta _{1}\approx 1.5}$

これにより、 μとsの値は次のように表されます。

${\displaystyle \mu =-\beta _{0}/\beta _{1}\approx 2.7}$

${\displaystyle s=1/\beta _{1}\approx 0.67}$

⁠ ⁠${\displaystyle \beta _{0}}$および⁠ ⁠${\displaystyle \beta _{1}}$係数をロジスティック回帰方程式に入力して、試験に合格する確率を推定することができます。

たとえば、2 時間勉強する学生の場合、この値を式に入力すると、試験に合格する確率は 0.25 と推定されます。 ${\displaystyle x=2}$

${\displaystyle t=\beta _{0}+2\beta _{1}\approx -4.1+2\cdot 1.5=-1.1}$

${\displaystyle p={\frac {1}{1+e^{-t}}}\approx 0.25={\text{Probability of passing exam}}}$

同様に、4 時間勉強する学生の場合、試験に合格する確率は 0.87 と推定されます。

${\displaystyle t=\beta _{0}+4\beta _{1}\approx -4.1+4\cdot 1.5=1.9}$

${\displaystyle p={\frac {1}{1+e^{-t}}}\approx 0.87={\text{Probability of passing exam}}}$

この表は、勉強時間の値に応じて試験に合格する推定確率を示しています。

ロジスティック回帰分析では次の出力が得られます。

Wald検定によれば、勉強時間は試験合格の確率と有意に関連していることを示しています（）。Wald法ではなく、ロジスティック回帰のp値を計算する推奨方法^[21]は尤度比検定（LRT）であり、これらのデータでは次のようになります（以下の§逸脱度検定と尤度比検定を参照）。 ${\displaystyle p=0.017}$${\displaystyle p\approx 0.00064}$

この単純なモデルは、バイナリ ロジスティック回帰の例であり、1 つの説明変数と、2 つのカテゴリ値のいずれかをとることができるバイナリ カテゴリ変数があります。多項ロジスティック回帰は、バイナリ ロジスティック回帰を一般化して、任意の数の説明変数と任意の数のカテゴリを含めることができます。

ロジスティック回帰の説明は、標準ロジスティック関数の説明から始まります。ロジスティック関数はシグモイド関数で、任意の実数入力を受け取り、0から1の間の値を出力します。^{[2]ロジットの場合、これは入力}ログオッズを受け取り、確率を出力すると解釈されます。標準ロジスティック関数は次のように定義されます。 ${\displaystyle t}$${\displaystyle \sigma :\mathbb {R} \rightarrow (0,1)}$

${\displaystyle \sigma (t)={\frac {e^{t}}{e^{t}+1}}={\frac {1}{1+e^{-t}}}}$

t区間（−6,6）におけるロジスティック関数のグラフを図1に示します。

が単一の説明変数の線形関数であると仮定します（ が複数の説明変数の線形結合である場合も同様に扱われます）。その場合、次のように表すことができます。 ${\displaystyle t}$ ${\displaystyle x}$${\displaystyle t}$${\displaystyle t}$

${\displaystyle t=\beta _{0}+\beta _{1}x}$

そして、一般的なロジスティック関数は次のように記述できます。 ${\displaystyle p:\mathbb {R} \rightarrow (0,1)}$

${\displaystyle p(x)=\sigma (t)={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x)}}}}$

ロジスティックモデルでは、は従属変数が失敗/非ケースではなく成功/ケースに等しい確率として解釈されます。応答変数が同一に分布していないことは明らかです。設計行列と共有パラメータが与えられている場合、応答変数は独立していますが、データポイントごとに異なります。^[11]${\displaystyle p(x)}$${\displaystyle Y}$ ${\displaystyle Y_{i}}$${\displaystyle P(Y_{i}=1\mid X)}$${\displaystyle X_{i}}$ ${\displaystyle X}$${\displaystyle \beta }$

これで、ロジット（対数オッズ）関数を標準ロジスティック関数の逆関数として定義できるようになりました。次の式を満たすことは簡単にわかります。 ${\displaystyle g=\sigma ^{-1}}$

${\displaystyle g(p(x))=\sigma ^{-1}(p(x))=\operatorname {logit} p(x)=\ln \left({\frac {p(x)}{1-p(x)}}\right)=\beta _{0}+\beta _{1}x,}$

同様に、両辺を累乗するとオッズは次のようになります。

${\displaystyle {\frac {p(x)}{1-p(x)}}=e^{\beta _{0}+\beta _{1}x}.}$

上記の式では、用語は次のとおりです。

• ${\displaystyle g}$はロジット関数です。 の式は、ロジット（つまり、対数オッズまたはオッズの自然対数）が線形回帰式と等しいことを示しています。${\displaystyle g(p(x))}$
• ${\displaystyle \ln }$自然対数を表します。
• ${\displaystyle p(x)}$は、予測変数の線形結合が与えられた場合に、従属変数がケースに等しい確率です。 の式は、従属変数がケースに等しい確率が線形回帰式のロジスティック関数の値に等しいことを示しています。これは、線形回帰式の値が負の無限大から正の無限大まで変化する可能性があるが、変換後に確率の結果式が0 から 1 の範囲になることを示す点で重要です。${\displaystyle p(x)}$${\displaystyle p(x)}$
• ${\displaystyle \beta _{0}}$線形回帰方程式の切片（予測変数がゼロの場合の基準の値）です。
• ${\displaystyle \beta _{1}x}$予測変数の何らかの値に乗じた回帰係数です。
• 基数は指数関数を表します。${\displaystyle e}$

従属変数がケースに等しいオッズ（予測変数の線形結合が与えられた場合）は、線形回帰式の指数関数に相当します。これは、ロジットが確率と線形回帰式の間のリンク関数として機能する方法を示しています。ロジットの範囲が負の無限大から正の無限大までであることを考えると、線形回帰を行うための適切な基準が提供され、ロジットは簡単にオッズに変換できます。^[2]${\displaystyle x}$

したがって、従属変数がケースに等しいオッズ（予測変数の線形結合が与えられた場合）を次のように定義します。 ${\displaystyle x}$

${\displaystyle {\text{odds}}=e^{\beta _{0}+\beta _{1}x}.}$

連続独立変数の場合、オッズ比は次のように定義できます。

${\displaystyle \mathrm {OR} ={\frac {\operatorname {odds} (x+1)}{\operatorname {odds} (x)}}={\frac {\left({\frac {p(x+1)}{1-p(x+1)}}\right)}{\left({\frac {p(x)}{1-p(x)}}\right)}}={\frac {e^{\beta _{0}+\beta _{1}(x+1)}}{e^{\beta _{0}+\beta _{1}x}}}=e^{\beta _{1}}}$

この指数関係は、次の解釈を提供します。オッズはxが1単位増加するごとに倍増します。^[22]${\displaystyle \beta _{1}}$${\displaystyle e^{\beta _{1}}}$

バイナリ独立変数の場合、オッズ比は次のように定義されます。ここで、a、b、c、dは2×2分割表のセルです。^[23]${\displaystyle {\frac {ad}{bc}}}$

説明変数が複数ある場合、上記の式は と修正できます。次に、成功の対数オッズを予測変数の値に関連付ける式でこれを使用すると、線形回帰はm 個の説明変数を持つ多重回帰となり、すべてのパラメータが推定されます。 ${\displaystyle \beta _{0}+\beta _{1}x}$${\displaystyle \beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m}=\beta _{0}+\sum _{i=1}^{m}\beta _{i}x_{i}}$${\displaystyle \beta _{i}}$${\displaystyle i=0,1,2,\dots ,m}$

繰り返しますが、より伝統的な方程式は次のとおりです。

${\displaystyle \log {\frac {p}{1-p}}=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m}}$

そして

${\displaystyle p={\frac {1}{1+b^{-(\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m})}}}}$

通常は. ${\displaystyle b=e}$

データセットにはN個のポイントが含まれます。各ポイントiは、 m 個の入力変数x _{1, i} ... x _m,i (独立変数、説明変数、予測変数、特徴、または属性とも呼ばれる) のセットと、バイナリ結果変数Y _i (従属変数、応答変数、出力変数、またはクラスとも呼ばれる) で構成されます。つまり、0 (多くの場合、「いいえ」または「失敗」を意味する) または 1 (多くの場合、「はい」または「成功」を意味する) の 2 つの値のみを想定できます。ロジスティック回帰の目的は、データセットを使用して結果変数の予測モデルを作成することです。

線形回帰と同様に、結果変数Y _{i は}説明変数x _{1, i} ... x _m,iに依存すると想定されます。

説明変数

説明変数は、実数値、バイナリ、カテゴリなど、任意のタイプにすることができます。主な違いは、連続変数と離散変数です。

(2 つ以上の選択肢を参照する離散変数は、通常、ダミー変数(または指標変数) を使用してコード化されます。つまり、離散変数の可能な値ごとに、0 または 1 の値を取る個別の説明変数が作成されます。1 は「変数には指定された値がある」ことを意味し、0 は「変数にはその値がない」ことを意味します。)

結果変数

正式には、結果Y _{i は}ベルヌーイ分布データとして記述され、各結果は、結果に固有だが説明変数に関連する観測されない確率p _iによって決定されます。これは、次の同等の形式のいずれかで表現できます。

${\displaystyle {\begin{aligned}Y_{i}\mid x_{1,i},\ldots ,x_{m,i}\ &\sim \operatorname {Bernoulli} (p_{i})\\[5pt]\operatorname {\mathbb {E} } [Y_{i}\mid x_{1,i},\ldots ,x_{m,i}]&=p_{i}\\[5pt]\Pr(Y_{i}=y\mid x_{1,i},\ldots ,x_{m,i})&={\begin{cases}p_{i}&{\text{if }}y=1\\1-p_{i}&{\text{if }}y=0\end{cases}}\\[5pt]\Pr(Y_{i}=y\mid x_{1,i},\ldots ,x_{m,i})&=p_{i}^{y}(1-p_{i})^{(1-y)}\end{aligned}}}$

これら 4 行の意味は次のとおりです。

1. 最初の行は各Y _iの確率分布を表します 。説明変数を条件として、パラメータp _iを持つベルヌーイ分布に従います。パラメータ p i は試行iの結果が 1 になる確率です。前述のように、各試行には独自の説明変数があるのと同様に、各試行には独自の成功確率があります。成功確率p _{i は}観測されず、その確率を使用した個々のベルヌーイ試行の結果のみが観測されます。
2. 2 行目は、各Y _iの期待値が成功確率p _iに等しいという事実を表しています。これは、ベルヌーイ分布の一般的な特性です。言い換えると、同じ成功確率p _{i を}使用してベルヌーイ試行を多数実行し、すべての 1 と 0 の結果の平均を取ると、結果はp _iに近くなります。これは、このように平均を取ると、見られる成功の割合が計算されるだけであり、これが基礎となる成功確率に収束すると予想されるためです。
3. 3 行目は、ベルヌーイ分布の確率質量関数を記述し、2 つの可能な結果のそれぞれが発生する確率を指定します。
4. 4 行目は確率質量関数の別の書き方です。これにより、別々のケースを書く必要がなくなり、特定の種類の計算ではより便利になります。これは、Y _{i が}0 または 1 の値しか取れないという事実に依存しています。いずれの場合も、指数の 1 つは 1 になり、その下の値が「選択」され、もう 1 つは 0 になり、その下の値が「打ち消されます」。したがって、結果は前の行と同様にp _iまたは 1 −  p _{i の}いずれかになります。

線形予測関数

ロジスティック回帰の基本的な考え方は、線形予測関数、つまり説明変数と、手元のモデルに固有だがすべての試行で同じである一連の回帰係数の線形結合を使用して確率p i_をモデル化することにより、線形回帰ですでに開発されたメカニズムを使用することです。特定のデータ ポイントiの線形予測関数は次のように記述されます。 ${\displaystyle f(i)}$

${\displaystyle f(i)=\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{m}x_{m,i},}$

ここで、特定の説明変数が結果に与える相対的な影響を示す 回帰係数です。${\displaystyle \beta _{0},\ldots ,\beta _{m}}$

モデルは通常、次のようによりコンパクトな形式にまとめられます。

• 回帰係数β ₀、β ₁、...、β _{m は}、サイズm + 1の単一のベクトルβにグループ化されます 。
• 各データポイントiに対して、切片係数β ₀に対応する固定値 1 を持つ追加の説明疑似変数x _{0, i}が追加されます。
• 結果として得られる説明変数x _{0, i}、x _{1, i}、...、x _{m,i は}、サイズm + 1 の単一のベクトルX _iにグループ化されます 。

これにより、線形予測関数を次のように記述できるようになります。

${\displaystyle f(i)={\boldsymbol {\beta }}\cdot \mathbf {X} _{i},}$

2 つのベクトル間のドット積の表記法を使用します。

上記の 1 つの説明変数に対する 2 値ロジスティック回帰の例は、任意の数の説明変数x ₁、 x ₂、...および任意の数のカテゴリ値に対する 2 値ロジスティック回帰に一般化できます。 ${\displaystyle y=0,1,2,\dots }$

まず、M 個の説明変数x ₁、x ₂ ... x _Mと、上記の例のように 2 つのカテゴリ値 ( y = 0 と 1) を持つロジスティック モデルを考えてみましょう。単純な 2 値ロジスティック回帰モデルでは、予測変数とイベントのログ オッズ ( logitとも呼ばれる) の間に線形関係があると仮定しました。この線形関係は、 M 個の説明変数 の場合にも拡張できます。${\displaystyle y=1}$

${\displaystyle t=\log _{b}{\frac {p}{1-p}}=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{M}x_{M}}$

ここで、tは対数オッズで、 はモデルのパラメータです。モデルの底 ( b ) がオイラー数eに制限されないという追加の一般化が導入されました。ほとんどのアプリケーションでは、対数の底は通常eとされます。ただし、場合によっては、底 2 または底 10 で作業すると結果を伝えやすくなることがあります。 ${\displaystyle \beta _{i}}$ ${\displaystyle b}$

より簡潔な表記のために、説明変数とβ係数を⁠ ⁠ 次元${\displaystyle (M+1)}$ベクトルとして指定します。

${\displaystyle {\boldsymbol {x}}=\{x_{0},x_{1},x_{2},\dots ,x_{M}\}}$

${\displaystyle {\boldsymbol {\beta }}=\{\beta _{0},\beta _{1},\beta _{2},\dots ,\beta _{M}\}}$

説明変数x ₀ =1 が追加されました。ロジットは次のように記述できます。

${\displaystyle t=\sum _{m=0}^{M}\beta _{m}x_{m}={\boldsymbol {\beta }}\cdot x}$

確率p を解くと次のようになります。 ${\displaystyle y=1}$

${\displaystyle p({\boldsymbol {x}})={\frac {b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}{1+b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}}={\frac {1}{1+b^{-{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}}=S_{b}(t)}$、

ここで、 はを底とするシグモイド関数です。上記の式は、 が固定されれば、特定の観測値に対する の対数オッズ、または特定の観測値に対する の確率を簡単に計算できることを示しています。ロジスティックモデルの主な使用例は、観測値 が与えられ、の確率を推定することです。最適なベータ係数は、対数尤度を最大化することで再び見つけることができます。K 個の測定について、 をk番目の測定の説明ベクトルとして、 をその測定のカテゴリ結果として定義すると、対数尤度は上記の単純なケースと非常によく似た形式で記述できます。 ${\displaystyle S_{b}}$${\displaystyle b}$${\displaystyle \beta _{m}}$${\displaystyle y=1}$${\displaystyle y=1}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle p({\boldsymbol {x}})}$${\displaystyle y=1}$${\displaystyle {\boldsymbol {x}}_{k}}$${\displaystyle y_{k}}$${\displaystyle M=1}$

${\displaystyle \ell =\sum _{k=1}^{K}y_{k}\log _{b}(p({\boldsymbol {x_{k}}}))+\sum _{k=1}^{K}(1-y_{k})\log _{b}(1-p({\boldsymbol {x_{k}}}))}$

上記の簡単な例のように、最適なβパラメータを見つけるには数値的な方法が必要です。1 つの便利な手法は、各βパラメータに関する対数尤度の導関数をゼロに等しくし、対数尤度の最大値で成立する一連の方程式を生成することです。

${\displaystyle {\frac {\partial \ell }{\partial \beta _{m}}}=0=\sum _{k=1}^{K}y_{k}x_{mk}-\sum _{k=1}^{K}p({\boldsymbol {x}}_{k})x_{mk}}$

ここで、x _{mk は}k 番目の測定からのx _m説明変数の値です。

上記の方法で決定された説明変数、、および係数、、を持つ例を考えてみましょう。具体的には、モデルは次のようになります。 ${\displaystyle M=2}$${\displaystyle b=10}$${\displaystyle \beta _{0}=-3}$${\displaystyle \beta _{1}=1}$${\displaystyle \beta _{2}=2}$

${\displaystyle t=\log _{10}{\frac {p}{1-p}}=-3+x_{1}+2x_{2}}$

${\displaystyle p={\frac {b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}{1+b^{{\boldsymbol {\beta }}\cdot x}}}={\frac {b^{\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}}{1+b^{\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}}}={\frac {1}{1+b^{-(\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2})}}}}$、

ここで、p はという事象の確率です。これは次のように解釈できます。 ${\displaystyle y=1}$

• ${\displaystyle \beta _{0}=-3}$はy切片です。これは、予測変数が の場合のイベント の対数オッズです。指数関数的に計算すると、イベント のオッズが1対1000の場合、つまりであることがわかります。同様に、イベント の確率は次のように計算できます。${\displaystyle y=1}$${\displaystyle x_{1}=x_{2}=0}$${\displaystyle x_{1}=x_{2}=0}$${\displaystyle y=1}$${\displaystyle 10^{-3}}$${\displaystyle y=1}$${\displaystyle x_{1}=x_{2}=0}$${\displaystyle 1/(1000+1)=1/1001.}$
• ${\displaystyle \beta _{1}=1}$は、1 増加すると、対数オッズが増加することを意味します。したがって、 が1 増加すると、のオッズは倍に増加します。の確率も増加していますが、オッズの増加ほどは増加していません。${\displaystyle x_{1}}$${\displaystyle 1}$${\displaystyle x_{1}}$${\displaystyle y=1}$${\displaystyle 10^{1}}$${\displaystyle y=1}$
• ${\displaystyle \beta _{2}=2}$は、 が 1 増加すると、対数オッズが 増加することを意味します。したがって、 が1 増加すると、 のオッズは倍増加します。が対数オッズに与える影響は の影響の 2 倍であるのに、オッズに与える影響は 10 倍大きいことに注意してください。ただし、の確率に与える影響は 10 倍ほど大きくはなく、10 倍大きいのはオッズに与える影響だけです。${\displaystyle x_{2}}$${\displaystyle 2}$${\displaystyle x_{2}}$${\displaystyle y=1}$${\displaystyle 10^{2}.}$${\displaystyle x_{2}}$${\displaystyle x_{1}}$${\displaystyle y=1}$

上記の 2 つのカテゴリの場合 (二項ロジスティック回帰)、カテゴリは「0」と「1」でインデックス付けされ、2 つの確率がありました。結果がカテゴリ 1 になる確率は で与えられ、結果がカテゴリ 0 になる確率は で与えられました。これらの確率の合計は 1 になりますが、これは true である必要があります。これは、「0」と「1」がこの設定で可能なカテゴリのみであるためです。 ${\displaystyle p({\boldsymbol {x}})}$${\displaystyle 1-p({\boldsymbol {x}})}$

一般に、説明変数${\displaystyle M+1}$( x ₀を含む) とカテゴリが${\displaystyle N+1}$ある場合、カテゴリごとに 1 つずつ、 nでインデックス付けされた${\displaystyle N+1}$個別の確率が必要になります。これは、共変量のベクトルxを条件として、カテゴリ結果y がカテゴリy=nになる確率を表します。すべてのカテゴリにわたるこれらの確率の合計は 1 に等しくなければなりません。数学的に便利な底e を使用すると、これらの確率は次のようになります。

${\displaystyle p_{n}({\boldsymbol {x}})={\frac {e^{{\boldsymbol {\beta }}_{n}\cdot {\boldsymbol {x}}}}{1+\sum _{u=1}^{N}e^{{\boldsymbol {\beta }}_{u}\cdot {\boldsymbol {x}}}}}}$のために${\displaystyle n=1,2,\dots ,N}$

${\displaystyle p_{0}({\boldsymbol {x}})=1-\sum _{n=1}^{N}p_{n}({\boldsymbol {x}})={\frac {1}{1+\sum _{u=1}^{N}e^{{\boldsymbol {\beta }}_{u}\cdot {\boldsymbol {x}}}}}}$

を除く各確率には、独自の回帰係数のセットがあります。 必要に応じて、すべてのカテゴリnの合計は1 であることがわかります。 を他の確率で定義するように選択するのは不自然です。どの確率もそのように定義されるように選択できます。 このnの特別な値は「ピボット インデックス」と呼ばれ、対数オッズ ( t _n ) はピボット確率で表され、説明変数の線形結合として再び表されます。 ${\displaystyle p_{0}({\boldsymbol {x}})}$${\displaystyle {\boldsymbol {\beta }}_{n}}$${\displaystyle p_{n}({\boldsymbol {x}})}$${\displaystyle p_{0}({\boldsymbol {x}})}$

${\displaystyle t_{n}=\ln \left({\frac {p_{n}({\boldsymbol {x}})}{p_{0}({\boldsymbol {x}})}}\right)={\boldsymbol {\beta }}_{n}\cdot {\boldsymbol {x}}}$

また、 の単純なケースでは、およびで 2 つのカテゴリのケースが回復されることにも注意してください。 ${\displaystyle N=1}$${\displaystyle p({\boldsymbol {x}})=p_{1}({\boldsymbol {x}})}$${\displaystyle p_{0}({\boldsymbol {x}})=1-p_{1}({\boldsymbol {x}})}$

上記の確率によって生成されるK 個の測定またはデータ ポイントの特定のセットの対数尤度を計算できるようになりました。各測定をkでインデックスし、測定された説明変数のk番目のセットを で表し、そのカテゴリ結果を で表します。これは [0,N] の任意の整数に等しくなります。対数尤度は次のようになります。 ${\displaystyle {\boldsymbol {x}}_{k}}$${\displaystyle y_{k}}$

${\displaystyle \ell =\sum _{k=1}^{K}\sum _{n=0}^{N}\Delta (n,y_{k})\,\ln(p_{n}({\boldsymbol {x}}_{k}))}$

ここで、はy _k = n の場合は 1、それ以外の場合は 0 となる指標関数です。説明変数が 2 つの場合、この指標関数はn = 1の場合はy _k 、 n = 0 の場合は1-y _kと定義されました。これは便利ですが、必須ではありません。^[24]また、最適なベータ係数は、一般に数値手法を使用して対数尤度関数を最大化することで見つけることができます。考えられる解決方法は、各ベータ係数に関する対数尤度の導関数を 0 に設定し、ベータ係数について解くことです。 ${\displaystyle \Delta (n,y_{k})}$

${\displaystyle {\frac {\partial \ell }{\partial \beta _{nm}}}=0=\sum _{k=1}^{K}\Delta (n,y_{k})x_{mk}-\sum _{k=1}^{K}p_{n}({\boldsymbol {x}}_{k})x_{mk}}$

ここで、 はベクトルのm番目の係数であり、はk番目の測定のm番目の説明変数です。データからベータ係数が推定されると、後続の説明変数のセットがいずれかの可能な結果カテゴリになる確率を推定できるようになります。 ${\displaystyle \beta _{nm}}$${\displaystyle {\boldsymbol {\beta }}_{n}}$${\displaystyle x_{mk}}$

ロジスティック回帰にはさまざまな同等の仕様と解釈があり、それらはさまざまな種類のより一般的なモデルに適合し、さまざまな一般化を可能にします。

ロジスティック回帰で使用される特定のモデルは、特定の結果の確率が線形予測関数にリンクされる方法であり、標準的な線形回帰やバイナリ値の結果に使用される他の種類の回帰分析とは異なります。

${\displaystyle \operatorname {logit} (\operatorname {\mathbb {E} } [Y_{i}\mid x_{1,i},\ldots ,x_{m,i}])=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)=\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{m}x_{m,i}}$

上で説明したよりコンパクトな表記法を使用して記述すると、次のようになります。

${\displaystyle \operatorname {logit} (\operatorname {\mathbb {E} } [Y_{i}\mid \mathbf {X} _{i}])=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}$

この定式化は、ロジスティック回帰を一般化線型モデルの一種として表現します。これは、上記の形式の線型予測関数を変数の期待値の何らかの任意の変換に適合させることにより、さまざまなタイプの確率分布を持つ変数を予測します。

ロジット関数（オッズの自然対数）を使用した変換の直感は上で説明しました^{[明確化が必要]}。これはまた、確率（0 から 1 の間と制限される）を範囲の変数に変換するという実際的な効果があり、それによって方程式の右側の線形予測関数の潜在的な範囲と一致します。 ${\displaystyle (-\infty ,+\infty )}$

確率p _iと回帰係数は両方とも観測されず、それらを決定する手段はモデル自体の一部ではありません。これらは通常、何らかの最適化手順、たとえば最大尤度推定によって決定されます。最大尤度推定では、観測データに最もよく適合する値 (つまり、すでに観測されているデータに対して最も正確な予測値を与える値) が見つけられます。通常、正則化条件の対象となり、ありそうもない値 (回帰係数のいずれかの極端に大きな値など) を除外します。正則化条件の使用は、最大事後確率(MAP) 推定を行うことと同等であり、最大尤度の拡張です。(正則化は、最も一般的には平方正則化関数を使用して行われます。これは、係数に平均ゼロのガウス 事前分布を配置することと同等ですが、他の正則化子も使用できます。) 正則化を使用するかどうかにかかわらず、通常は閉じた形式の解を見つけることはできません。代わりに、反復再加重最小二乗法（IRLS）や、最近ではより一般的になっているL-BFGS法などの準ニュートン法などの反復数値法を使用する必要があります。^[25]

β _jパラメータ推定値の解釈は、説明変数jの単位変化に対するオッズの対数に対する加法効果として行われます。たとえば、二値説明変数の場合、性別は、たとえば男性と女性を比較した場合の結果のオッズの推定値です。 ${\displaystyle e^{\beta }}$

同等の式では、ロジット関数の逆関数であるロジスティック関数を使用します。つまり、

${\displaystyle \operatorname {\mathbb {E} } [Y_{i}\mid \mathbf {X} _{i}]=p_{i}=\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})={\frac {1}{1+e^{-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}}$

この式は確率分布（具体的には確率質量関数を使用） として表すこともできます。

${\displaystyle \Pr(Y_{i}=y\mid \mathbf {X} _{i})={p_{i}}^{y}(1-p_{i})^{1-y}=\left({\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{y}\left(1-{\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{1-y}={\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}\cdot y}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}}$

ロジスティックモデルは、潜在変数モデルと同等の定式化を持っています。この定式化は離散選択モデルの理論では一般的であり、複数の相関した選択肢を持つ特定のより複雑なモデルに拡張したり、ロジスティック回帰を密接に関連するプロビットモデルと比較したりすることが容易になります。

各試行iに対して、次のように分布する 連続潜在変数 Y _i ^* (つまり、観測されないランダム変数) があるとします。

${\displaystyle Y_{i}^{\ast }={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon _{i}\,}$

どこ

${\displaystyle \varepsilon _{i}\sim \operatorname {Logistic} (0,1)\,}$

つまり、潜在変数は、線形予測関数と、標準ロジスティック分布に従って分布する加法的なランダム誤差変数によって直接表すことができます。

Y _{i は}、この潜在変数が正であるかどうかの指標として見ることができます。

${\displaystyle Y_{i}={\begin{cases}1&{\text{if }}Y_{i}^{\ast }>0\ {\text{ i.e. }}{-\varepsilon _{i}}<{\boldsymbol {\beta }}\cdot \mathbf {X} _{i},\\0&{\text{otherwise.}}\end{cases}}}$

位置とスケールが任意の値に設定された一般的なロジスティック分布ではなく、標準ロジスティック分布でエラー変数を具体的にモデル化するという選択は、制限があるように見えますが、実際にはそうではありません。回帰係数は自分で選択でき、多くの場合、回帰係数を使用してエラー変数の分布のパラメータの変化を相殺できることに留意する必要があります。たとえば、位置パラメータμ (平均を設定する) がゼロでないロジスティック エラー変数分布は、位置パラメータがゼロの分布 ( μが切片係数に追加されている) と同等です。どちらの状況でも、説明変数の設定に関係なく、Y _i ^{*に同じ値が生成されます。同様に、任意のスケール パラメータ}s は、スケール パラメータを 1 に設定してから、すべての回帰係数をsで割ることと同等です。後者の場合、結果のY _i ^*の値は、すべての説明変数セットで、前者の場合よりもs倍小さくなりますが、重要なことに、常に 0 の同じ側にとどまり、したがって同じY _{i の}選択につながります。

(これは、スケール パラメーターの無関係性が、2 つ以上の選択肢が利用可能なより複雑なモデルには引き継がれない可能性があることを予測します。)

この定式化は、一般化線型モデルで表現され、潜在変数を含まない前述の定式化とまったく同じであることがわかります。これは、標準ロジスティック分布の累積分布関数（CDF）がロジット関数の 逆であるロジスティック関数であるという事実を使用して次のように示されます。

${\displaystyle \Pr(\varepsilon _{i}<x)=\operatorname {logit} ^{-1}(x)}$

それから：

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1\mid \mathbf {X} _{i})&=\Pr(Y_{i}^{\ast }>0\mid \mathbf {X} _{i})\\[5pt]&=\Pr({\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon _{i}>0)\\[5pt]&=\Pr(\varepsilon _{i}>-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})\\[5pt]&=\Pr(\varepsilon _{i}<{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&&{\text{(because the logistic distribution is symmetric)}}\\[5pt]&=\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&\\[5pt]&=p_{i}&&{\text{(see above)}}\end{aligned}}}$

この定式化は離散選択モデルでは標準的ですが、ロジスティック回帰 (「ロジット モデル」) とプロビット モデルの関係を明確にします。プロビット モデルでは、標準ロジスティック分布ではなく標準正規分布に従って分布する誤差変数を使用します。ロジスティック分布と正規分布はどちらも対称で、基本的な単峰性の「ベル曲線」の形をしています。唯一の違いは、ロジスティック分布の裾がやや重いことです。つまり、外れ値データに対する感度が低くなります (したがって、モデルの誤った指定や誤ったデータに対してやや 堅牢になります)。

さらに別の定式化では、2 つの別個の潜在変数を使用します。

${\displaystyle {\begin{aligned}Y_{i}^{0\ast }&={\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}+\varepsilon _{0}\,\\Y_{i}^{1\ast }&={\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}\,\end{aligned}}}$

どこ

${\displaystyle {\begin{aligned}\varepsilon _{0}&\sim \operatorname {EV} _{1}(0,1)\\\varepsilon _{1}&\sim \operatorname {EV} _{1}(0,1)\end{aligned}}}$

ここでEV ₁ (0,1)は標準的なタイプ1極値分布である。すなわち

${\displaystyle \Pr(\varepsilon _{0}=x)=\Pr(\varepsilon _{1}=x)=e^{-x}e^{-e^{-x}}}$

それから

${\displaystyle Y_{i}={\begin{cases}1&{\text{if }}Y_{i}^{1\ast }>Y_{i}^{0\ast },\\0&{\text{otherwise.}}\end{cases}}}$

このモデルには、従属変数の考えられる結果ごとに、別個の潜在変数と別個の回帰係数のセットがあります。このように分離する理由は、多項ロジットモデルのように、ロジスティック回帰を複数の結果のカテゴリ変数に拡張することが容易になるためです。このようなモデルでは、考えられる結果ごとに異なる回帰係数のセットを使用してモデル化するのが自然です。また、別個の潜在変数のそれぞれを、関連する選択を行うことに関連する理論的効用として動機付け、ロジスティック回帰を効用理論の観点から動機付けすることも可能です。(効用理論の観点から、合理的な行為者は常に、関連する効用が最大となる選択を選択します。) これは、経済学者が離散選択モデルを定式化するときに採用するアプローチです。理論的に強力な基盤を提供し、モデルに関する直観を容易にするため、さまざまな種類の拡張を検討しやすくなります。(以下の例を参照してください。)

タイプ 1極値分布の選択はかなり恣意的であるように思われますが、数学的にはうまく機能し、合理的選択理論を通じてその使用を正当化できる可能性があります。

このモデルは前のモデルと同等であることがわかりますが、これは明らかではありません。なぜなら、回帰係数と誤差変数のセットが 2 つあり、誤差変数の分布が異なるためです。実際、このモデルは、次の置換により、前のモデルに直接縮小されます。

${\displaystyle {\boldsymbol {\beta }}={\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0}}$

${\displaystyle \varepsilon =\varepsilon _{1}-\varepsilon _{0}}$

これに対する直感は、2 つの値の最大値に基づいて選択するため、正確な値ではなくそれらの差だけが重要であり、これにより実質的に自由度が1 つ削除されるという事実から来ています。もう 1 つの重要な事実は、2 つのタイプ 1 極値分布変数の差はロジスティック分布である、つまり、同等のことを次のように証明できます。 ${\displaystyle \varepsilon =\varepsilon _{1}-\varepsilon _{0}\sim \operatorname {Logistic} (0,1).}$

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1\mid \mathbf {X} _{i})={}&\Pr \left(Y_{i}^{1\ast }>Y_{i}^{0\ast }\mid \mathbf {X} _{i}\right)&\\[5pt]={}&\Pr \left(Y_{i}^{1\ast }-Y_{i}^{0\ast }>0\mid \mathbf {X} _{i}\right)&\\[5pt]={}&\Pr \left({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}-\left({\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}+\varepsilon _{0}\right)>0\right)&\\[5pt]={}&\Pr \left(({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}-{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i})+(\varepsilon _{1}-\varepsilon _{0})>0\right)&\\[5pt]={}&\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0})\cdot \mathbf {X} _{i}+(\varepsilon _{1}-\varepsilon _{0})>0)&\\[5pt]={}&\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0})\cdot \mathbf {X} _{i}+\varepsilon >0)&&{\text{(substitute }}\varepsilon {\text{ as above)}}\\[5pt]={}&\Pr({\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon >0)&&{\text{(substitute }}{\boldsymbol {\beta }}{\text{ as above)}}\\[5pt]={}&\Pr(\varepsilon >-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&&{\text{(now, same as above model)}}\\[5pt]={}&\Pr(\varepsilon <{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&\\[5pt]={}&\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})\\[5pt]={}&p_{i}\end{aligned}}}$

一例として、中道右派政党、中道左派政党、分離独立派政党（例えば、ケベック州のカナダからの分離を求めるケベック党）の中から選択する州レベルの選挙について考えてみましょう。その場合、各選択肢につき 1 つ、合計 3 つの潜在変数を使用します。次に、効用理論に従って、潜在変数を各選択から生じる効用を表すものとして解釈できます。また、回帰係数は、関連要因（つまり、説明変数）が効用に貢献する強さ、より正確には、説明変数の単位変化が特定の選択の効用を変える量を示すものとして解釈することもできます。有権者は、中道右派政党が、特に富裕層に対する税金を下げると予想するかもしれません。これにより、低所得者には利益がなく、つまり効用は変わりません（彼らは通常税金を払わないため）。中所得者には中程度の利益（つまり、いくらかお金が増える、または効用が中程度に増加する）がもたらされます。高所得者に大きな利益をもたらすだろう。一方、中道左派政党は増税し、それを下層・中流階級向けの福祉やその他の支援の増額で相殺すると予想される。これは低所得者に大きなプラスの利益をもたらし、中所得者にはおそらくわずかな利益をもたらし、高所得者に大きなマイナスの利益をもたらすだろう。最後に、分離主義政党は経済に対して直接的な行動を起こさず、単に分離するだろう。低所得者や中所得者の有権者は、これによって基本的に明確な効用の増減は期待できないかもしれないが、高所得者の有権者は、そのような環境では事業を行うのが難しくなり、おそらく損失を被るであろう企業を所有する可能性が高いため、マイナスの効用を期待するかもしれない。

これらの直感は次のように表現できます。

これは明らかに

1. それぞれの選択に対して、回帰係数の別々のセットが存在する必要があります。効用という観点から表現すると、これは非常に簡単にわかります。選択が異なれば、純効用への影響も異なります。さらに、影響は各個人の特性に応じて複雑に変化するため、選択ごとに 1 つの特性を追加するだけではなく、特性ごとに別々の係数のセットが必要です。
2. 所得は連続変数ですが、効用への影響は複雑すぎるため、単一の変数として扱うことはできません。所得を直接範囲に分割するか、所得の高次の累乗を追加して、所得の多項式回帰が効果的に行われるようにする必要があります。

さらに別の定式化では、上記の 2 元潜在変数定式化と、潜在変数のない上位の元の定式化を組み合わせ、その過程で多項ロジットの標準的な定式化の 1 つへのリンクを提供します。

ここでは、確率p _iのロジットを線形予測子として記述する代わりに、線形予測子を 2 つの結果ごとに 1 つずつ 2 つに分割します。

${\displaystyle {\begin{aligned}\ln \Pr(Y_{i}=0)&={\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}-\ln Z\\\ln \Pr(Y_{i}=1)&={\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}-\ln Z\end{aligned}}}$

2 元潜在変数モデルと同様に、2 つの別個の回帰係数セットが導入され、2 つの方程式は、関連する確率の対数を線形予測子として記述し、末尾に追加の項を持つ形式になります。この項は、結果が分布であることを保証する正規化係数として機能します。これは、両辺を累乗するとわかります。 ${\displaystyle -\ln Z}$

${\displaystyle {\begin{aligned}\Pr(Y_{i}=0)&={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}\\[5pt]\Pr(Y_{i}=1)&={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}\end{aligned}}}$

この形式では、 Zの目的は、 Y _i上の結果の分布が実際に確率分布であること、つまり合計が 1 になることを保証することであることは明らかです。つまり、Z は単にすべての正規化されていない確率の合計であり、各確率をZで割ると、確率は「正規化」されます。つまり、

${\displaystyle Z=e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}$

そして結果として得られる方程式は

${\displaystyle {\begin{aligned}\Pr(Y_{i}=0)&={\frac {e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}\\[5pt]\Pr(Y_{i}=1)&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

あるいは一般的には:

${\displaystyle \Pr(Y_{i}=c)={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{\sum _{h}e^{{\boldsymbol {\beta }}_{h}\cdot \mathbf {X} _{i}}}}}$

これは、多項ロジットのように、この定式化を2つ以上の結果に一般化する方法を明確に示しています。この一般的な定式化は、まさに次の ソフトマックス関数です。

${\displaystyle \Pr(Y_{i}=c)=\operatorname {softmax} (c,{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i},{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i},\dots ).}$

これが前のモデルと同等であることを証明するために、上記のモデルは過剰指定されており、と は独立して指定できません。どちらか一方がわかれば、もう一方が自動的に決まります。その結果、モデルは識別不可能であり、 β ₀とβ ₁の複数の組み合わせにより、すべての可能な説明変数に対して同じ確率が生成されます。実際、両方に任意の定数ベクトルを追加すると、同じ確率が生成されることが分かります。 ${\displaystyle \Pr(Y_{i}=0)}$${\displaystyle \Pr(Y_{i}=1)}$${\displaystyle \Pr(Y_{i}=0)+\Pr(Y_{i}=1)=1}$

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1)&={\frac {e^{({\boldsymbol {\beta }}_{1}+\mathbf {C} )\cdot \mathbf {X} _{i}}}{e^{({\boldsymbol {\beta }}_{0}+\mathbf {C} )\cdot \mathbf {X} _{i}}+e^{({\boldsymbol {\beta }}_{1}+\mathbf {C} )\cdot \mathbf {X} _{i}}}}\\[5pt]&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}}\\[5pt]&={\frac {e^{\mathbf {C} \cdot \mathbf {X} _{i}}e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{\mathbf {C} \cdot \mathbf {X} _{i}}(e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}})}}\\[5pt]&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

その結果、2つのベクトルのどちらかに任意の値を選ぶことで、問題を単純化し、識別性を回復することができます。 次に、 ${\displaystyle {\boldsymbol {\beta }}_{0}=\mathbf {0} .}$

${\displaystyle e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}=e^{\mathbf {0} \cdot \mathbf {X} _{i}}=1}$

など

${\displaystyle \Pr(Y_{i}=1)={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}={\frac {1}{1+e^{-{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}=p_{i}}$

これは、この定式化が確かに前の定式化と同等であることを示しています。(2 元潜在変数定式化と同様に、任意の設定で同等の結果が生成されます。) ${\displaystyle {\boldsymbol {\beta }}={\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0}}$

多項ロジットモデルの扱いのほとんどは、ここで紹介した「対数線形」定式化または上記で紹介した 2 元潜在変数定式化のいずれかを拡張することから始まります。これは、どちらもモデルを多元的結果に拡張する方法を明確に示しているためです。一般に、潜在変数による表現は、離散選択モデルと効用理論が支配的な計量経済学と政治科学でより一般的ですが、ここで紹介した「対数線形」定式化は、機械学習や自然言語処理などのコンピューター サイエンスでより一般的です。

このモデルは同等の定式化を持つ

${\displaystyle p_{i}={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i})}}}.\,}$

この機能形式は、一般に単層パーセプトロンまたは単層人工ニューラル ネットワークと呼ばれます。単層ニューラル ネットワークは、ステップ関数ではなく連続出力を計算します。X  = ( x ₁、...、x _k )に関する p _iの導関数は、次の一般形式から計算されます。

${\displaystyle y={\frac {1}{1+e^{-f(X)}}}}$

ここで、f ( X ) はXの解析関数です。この選択により、単層ニューラル ネットワークはロジスティック回帰モデルと同一になります。この関数は連続導関数を持ち、バックプロパゲーションで使用できます。この関数は導関数が簡単に計算できるため、好まれます。

${\displaystyle {\frac {\mathrm {d} y}{\mathrm {d} X}}=y(1-y){\frac {\mathrm {d} f}{\mathrm {d} X}}.\,}$

密接に関連するモデルでは、各i が単一のベルヌーイ試行ではなく、n _{i 個} の独立した同一分布の試行に関連付けられていると仮定します。ここで、観測値Y _iは観測された成功数（個々のベルヌーイ分布のランダム変数の合計）であり、したがって二項分布に従います。

${\displaystyle Y_{i}\,\sim \operatorname {Bin} (n_{i},p_{i}),{\text{ for }}i=1,\dots ,n}$

この分布の例としては、 n _{i 個の種子}を植えた後に発芽する種子の割合 ( p _i )が挙げられます。

期待値に関して、このモデルは次のように表現されます。

${\displaystyle p_{i}=\operatorname {\mathbb {E} } \left[\left.{\frac {Y_{i}}{n_{i}}}\,\right|\,\mathbf {X} _{i}\right]\,,}$

となることによって

${\displaystyle \operatorname {logit} \left(\operatorname {\mathbb {E} } \left[\left.{\frac {Y_{i}}{n_{i}}}\,\right|\,\mathbf {X} _{i}\right]\right)=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}\,,}$

または同等:

${\displaystyle \Pr(Y_{i}=y\mid \mathbf {X} _{i})={n_{i} \choose y}p_{i}^{y}(1-p_{i})^{n_{i}-y}={n_{i} \choose y}\left({\frac {1}{1+e^{-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{y}\left(1-{\frac {1}{1+e^{-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{n_{i}-y}\,.}$

このモデルは、上記のより基本的なモデルと同じ種類の方法を使用して適合できます。

回帰係数は通常、最大尤度推定法を使用して推定されます。^{[26] [27]}正規分布残差を持つ線型回帰とは異なり、尤度関数を最大化する係数値の閉じた形式の式を見つけることはできないため、代わりに反復プロセスを使用する必要があります。たとえば、ニュートン法です。このプロセスは暫定的な解決策から始まり、改善できるかどうかを確認するためにわずかに修正し、改善が見られなくなるまでこの修正を繰り返します。改善が見られなくなった時点で、プロセスは収束したと言われます。^[26]

場合によっては、モデルが収束しないことがあります。モデルが収束しない場合は、反復プロセスで適切な解を見つけられなかったため、係数が意味をなさないことを示します。収束しない理由はいくつか考えられます。予測変数とケースの比率が大きい、多重共線性、スパース性、または完全な分離などです。

• 変数とケースの比率が大きいと、過度に保守的な Wald 統計 (後述) になり、収束しなくなる可能性があります。正規化ロジスティック回帰は、特にこのような状況で使用することを目的としています。
• 多重共線性とは、予測変数間の相関が許容できないほど高いことを指します。多重共線性が増加すると、係数は偏りのないままですが、標準誤差が増加し、モデル収束の可能性が低下します。^{[26]予測変数間の多重共線性を検出するには、多重共線性が許容できないほど高いかどうかを評価するために使用される許容統計量[26]}を調べることのみを目的として、対象の予測変数を使用して線形回帰分析を行うことができ ます。
• データのスパース性は、空のセル（カウントがゼロのセル）の割合が大きいことを意味します。ゼロのセルカウントは、カテゴリ予測子で特に問題になります。連続予測子の場合、モデルはゼロのセルカウントの値を推測できますが、カテゴリ予測子の場合はそうではありません。カテゴリ予測子の場合、モデルはゼロのセルカウントに収束しません。ゼロの自然対数は未定義の値であるため、モデルの最終解に到達できないためです。この問題を解決するために、研究者は理論的に意味のある方法でカテゴリを折りたたむか、すべてのセルに定数を追加することがあります。^[26]
• 収束の欠如につながる可能性があるもう1つの数値的問題は、完全な分離です。これは、予測子が基準を完全に予測する例を指します。つまり、すべてのケースが正確に分類され、尤度が無限係数で最大化されます。このような例では、何らかのエラーがある可能性があるため、データを再検討する必要があります。^{[2] [さらに説明が必要]}
• また、例えば局所尤度法やノンパラメトリック準尤度法などのセミパラメトリックまたはノンパラメトリックなアプローチを取ることも可能であり、これらはインデックス関数のパラメトリック形式という仮定を回避し、リンク関数（例えばプロビットやロジット）の選択に対して堅牢である。^[28]

バイナリロジスティック回帰（または）は、たとえば、反復再重み付け最小二乗法（IRLS）を使用して計算できます。これは、ニュートン法を使用してベルヌーイ分散 プロセスの対数尤度を最大化することと同等です。問題が、パラメータ、説明変数、ベルヌーイ分布の期待値を使用してベクトル行列形式で記述されている場合、パラメータは次の反復アルゴリズムを使用して見つけることができます。 ${\displaystyle y=0}$${\displaystyle y=1}$${\displaystyle \mathbf {w} ^{T}=[\beta _{0},\beta _{1},\beta _{2},\ldots ]}$${\displaystyle \mathbf {x} (i)=[1,x_{1}(i),x_{2}(i),\ldots ]^{T}}$${\displaystyle \mu (i)={\frac {1}{1+e^{-\mathbf {w} ^{T}\mathbf {x} (i)}}}}$${\displaystyle \mathbf {w} }$

${\displaystyle \mathbf {w} _{k+1}=\left(\mathbf {X} ^{T}\mathbf {S} _{k}\mathbf {X} \right)^{-1}\mathbf {X} ^{T}\left(\mathbf {S} _{k}\mathbf {X} \mathbf {w} _{k}+\mathbf {y} -\mathbf {\boldsymbol {\mu }} _{k}\right)}$

ここで、対角重み行列、期待値のベクトル、 ${\displaystyle \mathbf {S} =\operatorname {diag} (\mu (i)(1-\mu (i)))}$${\displaystyle {\boldsymbol {\mu }}=[\mu (1),\mu (2),\ldots ]}$

${\displaystyle \mathbf {X} ={\begin{bmatrix}1&x_{1}(1)&x_{2}(1)&\ldots \\1&x_{1}(2)&x_{2}(2)&\ldots \\\vdots &\vdots &\vdots \end{bmatrix}}}$

回帰行列と応答変数のベクトル。詳細は文献を参照のこと。^[29]${\displaystyle \mathbf {y} (i)=[y(1),y(2),\ldots ]^{T}}$

ベイズ統計の文脈では、事前分布は通常、ガウス分布の形で回帰係数に配置されます。ロジスティック回帰では尤度関数の共役事前分布はありません。ベイズ推論が解析的に実行されたときは、非常に低い次元を除いて事後分布を計算することが困難でした。しかし現在では、OpenBUGS、JAGS、PyMC、Stan、Turing.jlなどの自動ソフトウェアにより、シミュレーションを使用してこれらの事後分布を計算できるため、共役性の欠如は問題になりません。ただし、サンプルサイズやパラメーターの数が大きい場合、完全なベイズシミュレーションは遅くなることがあり、変分ベイズ法や期待値伝播などの近似法がよく使用されます。

広く使用されている「10 分の 1 ルール」は、ロジスティック回帰モデルは、説明変数 (EPV) あたり最低約 10 のイベントに基づいている場合、説明変数に対して安定した値を与えるというものです。ここで、イベントは、従属変数の頻度の低いカテゴリに属する​​ケースを示します。したがって、研究の参加者の一部に発生すると予想されるイベント (心筋梗塞など) の説明変数を使用するように設計された研究では、合計で参加者が必要になります。ただし、このルールはシミュレーション研究に基づいており、確実な理論的根拠がないため、その信頼性についてはかなりの議論があります。^{[30]一部の著者[31]}によると、このルールは状況によっては過度に保守的であると述べており、「（多少主観的に）信頼区間のカバレッジが93％未満、タイプIのエラーが7％を超える、または相対バイアスが15％を超える場合に問題があると見なすと、結果は、2〜4 EPVで問題がかなり頻繁に発生し、5〜9 EPVではまれであり、10〜16 EPVでも依然として問題が観察されることを示しています。各問題の最悪の事例は、5〜9 EPVでは深刻ではなく、通常は10〜16 EPVの場合と同程度でした」と述べています。^[32]${\displaystyle k}$${\displaystyle p}$${\displaystyle 10k/p}$

他の人たちは、異なる基準を用いて、上記と一致しない結果を発見しました。有用な基準は、適合モデルが、モデル開発サンプルで達成したと思われるのと同じ予測識別を新しいサンプルで達成すると予想されるかどうかです。この基準では、候補変数ごとに20のイベントが必要になる場合があります。^[33] また、96の観測値が必要なのは、モデルの切片を正確に推定し、予測確率の誤差が0.95の信頼水準で±0.1になるようにするためだけだと主張することもできます。^[13]

どのようなフィッティング手順でも、モデルに別のフィッティング パラメータ (ロジスティック回帰モデルのベータ パラメータなど) を追加すると、測定結果を予測するモデルの能力がほぼ常に向上します。これは、追加した項に予測値がない場合でも当てはまります。モデルは単にデータ内のノイズに「過剰適合」するだけだからです。別のフィッティング パラメータを追加することで得られる改善が、追加項を含めることを推奨するほど重要であるか、または、その改善が過剰適合から予想されるものにすぎないかという疑問が生じます。

つまり、ロジスティック回帰では、ロジスティック モデルの適合と結果データ間の誤差の尺度である、逸脱度と呼ばれる統計が定義されます。データ ポイントの数が多い場合、逸脱度はカイ二乗分布に従うため、カイ二乗検定を実行して説明変数の重要性を判定できます。

線形回帰とロジスティック回帰には多くの類似点があります。たとえば、単純線形回帰では、K 個のデータ ポイント ( x _k、y _k ) のセットが、形式の提案モデル関数に適合されます。適合は、各データ ポイントの残差の二乗の合計 (二乗誤差項) を最小化するbパラメータを選択することによって得られます。 ${\displaystyle y=b_{0}+b_{1}x}$

${\displaystyle \varepsilon ^{2}=\sum _{k=1}^{K}(b_{0}+b_{1}x_{k}-y_{k})^{2}.}$

適合を構成する最小値は次のように表される。${\displaystyle {\hat {\varepsilon }}^{2}}$

ヌルモデルの概念が導入されることがあります。この概念では、x変数は y _{k の}結果を予測するのに役立たないと仮定されます。データポイントは、二乗誤差項を持つy  =  b ₀という形式のヌルモデル関​​数に適合されます。

${\displaystyle \varepsilon ^{2}=\sum _{k=1}^{K}(b_{0}-y_{k})^{2}.}$

フィッティング プロセスは、ヌル モデルへのフィッティングを 最小化するb ₀の値を選択することから成り、これは で表されます。ここで、下付き文字はヌル モデルを表します。ヌル モデルは によって最適化されることがわかります。ここで、 はy _k値の平均であり、最適化された は次のようになります。 ${\displaystyle \varepsilon ^{2}}$${\displaystyle \varepsilon _{\varphi }^{2}}$${\displaystyle \varphi }$${\displaystyle b_{0}={\overline {y}}}$${\displaystyle {\overline {y}}}$${\displaystyle \varepsilon _{\varphi }^{2}}$

${\displaystyle {\hat {\varepsilon }}_{\varphi }^{2}=\sum _{k=1}^{K}({\overline {y}}-y_{k})^{2}}$

これは、 y _kデータ ポイントの (補正されていない) サンプル標準偏差の 2 乗に比例します。

y _kデータ ポイントがさまざまなx _kにランダムに割り当てられ、提案モデルを使用してフィッティングされる場合を想像することができます。具体的には、 y _k結果のすべての順列に対する提案モデルのフィッティングを検討することができます。これらのフィッティングの最適化された誤差は、ヌル モデルの最適誤差よりも小さくなることはなく、これらの最小誤差の差はカイ 2 乗分布に従い、自由度は提案モデルの自由度からヌル モデルの自由度を引いた値 (この場合は ) に等しくなることが示されます。カイ 2 乗検定を使用すると、これらの順列化されたy _kセットのうち、元のy _{k を}使用した場合の最小誤差以下の最小誤差をもたらすセットがいくつあるかを推定できるため、提案モデルに x変数を含めることでどの程度の改善が得られるかを推定できます。${\displaystyle 2-1=1}$

ロジスティック回帰の場合、適合度の尺度は尤度関数L、またはその対数である対数尤度ℓです。尤度関数L は線形回帰の場合の に似ていますが、尤度が最小化されるのではなく最大化される点が異なります。提案モデルの最大化された対数尤度を と表します。 ${\displaystyle \varepsilon ^{2}}$${\displaystyle {\hat {\ell }}}$

単純なバイナリロジスティック回帰の場合、Kデータ ポイントのセットは、確率的な意味で次の形式の関数に適合されます。

${\displaystyle p(x)={\frac {1}{1+e^{-t}}}}$

ここで⁠ ⁠ は${\displaystyle p(x)}$となる確率です。対数オッズは次のように与えられます。 ${\displaystyle y=1}$

${\displaystyle t=\beta _{0}+\beta _{1}x}$

対数尤度は次のようになります。

${\displaystyle \ell =\sum _{k=1}^{K}\left(y_{k}\ln(p(x_{k}))+(1-y_{k})\ln(1-p(x_{k}))\right)}$

ヌルモデルの場合、確率は次のように与えられます。 ${\displaystyle y=1}$

${\displaystyle p_{\varphi }(x)={\frac {1}{1+e^{-t_{\varphi }}}}}$

ヌルモデルの対数オッズは次のように与えられます。

${\displaystyle t_{\varphi }=\beta _{0}}$

対数尤度は次のようになります。

${\displaystyle \ell _{\varphi }=\sum _{k=1}^{K}\left(y_{k}\ln(p_{\varphi })+(1-y_{k})\ln(1-p_{\varphi })\right)}$

Lが最大となるので、帰無モデルの最大対数尤度は ${\displaystyle p_{\varphi }={\overline {y}}}$

${\displaystyle {\hat {\ell }}_{\varphi }=K(\,{\overline {y}}\ln({\overline {y}})+(1-{\overline {y}})\ln(1-{\overline {y}}))}$

最適値は次のとおりです。 ${\displaystyle \beta _{0}}$

${\displaystyle \beta _{0}=\ln \left({\frac {\overline {y}}{1-{\overline {y}}}}\right)}$

ここで、 は再びy _k値の平均です。ここでも、概念的には提案モデルをy _kのすべての順列に適合させることを検討することができ、これらの順列適合の最大対数尤度がヌルモデルの最大対数尤度よりも小さくなることはないことが示されます。 ${\displaystyle {\overline {y}}}$

${\displaystyle {\hat {\ell }}\geq {\hat {\ell }}_{\varphi }}$

また、線形回帰の場合の誤差と同様に、ロジスティック回帰の適合の 逸脱を次のように定義できます。

${\displaystyle D=\ln \left({\frac {{\hat {L}}^{2}}{{\hat {L}}_{\varphi }^{2}}}\right)=2({\hat {\ell }}-{\hat {\ell }}_{\varphi })}$

これは常に正またはゼロになります。この選択の理由は、逸脱度が適合度の良い尺度であるだけでなく、近似的にカイ二乗分布しており、データ ポイントの数 ( K ) が増加するにつれて近似値が向上し、データ ポイントの数が無限大の極限では正確にカイ二乗分布になるためです。線形回帰の場合と同様に、この事実を使用して、ランダムなデータ ポイント セットが提案モデルによって得られる適合度よりも優れた適合度を与える確率を推定し、提案モデルにx _kデータ ポイントを含めることでモデルがどの程度大幅に改善されるかを推定できます。

上で説明した生徒のテストの得点の単純なモデルでは、帰無モデルの対数尤度の最大値は、単純なモデルの対数尤度の最大値は、偏差が${\displaystyle {\hat {\ell }}_{\varphi }=-13.8629\ldots }$${\displaystyle {\hat {\ell }}=-8.02988\ldots }$${\displaystyle D=2({\hat {\ell }}-{\hat {\ell }}_{\varphi })=11.6661\ldots }$

カイ二乗検定を使用すると、自由度 1 の カイ二乗分布の積分は11.6661... から無限大までで、0.00063649... に等しくなります。

これは実質的に、ランダムなy _kへの 10,000 回の適合のうち約 6 回は、指定されたy _kよりも適合度が高く (偏差が小さく) なると予想されることを意味し、提案されたモデルにx変数とデータを含めることは、帰無モデルよりも大幅に改善されていると結論付けることができます。言い換えれば、帰無仮説を自信 を持って棄却します。${\displaystyle 1-D\approx 99.94\%}$

線形回帰モデルにおける適合度は、一般的にR2^を用いて測定される。ロジスティック回帰にはこれと直接類似するものがないため、代わりに以下を含む様々な方法^{[34] : ch.21}を使用することができる。

線形回帰分析では、平方和の計算による分散の分割が重要になります。基準の分散は、基本的に予測変数によって説明される分散と残差分散に分けられます。ロジスティック回帰分析では、平方和の計算の代わりに逸脱度が使用されます。^{[35]逸脱度は、線形回帰[2]}の平方和の計算に類似しており 、ロジスティック回帰モデルにおけるデータへの適合度の不足の尺度です。^[35]「飽和」モデル (理論的に完全に適合するモデル) が利用可能な場合、逸脱度は特定のモデルを飽和モデルと比較することによって計算されます。^{[2]この計算により}、尤度比検定 が得られます。^[2]

${\displaystyle D=-2\ln {\frac {\text{likelihood of the fitted model}}{\text{likelihood of the saturated model}}}.}$

上記の式で、D は逸脱度、ln は自然対数を表します。この尤度比 (適合モデルと飽和モデルの比) の対数は負の値になるため、負の符号が必要になります。Dは近似的にカイ二乗分布に従うことが示されています。^[2] 値が小さいほど、適合モデルが飽和モデルからより離れているため、適合度が高いことを示します。カイ二乗分布で評価すると、有意でないカイ二乗値は説明できない分散が非常に少ないことを示し、したがってモデルの適合度は良好です。逆に、有意なカイ二乗値は、分散の大部分が説明できないことを示します。

飽和モデルが利用できない場合（一般的なケース）、逸脱度は単純に −2·(適合モデルの対数尤度) として計算され、飽和モデルの対数尤度への参照は、その後のすべてから問題なく削除できます。

ロジスティック回帰では、ヌル逸脱度とモデル逸脱度の 2 つの偏差の尺度が特に重要です。ヌル逸脱度は、切片のみ (つまり「予測子なし」) のモデルと飽和モデルとの差を表します。モデル逸脱度は、少なくとも 1 つの予測子を持つモデルと飽和モデルとの差を表します。^[35]この点で、ヌル モデルは予測子モデルを比較するための基準を提供します。逸脱度は特定のモデルと飽和モデルとの差の尺度であるため、値が小さいほど適合度が高いことを示します。したがって、予測子または予測子セットの寄与を評価するには、ヌル逸脱度からモデル逸脱度を減算し、推定されたパラメーターの数の差に等しい自由度^[2] を持つカイ 2 乗分布の差を評価できます。 ${\displaystyle \chi _{s-p}^{2},}$

させて

${\displaystyle {\begin{aligned}D_{\text{null}}&=-2\ln {\frac {\text{likelihood of null model}}{\text{likelihood of the saturated model}}}\\[6pt]D_{\text{fitted}}&=-2\ln {\frac {\text{likelihood of fitted model}}{\text{likelihood of the saturated model}}}.\end{aligned}}}$

両者の違いは次のようになります。

${\displaystyle {\begin{aligned}D_{\text{null}}-D_{\text{fitted}}&=-2\left(\ln {\frac {\text{likelihood of null model}}{\text{likelihood of the saturated model}}}-\ln {\frac {\text{likelihood of fitted model}}{\text{likelihood of the saturated model}}}\right)\\[6pt]&=-2\ln {\frac {\left({\dfrac {\text{likelihood of null model}}{\text{likelihood of the saturated model}}}\right)}{\left({\dfrac {\text{likelihood of fitted model}}{\text{likelihood of the saturated model}}}\right)}}\\[6pt]&=-2\ln {\frac {\text{likelihood of the null model}}{\text{likelihood of fitted model}}}.\end{aligned}}}$

モデル逸脱度が帰無逸脱度よりも有意に小さい場合、予測変数または予測変数セットがモデルの適合性を大幅に改善したと結論付けることができます。これは、予測の有意性を評価するために線形回帰分析で使用されるF検定に類似しています。 ^[35]

線型回帰では、予測変数によって説明される基準の分散の割合を表すため、適合度を評価するために多重相関の二乗R ^{2が使用されます。 [35]}ロジスティック回帰分析では、合意された類似の尺度はありませんが、それぞれ限界のある競合する尺度がいくつかあります。^{[35] [36]}

このページでは、最も一般的に使用される 4 つのインデックスと、あまり一般的に使用されない 1 つのインデックスについて説明します。

• 尤度比R ² _L
• コックスアンドスネルR ² _CS
• ナゲルケルケR ² _N
• マクファデンR ² _McF
• チュルR ² _T

ホズマー・レメショウ検定は、分布に漸近的に従う検定統計量を用いて、観測されたイベント率がモデル集団のサブグループにおける期待イベント率と一致するかどうかを評価します。この検定は、予測確率の恣意的なビニングに依存しており、検出力が比較的低いため、一部の統計学者からは時代遅れであると考えられています。^[37]${\displaystyle \chi ^{2}}$

モデルを当てはめた後、研究者は個々の予測変数の寄与度を調べたいと思うでしょう。そのためには、回帰係数を調べます。線型回帰では、回帰係数は予測変数の各単位変化に対する基準の変化を表します。^[35]一方、ロジスティック回帰では、回帰係数は予測変数の各単位変化に対するロジットの変化を表します。ロジットは直感的ではないため、研究者は回帰係数の指数関数、つまりオッズ比（定義を参照）に対する予測変数の影響に注目する可能性があります。線型回帰では、回帰係数の有意性はt検定を計算することによって評価されます。ロジスティック回帰では、個々の予測変数の有意性を評価するために設計されたいくつかの異なる検定があり、最も有名なのは尤度比検定とワルド統計量です。

モデルの適合性を評価するために上で説明した尤度比検定は、特定のモデルに対する個々の「予測子」の寄与を評価するための推奨手順でもある。^{[2] [26] [35]}予測子モデルが 1 つの場合、予測子モデルの偏差を、自由度が 1 つのカイ 2 乗分布上のヌル モデルの偏差と比較するだけです。予測子モデルの偏差が有意に小さい場合 (2 つのモデルの自由度の差を使用したカイ 2 乗を参照)、「予測子」と結果の間には有意な関連があると結論付けることができます。一部の一般的な統計パッケージ (SPSS など) は尤度比検定統計を提供しますが、この計算集約的な検定がなければ、多重ロジスティック回帰の場合に個々の予測子の寄与を評価することはより困難になります。^[要出典]個々の予測子の寄与を評価するには、予測子を階層的に入力し、新しいモデルをそれぞれ前のモデルと比較して、各予測子の寄与を判定します。^[35]統計学者の間では、いわゆる「段階的」手順の妥当性について議論がある。^{[曖昧な表現]}懸念されるのは、段階的手順では名目上の統計的特性が維持されず、誤解を招く可能性があるということである。^[38]

あるいは、与えられたモデルにおける個々の予測変数の寄与を評価する場合、ワルド統計量の有意性を調べることができる。ワルド統計量は、線形回帰におけるt検定に類似しており、係数の有意性を評価するために使用される。ワルド統計量は、回帰係数の二乗と係数の標準誤差の二乗の比であり、漸近的にはカイ二乗分布として分布する。^[26]

${\displaystyle W_{j}={\frac {\beta _{j}^{2}}{SE_{\beta _{j}}^{2}}}}$

いくつかの統計パッケージ（SPSS、SASなど）は、個々の予測因子の寄与を評価するためにワルド統計量を報告していますが、ワルド統計量には限界があります。回帰係数が大きい場合、回帰係数の標準誤差も大きくなる傾向があり、タイプIIエラーの確率が高くなります。また、データがまばらな場合、ワルド統計量は偏りがちです。^[35]

症例がまれだと仮定します。その場合、人口における有病率よりも頻繁にサンプルを採取したいと考えるかもしれません。たとえば、10,000 人に 1 人が罹患する病気があり、データを収集するには完全な健康診断を行う必要があるとします。少数の罹患した個人のデータを取得するために、健康な人の健康診断を何千回も行うのは費用がかかりすぎる可能性があります。したがって、より多くの罹患した個人、おそらくすべてのまれな結果を評価するかもしれません。これもまた遡及的サンプリングであり、または同等に不均衡データと呼ばれます。経験則として、症例数の 5 倍の割合で対照をサンプリングすると、十分な対照データが得られます。^[39]

ロジスティック回帰は、ランダムにサンプリングされたデータではなく、不均衡なデータで推定でき、各独立変数が結果に与える影響の正しい係数推定値が得られるという点で独特である。つまり、そのようなデータからロジスティックモデルを形成する場合、モデルが一般集団で正しい場合、パラメータは を除いてすべて正しい。真の有病率がわかっている場合は、次のように修正できる。 ^[39]${\displaystyle \beta _{j}}$${\displaystyle \beta _{0}}$${\displaystyle \beta _{0}}$

${\displaystyle {\widehat {\beta }}_{0}^{*}={\widehat {\beta }}_{0}+\log {\frac {\pi }{1-\pi }}-\log {{\tilde {\pi }} \over {1-{\tilde {\pi }}}}}$

ここで、 は真の有病率であり、 はサンプル内の有病率です。 ${\displaystyle \pi }$${\displaystyle {\tilde {\pi }}}$

他の形式の回帰分析と同様に、ロジスティック回帰では、連続またはカテゴリのいずれかである 1 つ以上の予測変数を使用します。ただし、通常の線型回帰とは異なり、ロジスティック回帰は、連続的な結果ではなく、限られた数のカテゴリのいずれかに属する従属変数を予測するために使用されます(二項の場合の従属変数は、ベルヌーイ試行の結果として扱われます)。この違いにより、線型回帰の仮定は満たされません。特に、残差は正規分布することができません。さらに、線型回帰では、バイナリ従属変数に対して無意味な予測を行う可能性があります。必要なのは、バイナリ変数を、任意の実数値 (負または正) をとることができる連続変数に変換する方法です。そのためには、二項ロジスティック回帰では、まず各独立変数のさまざまなレベルでイベントが発生するオッズを計算し、次にその対数を取って、従属変数の変換バージョンとして連続基準を作成します。オッズの対数は確率のロジットであり、ロジットは次のように定義されます。 $${\displaystyle \operatorname {logit} p=\ln {\frac {p}{1-p}}\quad {\text{for }}0<p<1\,.}$$

ロジスティック回帰の従属変数はベルヌーイであるが、ロジットは無制限の尺度である。^[2]ロジット関数は、この種の一般化線型モデルにおける リンク関数であり、$${\displaystyle \operatorname {logit} \operatorname {\mathcal {E}} (Y)=\beta _{0}+\beta _{1}x}$$

Yはベルヌーイ分布の応答変数、xは予測変数、β値は線形パラメータです。

次に、成功確率のロジットを予測変数に当てはめます。ロジットの予測値は、自然対数の逆数である指数関数を介して、予測オッズに変換されます。したがって、バイナリ ロジスティック回帰で観測される従属変数は 0 または 1 の変数ですが、ロジスティック回帰は、従属変数が「成功」であるオッズを連続変数として推定します。アプリケーションによっては、オッズだけが必要な場合もあります。他のアプリケーションでは、従属変数が「成功」であるかどうかについて、具体的な「はい」または「いいえ」の予測が必要です。このカテゴリ予測は、計算された成功オッズに基づくことができ、選択したカットオフ値を超える予測オッズが成功の予測に変換されます。

尤度関数を最大化することで適合を最適化する特定のカテゴリ結果の確率を推定するために使用されるすべての関数形式（プロビット回帰、ポアソン回帰など）のうち、ロジスティック回帰解は最大エントロピー解であるという点で独特です。^[40]これは一般的な特性の例です。指数分布族は、期待値が与えられた場合、エントロピーを最大化します。ロジスティックモデルの場合、ロジスティック関数はベルヌーイ分布の自然なパラメーター（「標準形式」であり、ロジスティック関数は標準リンク関数です）ですが、他のシグモイド関数は非標準リンク関数です。これが、ロジスティックモデルの数学的簡潔さと最適化の容易さの基礎となっています。詳細については、 指数分布族§最大エントロピー導出を参照してください。

これを示すために、ラグランジュ乗数法を使います。ラグランジュ関数は、エントロピーとラグランジュ乗数の積とさまざまな制約式の和に等しくなります。単純なケースを考えても証明はそれほど簡単にはならないので、一般的な多項式の場合を考えます。さまざまな確率に関するラグランジュ関数の導関数をゼロに等しくすると、ロジスティック回帰で使用される確率に対応する関数形式が得られます。^[40]

多項ロジスティック回帰に関する上記のセクションと同様に、 および で示される⁠ ⁠${\displaystyle M+1}$説明変数を検討します。これには ⁠ ⁠ が含まれます。によってインデックス付けされた合計${\displaystyle x_{m}}$K 個のデータ ポイントがあり、データ ポイントは ⁠ ⁠ および ⁠ ⁠ によって与えられます。 x mkも⁠ _⁠次元ベクトルとして 表されます。カテゴリ変数yには、0 から N までの範囲の ⁠ ⁠ 個の可能な値があります。${\displaystyle x_{0}=1}$${\displaystyle k=\{1,2,\dots ,K\}}$${\displaystyle x_{mk}}$${\displaystyle y_{k}}$${\displaystyle (M+1)}$${\displaystyle {\boldsymbol {x}}_{k}=\{x_{0k},x_{1k},\dots ,x_{Mk}\}}$${\displaystyle N+1}$

説明変数ベクトルx が与えられた場合に、結果が となる確率をp _n ( x )とします。k番目の測定でカテゴリ結果がn となる確率を定義します。 ${\displaystyle y=n}$${\displaystyle p_{nk}=p_{n}({\boldsymbol {x}}_{k})}$

ラグランジアンは確率p _nkの関数として表現され、これらの確率に関するラグランジアンの導関数をゼロに等しくすることで最小化されます。重要な点は、確率は等しく扱われ、それらの合計が 1 になるという事実は、最初から想定されているのではなく、ラグランジアン定式化の一部であるということです。

ラグランジアンへの最初の寄与はエントロピーです。

${\displaystyle {\mathcal {L}}_{ent}=-\sum _{k=1}^{K}\sum _{n=0}^{N}p_{nk}\ln(p_{nk})}$

対数尤度は次のようになります。

${\displaystyle \ell =\sum _{k=1}^{K}\sum _{n=0}^{N}\Delta (n,y_{k})\ln(p_{nk})}$

多項ロジスティック関数を仮定すると、ベータ係数に関する対数尤度の導関数は次のようになります。

${\displaystyle {\frac {\partial \ell }{\partial \beta _{nm}}}=\sum _{k=1}^{K}(p_{nk}x_{mk}-\Delta (n,y_{k})x_{mk})}$

ここで非常に重要な点は、この式が（驚くべきことに）ベータ係数の明示的な関数ではないということです。これは、確率p _nkとデータの関数にすぎません。想定される多項ロジスティックケースに固有のものではなく、対数尤度が最大化される条件の一般的な記述であるとみなされ、p _nkの関数形式には言及しません。したがって、フィッティング制約は ( M +1)( N +1)個あり、ラグランジアンにおけるフィッティング制約項は次のようになります。

${\displaystyle {\mathcal {L}}_{fit}=\sum _{n=0}^{N}\sum _{m=0}^{M}\lambda _{nm}\sum _{k=1}^{K}(p_{nk}x_{mk}-\Delta (n,y_{k})x_{mk})}$

ここでλnm_は適切なラグランジュ乗数です。次のように記述できる K個の正規化制約があります。

${\displaystyle \sum _{n=0}^{N}p_{nk}=1}$

したがって、ラグランジアンにおける正規化項は次のようになります。

${\displaystyle {\mathcal {L}}_{norm}=\sum _{k=1}^{K}\alpha _{k}\left(1-\sum _{n=1}^{N}p_{nk}\right)}$

ここで、α _{k は}適切なラグランジュ乗数です。ラグランジアンは上記の 3 つの項の合計です。

${\displaystyle {\mathcal {L}}={\mathcal {L}}_{ent}+{\mathcal {L}}_{fit}+{\mathcal {L}}_{norm}}$

ラグランジアンの導関数を確率の 1 つに関してゼロに設定すると、次の式が得られます。

${\displaystyle {\frac {\partial {\mathcal {L}}}{\partial p_{n'k'}}}=0=-\ln(p_{n'k'})-1+\sum _{m=0}^{M}(\lambda _{n'm}x_{mk'})-\alpha _{k'}}$

より凝縮されたベクトル表記を使用すると、次のようになります。

${\displaystyle \sum _{m=0}^{M}\lambda _{nm}x_{mk}={\boldsymbol {\lambda }}_{n}\cdot {\boldsymbol {x}}_{k}}$

nとk のインデックスの素数を落として解くと次のようになります。 ${\displaystyle p_{nk}}$

${\displaystyle p_{nk}=e^{{\boldsymbol {\lambda }}_{n}\cdot {\boldsymbol {x}}_{k}}/Z_{k}}$

どこ：

${\displaystyle Z_{k}=e^{1+\alpha _{k}}}$

正規化制約を課すと、Z _kを解き、確率を次のように表すことができます。

${\displaystyle p_{nk}={\frac {e^{{\boldsymbol {\lambda }}_{n}\cdot {\boldsymbol {x}}_{k}}}{\sum _{u=0}^{N}e^{{\boldsymbol {\lambda }}_{u}\cdot {\boldsymbol {x}}_{k}}}}}$

はすべて独立ではありません。確率の値を変えずに、任意の定数⁠ ⁠次元ベクトルを各 に追加できるので、独立した⁠ ⁠個ではなくN個だけになります。上記の多項ロジスティック回帰のセクションでは、それぞれから が減算され、 を含む指数項が1 に設定され、ベータ係数は によって与えられました。 ${\displaystyle {\boldsymbol {\lambda }}_{n}}$${\displaystyle (M+1)}$${\displaystyle {\boldsymbol {\lambda }}_{n}}$${\displaystyle p_{nk}}$${\displaystyle N+1}$${\displaystyle {\boldsymbol {\lambda }}_{n}}$${\displaystyle {\boldsymbol {\lambda }}_{0}}$${\displaystyle {\boldsymbol {\lambda }}_{n}}$${\displaystyle {\boldsymbol {\lambda }}_{0}}$${\displaystyle {\boldsymbol {\beta }}_{n}={\boldsymbol {\lambda }}_{n}-{\boldsymbol {\lambda }}_{0}}$

ロジスティック回帰がバイナリ分類に使用される機械学習アプリケーションでは、MLE はクロスエントロピー損失関数を最小化します。

ロジスティック回帰は重要な機械学習アルゴリズムです。その目的は、実験データが与えられた場合にランダム変数が0または1になる確率をモデル化することです。^[41]${\displaystyle Y}$

によってパラメータ化された一般化線形モデル関数を考える。 ${\displaystyle \theta }$

${\displaystyle h_{\theta }(X)={\frac {1}{1+e^{-\theta ^{T}X}}}=\Pr(Y=1\mid X;\theta )}$

したがって、

${\displaystyle \Pr(Y=0\mid X;\theta )=1-h_{\theta }(X)}$

そして なので、 は次のように与えられることがわかる。ここで、標本内のすべての観測値が独立にベルヌーイ分布に従うと仮定して 尤度関数を計算する。${\displaystyle Y\in \{0,1\}}$${\displaystyle \Pr(y\mid X;\theta )}$${\displaystyle \Pr(y\mid X;\theta )=h_{\theta }(X)^{y}(1-h_{\theta }(X))^{(1-y)}.}$

${\displaystyle {\begin{aligned}L(\theta \mid y;x)&=\Pr(Y\mid X;\theta )\\&=\prod _{i}\Pr(y_{i}\mid x_{i};\theta )\\&=\prod _{i}h_{\theta }(x_{i})^{y_{i}}(1-h_{\theta }(x_{i}))^{(1-y_{i})}\end{aligned}}}$

通常、対数尤度は最大化され、

${\displaystyle N^{-1}\log L(\theta \mid y;x)=N^{-1}\sum _{i=1}^{N}\log \Pr(y_{i}\mid x_{i};\theta )}$

これは、勾配降下法などの最適化手法を使用して最大化されます。

ペアが基礎分布から一様に抽出されると仮定すると、 Nが大きい極限では 、 ${\displaystyle (x,y)}$

${\displaystyle {\begin{aligned}&\lim \limits _{N\rightarrow +\infty }N^{-1}\sum _{i=1}^{N}\log \Pr(y_{i}\mid x_{i};\theta )=\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\Pr(X=x,Y=y)\log \Pr(Y=y\mid X=x;\theta )\\[6pt]={}&\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\Pr(X=x,Y=y)\left(-\log {\frac {\Pr(Y=y\mid X=x)}{\Pr(Y=y\mid X=x;\theta )}}+\log \Pr(Y=y\mid X=x)\right)\\[6pt]={}&-D_{\text{KL}}(Y\parallel Y_{\theta })-H(Y\mid X)\end{aligned}}}$

ここで、は条件付きエントロピー、はカルバック・ライブラー ダイバージェンスです。これにより、モデルの対数尤度を最大化することで、最大エントロピー分布からのモデルの KL ダイバージェンスを最小化しているという直感が導かれます。直感的に、パラメータの仮定が最も少ないモデルを検索します。 ${\displaystyle H(Y\mid X)}$${\displaystyle D_{\text{KL}}}$

ロジスティック回帰は、一般化線型モデルの特殊なケースと見なすことができ、したがって線型回帰に類似しています。ただし、ロジスティック回帰モデルは、線型回帰のものとはまったく異なる仮定（従属変数と独立変数の関係について）に基づいています。特に、これら 2 つのモデルの主な違いは、ロジスティック回帰の次の 2 つの特徴に見られます。第 1 に、従属変数がバイナリであるため、条件付き分布はガウス分布ではなくベルヌーイ分布です。第 2 に、予測値は確率であり、ロジスティック回帰は結果そのものではなく特定の結果の 確率を予測するため、ロジスティック分布関数によって (0,1) に制限されます。${\displaystyle y\mid x}$

ロジスティックモデル（ロジットモデル）の一般的な代替モデルは、その関連名が示すように、プロビットモデルです。一般化線型モデルの観点から見ると、これらはリンク関数の選択において異なります。ロジスティックモデルはロジット関数（逆ロジスティック関数）を使用し、プロビットモデルはプロビット関数（逆誤差関数）を使用します。同様に、これら2つの方法の潜在変数の解釈では、最初の方法は誤差の標準ロジスティック分布を仮定し、2番目の方法は誤差の標準正規分布を仮定します。^[42]他のシグモイド関数または誤差分布を代わりに使用できます。

ロジスティック回帰は、フィッシャーの1936年の方法である線型判別分析の代替法である。^[43] 線型判別分析の仮定が成り立つ場合、条件付けを逆にしてロジスティック回帰を生成することができる。しかし、ロジスティック回帰は判別分析の多変量正規分布の仮定を必要としないため、逆は真ではない。^[44]

線形予測因子効果の仮定は、スプライン関数などの技術を使用することで簡単に緩和できます。^[13]

ロジスティック回帰の詳細な歴史は Cramer (2002) に記されている。ロジスティック関数は人口増加のモデルとして開発され、 1830 年代から 1840 年代にピエール・フランソワ・ヴェルフルストによって「ロジスティック」と名付けられた。アドルフ・ケトレの指導の下、詳細はロジスティック関数 § 歴史を参照。 ^[45]ヴェルフルストは最初の論文 (1838 年) で、曲線をデータに当てはめる方法を具体的に述べなかった。^{[46] [47]}より詳細な論文 (1845 年) では、ヴェルフルストは曲線を 3 つの観測点に通すことでモデルの 3 つのパラメータを決定したが、予測精度は低かった。^{[48] [49]}

ロジスティック関数は、化学において自己触媒反応のモデルとして独立して開発されました（ヴィルヘルム・オストワルド、1883年）。^{[50]自己触媒反応とは、生成物の1つがそれ自体同じ反応の}触媒であり、反応物の1つの供給が固定されている反応です。これは、人口増加と同じ理由で自然にロジスティック方程式を生み出します。つまり、反応は自己強化的ですが、制約されています。

ロジスティック関数は、1920年にレイモンド・パールとローウェル・リードによって人口増加のモデルとして独立して再発見され、パール＆リード（1920）として出版され、現代の統計で使用されるようになりました。彼らは当初、ヴェルフルストの研究を知らず、おそらくL.ギュスターヴ・デュ・パスキエから学んだと思われますが、彼にほとんど敬意を払わず、彼の用語を採用しませんでした。^[51]ヴェルフルストの優先性が認められ、「ロジスティック」という用語は1925年にウドニー・ユールによって復活し、それ以来使用されています。^[52]パールとリードは最初にこのモデルを米国の人口に適用し、最初は3つの点を通過するように曲線をフィッティングしましたが、ヴェルフルストと同様に、これもまた良い結果をもたらさなかった。^[53]

1930年代に、プロビットモデルはチェスター・イトナー・ブリスによって開発され体系化された。ブリスはブリス（1934）で「プロビット」という用語を造り出し、ジョン・ガダムはガダム（1933）で、またロナルド・A・フィッシャーはフィッシャー（1935）で、ブリスの研究の補遺として最大尤度推定法によるモデルの当てはめを行った。プロビットモデルは主にバイオアッセイで使用され、1860年に遡る以前の研究が先行していた。プロビットモデル § 歴史 を参照。プロビットモデルはその後のロジットモデルの開発に影響を与え、これらのモデルは互いに競合した。^[54]

ロジスティックモデルは、おそらく、エドウィン・ビッドウェル・ウィルソンと彼の学生ジェーン・ウースターがウィルソン＆ウースター（1943）で生物検定におけるプロビットモデルの代替として初めて使用した。^{[55]しかし、ロジスティックモデルがプロビットモデルの一般的な代替として開発されたのは、主に}ジョセフ・バークソンの数十年にわたる研究によるもので、バークソン（1944）で「プロビット」との類似性から「ロジット」という造語を生み出し、バークソン（1951）以降も継続された。^[56]ロジットモデルは当初プロビットモデルより劣るとして退けられたが、「徐々にプロビットと同等の地位を獲得した」^[57] 。特に1960年から1970年の間に。1970年までに、ロジットモデルは統計ジャーナルで使用されているプロビットモデルと同等になり、その後はそれを上回った。この相対的な人気は、バイオアッセイ内でプロビットを置き換えるのではなく、バイオアッセイ外でロジットが採用され、実践で非公式に使用されたことによるものです。ロジットの人気は、ロジットモデルの計算の単純さ、数学的特性、および汎用性により、さまざまな分野で使用できることによるものです。^[3]

その間、デイビッド・コックスによる様々な改良が行われました（Cox (1958)）。^[4]

多項ロジットモデルはCox (1966)とTheil (1969)で独立に導入され、ロジットモデルの応用範囲と人気が大幅に増加した。^[58] 1973年にダニエル・マクファデンは多項ロジットを離散選択理論、具体的にはルースの選択公理に結び付け、多項ロジットは無関係な選択肢の独立性を仮定し、選択肢のオッズを相対的な選好として解釈することから導かれることを示した。^[59]これによりロジスティック回帰の理論的基礎が築かれた。^[58]

拡張機能は多数あります:

• 多項ロジスティック回帰(または多項ロジット) は、多元カテゴリ従属変数 (順序付けられていない値を持つ、"分類" とも呼ばれる) のケースを処理します。 2 つ以上の値を持つ従属変数を持つ一般的なケースは、多項式回帰と呼ばれます。
• 順序ロジスティック回帰(または順序ロジット)は、順序従属変数 (順序付けられた値) を処理します。
• 混合ロジットは、従属変数の選択間の相関関係を考慮した多項ロジットの拡張です。
• ロジスティック モデルを相互依存変数のセットに拡張したものが条件付きランダム フィールドです。
• 条件付きロジスティック回帰は、層が小さい場合に、一致したデータまたは層別化されたデータを処理します。これは主に、観察研究の分析に使用されます。

• ロジスティック関数
• 個別選択
• ジャロー・ターンブルモデル
• 限定従属変数
• 多項ロジットモデル
• 順序ロジット
• ホズマー・レムショウ検定
• ブライアースコア
• mlpack -ロジスティック回帰のC++実装が含まれています
• 地域ケースコントロールサンプリング
• ロジスティックモデルツリー

• ウィキメディア・コモンズのロジスティック回帰に関連するメディア
• マーク・トーマによるYouTubeでの計量経済学講義 (トピック: ロジット モデル)
• ロジスティック回帰チュートリアル
• mlelr:教育目的のC言語ソフトウェア