逻辑斯蒂回归与Softmax回归的极大似然估计

0. 说明

使用极大似然估计(i.i.d independent and identically distributed)
推导逻辑斯蒂回归和Softmax回归用于分类问题的目标函数

1. 逻辑斯蒂回归的极大似然估计

线性回归的任务是预测，单也可用来分类
伯努利分布
| $y_n$ | 1 | 0 |
| :—-: | :———————-: | :———————-: |
| $p_n$ | $p^1(x_n;\omega)$ | $p^2(x_n;\omega)$ |

其中

$p^1(x_n;\omega)+p^2(x_n;\omega)=1$ $p^1(x_n;\omega)=\frac{e^{\omega^Tx_n}}{1+e^{\omega^Tx_n}}$ $p^2(x_n;\omega)=\frac{1}{1+e^{\omega^Tx_n}}$

极大似然估计(i.i.d) $p(x_1,x_2,\cdots,x_N;\omega)=\prod_{n=1}^{N}{[p^1(x_n;\omega)]^y_n [p^0(x_n;\omega)]^{1-y_n}}$ $max_\omega p(x_1,x_2,\cdots,x_N;\omega) \iff min_\omega [ -\ln{p(x_1,x_2,\cdots,x_N;\omega)}\large]$
目标函数 $\begin{align} L(\omega) & =-\ln{p(x_1,x_2,\cdots,x_N;\omega)} \\ & =-\sum_{n=1}^{N}{[y_n \ln{p^1(x_n;\omega)}+(1-y_N)\ln{p^0(x_n;\omega)}]} \\ & =-\sum_{n=1}^{N}{\lbrace y_n[\omega^Tx+\ln{(1+exp(\omega^Tx))}]+(1-y_n)\ln{(1+exp(\omega^Tx))} \rbrace} \\ & =\sum_{n=1}^{N}{[-y_n\omega^Tx+\ln{(1+exp(\omega^Tx))}]} \\ \end{align}$

2. Softmax回归的极大似然估计

多类分类
概率分布列

| $y_n$ | 1 | 2 | $\cdots$ | C |
| :—-: | :————————-: | :————————-: | :———: | :————————-: |
| $p_n$ | $p^1(x_n;\omega_1)$ | $p^2(x_n;\omega_2)$ | $\cdots$ | $p^C(x_n;\omega_C)$ |

其中

$\omega^T= \begin{bmatrix} \omega_1^T \\ \omega_2^T \\ \vdots \\ \omega_C^T \\ \end{bmatrix}= \begin{bmatrix} \omega_{1,1} & \omega_{1,2} & \cdots & \omega_{1,N} \\ \omega_{2,1} & \omega_{2,2} & \cdots & \omega_{2,N} \\ \vdots & \vdots & \ddots & \vdots \\ \omega_{C,1} & \omega_{C,2} \cdots & \omega_{C,N} \\ \end{bmatrix}$ $\sum_{c=1}^{C}p^c(x_n;\omega_c)=1$ $p^c(x_n;\omega_c)=\frac{e^{\omega_c^Tx_n}}{\sum_{k=1}^{C}e^{\omega_k^Tx_n}}$

极大似然估计(i.i.d) $\text{引入示性函数} \quad I(y_n=c)= \begin{cases} 1, & y_n=c \\ 0, & y_n\neq c \\ \end{cases}$

$p(x_1,x_2,\cdots,x_N;\omega)=\prod_{n=1}^{N}\prod_{c=1}^{C}{\large[p^c(x_n;\omega_c)]^{I(y_n)}}$ $max_\omega p(x_1,x_2,\cdots,x_N;\omega) \iff min_\omega[-\ln p(x_1,x_2,\cdots,x_N;\omega)]$

目标函数 $\begin{align} L(\omega) & =-\ln p(x_1,x_2,\cdots,x_N;\omega) \\ & =-\sum_{n=1}^{N}\sum_{c=1}^{C}{I(y_n)\ln p^c(x_n;\omega_c)} \\ & =-\sum_{n=1}^{N}\sum_{c=1}^{C}{I(y_n)\frac{e^{\omega_c^Tx_n}}{\sum_{k=1}^{C}e^{\omega_k^Tx_n}}} \\ \end{align}$ 令 $y_n=[\delta(y_n=1),\delta(y_n=2),\cdots,\delta(y_n=C)]$ $h(\omega^Tx_n)=\frac{e^{\omega^Tx}}{\large{1}^T e^{\omega^Tx}}=\frac{e^{\omega_c^Tx_n}}{\sum_{k=1}^{C}e^{\omega_k^Tx_n}}$ 则有 $\sum_{c=1}^{C}{I(y_n)\frac{e^{\omega_c^Tx_n}}{\sum_{k=1}^{C}e^{\omega_k^Tx_n}}}=y_n^T \ln h(\omega^Tx_n)$ 目标函数化简为 $L(\omega)=-\sum_{n=1}^{N}{y_n^T\ln h(\omega^Tx_n)}$
交叉熵损失函数(Cross Entropy Loss)
在目标函数的基础上乘以$\frac{1}{N}$ $J(\omega)=-\frac{1}{N}\sum_{n=1}^{N}{y_n^T\ln h(\omega^Tx_n)}$