Lecturas de Métodos Estadísticos Multivariantes
Author
Mauricio Zelaya Aguilar
Last Updated
10年前
License
Creative Commons CC BY 4.0
Abstract
Lecturas tomadas de la clase de M.Sc. Fidel Ordoñez, Carrera de Matemática UNAH, 2014
\documentclass[a4paper,12pt]{article}
\usepackage[papersize={216mm,330mm},tmargin=25mm,bmargin=25mm,lmargin=25mm,rmargin=25mm]{geometry}
\usepackage[english]{babel}
\usepackage[utf8]{inputenc}
\usepackage{amsmath,amssymb}% for \eqref
\usepackage{graphicx}
\usepackage[colorinlistoftodos]{todonotes}
\pagestyle{myheadings}
\markright{Editado por Mauricio Zelaya Aguilar en www.write \LaTeX{}.com\hfill}
\title{Lecturas de Métodos Estadísticos Multivariantes}
\author{M.Sc. Fidel Ordoñez}
\date{Mayo-Agosto 2014}
\begin{document}
\maketitle
\subsection*{Rotaciones}
Sea $x\in \mathbb{R}^p$ , $\Gamma_{p\times p}$ ortogonal. $\Gamma x$ lo que hace es tener las nuevas coordenadas en un sistema rotado. $A_{p\times p}$ simétrica, entonces
\begin{align*}
A&=\Gamma \Lambda \Gamma^T\\
A^{\alpha}&=\Gamma \Lambda^{\alpha} \Gamma^T\\
A^{-1}&=\Gamma \Lambda^{-1} \Gamma^T\\
\operatorname{tra}(A)&=\sum_{i=1}^p \lambda_i\\
|A|&=\prod_{i=1}^p \lambda_i\\
\Gamma &=\operatorname{diag}(\lambda_1,\ldots,\lambda_p)
\end{align*}
Sea $X=(X_1,\ldots,X_p)^T$ con $X\sim (\mu,\Sigma)$ entonces
\begin{align*}
\operatorname{E}(X)&=(\operatorname{E}(X_1),\ldots,\operatorname{E}(X_p))^T\\
&=\mu\\
\operatorname{Var}(X)&=\operatorname{Cov}(X,X)\\
&=\Sigma\\
\Sigma&=
\begin{pmatrix}
\sigma_{X_1 X_1} & \ldots & \sigma_{X_1 X_p}\\
\vdots & \ddots & \vdots\\
\sigma_{X_p X_1} & \ldots & \sigma_{X_p X_p}
\end{pmatrix}_{p \times p}\\
\rho&=
\begin{pmatrix}
\rho_{X_1 X_1} & \ldots & \rho_{X_1 X_p}\\
\vdots & \ddots & \vdots\\
\rho_{X_p X_1} & \ldots & \rho_{X_p X_p}
\end{pmatrix}_{p \times p}\\
\rho_{X_i X_j}&=\frac{\operatorname{Cov}(X_i X_j)}{\sqrt{\sigma_{X_i X_i} \sigma_{X_j X_j}}}\\
\sigma_{ij}&=\sigma_{X_i X_j}\\
\sigma^2_i&=\sigma_{X_i X_i}\\
\operatorname{Cov}(X_i X_i)&=\sigma^2_{X_i}
\end{align*}
Suponga que se tienen $n$ realizaciones de $X_{p+1}$ y se tiene la matriz de datos
$$\mathcal{X}_{n\times p}=
\begin{pmatrix}
x_{11} & \ldots & x_{1j} & \ldots & x_{1p}\\
\vdots & & \vdots & & \vdots\\
x_{i1} & \ldots & x_{ij} & \ldots & x_{ip}\\
\vdots & & \vdots & & \vdots\\
x_{n1} & \ldots & x_{nj} & \ldots & x_{np}
\end{pmatrix}$$
$x_i=(x_{i1},\ldots,x_{ij},\ldots,x_{ip})^T \in \mathbb{R}^n$ $i=1,2,\ldots,n>p$ es la $i$-esima observacion\\
$x_{(j)}=(x_{1j},\ldots,x_{ij},\ldots,x_{nj})^T \in \mathbb{R}^n$ $j=1,2,\ldots,p$ es la observacion de $X_j$
\begin{align*}
\bar{x}&=\frac{1}{n}\sum_{i=1}^n x_i\\
&=
\begin{pmatrix}
\bar{x}_1\\
\vdots\\
\bar{x}_j\\
\vdots\\
\bar{x}_p
\end{pmatrix}\\
&=\frac{1}{n}\mathcal{X}^T \textbf{1}_n \qquad \mathcal{X}_{n\times p}\\
\bar{x}_j&=\frac{1}{n}\sum_{i=1}^n x_{ij}
\end{align*}
\begin{align*}
\textbf{1}_n&=
\begin{pmatrix}
1\\
\vdots\\
1
\end{pmatrix}_{n\times 1}\\
\mathcal{S}&=\frac{1}{n}\sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^T \qquad \textrm{estimador sesgado}\\
&=\frac{1}{n}\mathcal{X}^t\mathcal{X}-\bar{x}\bar{x}^T\\
&=\frac{1}{n}\left(\mathcal{X}^T\mathcal{X}-\frac{1}{n}\mathcal{X}^T \textbf{1}_n \textbf{1}^T_n \mathcal{X}\right)\\
&=\frac{1}{n}\mathcal{X}^T \left(I_n-\frac{1}{n}\textbf{1}_n \textbf{1}^T_n\right) \mathcal{X}\\
&=\frac{1}{n}\mathcal{X}^T \mathcal{H} \mathcal{X} \qquad \mathcal{H} \qquad \textrm{simétrica e idempotente}\\
\mathcal{S}_u&=\frac{n}{n-1}\mathcal{S} \qquad \textrm{estimador insesgado}\\
\mathcal{S}&=\frac{1}{n}\mathcal{X}^T\mathcal{X}-\bar{x}\bar{x}^T\\
&=\frac{1}{n}\mathcal{X}^T\mathcal{H}\mathcal{X}\\
\mathcal{H}&=I_n-\frac{1}{n}\textbf{1}_n\textbf{1}^T_n\\
R&=D^{-1/2}\mathcal{S}D^{-1/2} \qquad D=diag(S_{X_iX_j})
\end{align*}
\subsection*{Transformaciones Lineales $X=(X_1,\ldots,X_p)$}
\begin{enumerate}
\item $\mathcal{X}_{n\times p} \qquad \mathcal{A}_{g\times p}$
\begin{align*}
y_{n\times q}&=\mathcal{X}\mathcal{A}^T\\
&=(y_1,\ldots,y_n)^T
\end{align*}
fila $y_i=(y_{i1},\ldots,y_{iq})\in \mathbb{R}^q$ $i$ esima observación de $y_{q\times 1}=\mathcal{A}X \qquad
\bar{y}=\mathcal{A}\bar{x} \qquad
\mathcal{S}_y=\mathcal{A}\mathcal{S}_x\mathcal{S}^T$
\item Mahalanobis\\
Sea $z_i=\mathcal{S}^{-1/2}(x_i-\bar{x} \qquad i=1,\ldots,n$, luego $Z=(z_1,\ldots,z_n) \qquad \bar{Z}=0 \qquad \mathcal{S}_z=I_p$
\begin{align*}
S_{X_jX_k}&=\frac{1}{n}\sum_{i=1}^n(x_{ij}-\bar{x}_j)(x_{ik}-\bar{x}_k) \qquad
r_{X_jX_k}=\frac{S_{X_jX_k}}{\sqrt{S_{X_jX_j}S_{X_kX_k}}}\\
R&=
\begin{pmatrix}
r_{X_1X_1} & \ldots & r_{X_pX_p}\\
\vdots & \ddots & \vdots\\
r_{X_pX_1} & \ldots & r_{X_pX_p}
\end{pmatrix}_{p\times p} \qquad
\mathcal{S}=
\begin{pmatrix}
S_{X_1X_1} & \ldots & S_{X_1X_p}\\
\vdots & \ddots & \vdots\\
S_{X_pX_1} & \ldots & S_{X_pX_p}
\end{pmatrix}\\
D&=
\begin{pmatrix}
S_{X_1X_1} & \ldots & 0\\
\vdots & \ddots & \vdots\\
0 & \ldots & S_{X_pX_p}
\end{pmatrix} \qquad
D^{-1}=
\begin{pmatrix}
\frac{1}{S_{X_1X_1}} & \ldots & 0\\
\vdots & \ddots & \vdots\\
0 & \ldots & \frac{1}{S_{X_pX_p}}
\end{pmatrix}\\
D^{-1/2}&=
\begin{pmatrix}
\frac{1}{\sqrt{S_{X_1X_1}}} & \ldots & 0\\
\vdots & \ddots & \vdots\\
0 & \ldots & \frac{1}{\sqrt{S_{X_pX_p}}}
\end{pmatrix}\\
\sum_{i=1}^n(x_i-\bar{x})&=0 \qquad \mathcal{S}\geq 0 \qquad \textrm{semidefinida positiva}
\end{align*}
\begin{align*}
\mathcal{S}&=\frac{1}{n}\mathcal{X}^T \mathcal{H}\mathcal{X} \qquad \mathcal{S}\geq 0 \qquad \textrm{semidefinida positiva}\\
&=\frac{1}{n}\mathcal{X}^T \mathcal{H}\mathcal{H} \mathcal{X}\\
&=\frac{1}{n}\mathcal{X}^T \mathcal{H}^T \mathcal{H} \mathcal{X}\qquad y=\mathcal{H}\mathcal{X}\\
&=\frac{1}{n}y^T y \geq 0\\
\bar{y}&=\frac{1}{n}
\end{align*}
\end{enumerate}
\subsection*{Distribución Normal Multivariada}
Sea $X\sim N_p(\mu,\Sigma)$ si $\displaystyle f(x)=|2\pi\Sigma|^{-1/2}e^{\left[-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\right]}$\\
\begin{displaymath}
\operatorname{E}(X)=\mu \qquad \operatorname{Var}(X)=\Sigma
\end{displaymath}
Sea $X\sim N_p(\mu,\Sigma)$ si $y=\Sigma^{-1/2}(x-\mu)$, luego $Y\sim N_p(0,I)$ donde
\begin{align*}
I&=
\begin{pmatrix}
1 & \ldots & 0\\
\vdots & \ddots & \vdots\\
0 & \ldots & 1
\end{pmatrix}\\
\operatorname{E}(Y)&=\operatorname{E}\left(\Sigma^{-1}(X-\mu)\right)\\
&=\Sigma^{-1/2}[\operatorname{E}-\mu]\\
&=\Sigma^{-1/2}(\mu-\mu)\\
&=0\\
\operatorname{Var}(Y)&=\left(\Sigma^{-1/2}\right)^T\operatorname{Var}(X)\Sigma^{-1/2}\\
&=\Sigma^{-1/2} \Sigma \Sigma^{-1/2}\\
&=I\\
X&=\Sigma^{-1/2}Y+\mu \qquad I=\Sigma^{-1/2}\\
X-\mu&=\Sigma^{-1/2} Y\\
(x-\mu)^T\Sigma^{-1}(x-\mu)&=(\Sigma^{-1/2}y)^T \Sigma^{-1} (\Sigma^{-1/2}y)\\
&=y^T y
\end{align*}
$\displaystyle f(y)=(2\pi)^{-p/2} e^{-\frac{1}{2}y^T y}$, por lo tanto $Y\sim N_p(0,I) \qquad \diamondsuit$\\
Si $A_{p\times p} \qquad C\subset \mathbb{R}^p \qquad Y=AX+C$\\
$X\sim N_p(\mu,\Sigma)$ luego $Y\sim N_p(A\mu+C,A^T\Sigma A)$
\subsubsection*{Teorema 1}
Si $X\sim N_p(\mu,\Sigma)\Longrightarrow u=(X-\mu)^T\Sigma^{-1}(X-\mu)\sim \mathcal{X}^2_p$
\subsection*{Distribución de Wishart}
Sea $\mathcal{X}_{n\times p}$ matriz de datos de $X\sim N_p(0,\Sigma)$, luego $\mathcal{M}=\mathcal{X}^T \mathcal{X} \sim W_p(\Sigma,n)$
\subsubsection*{Nota 2}
Sea $\mathcal{X}_{n\times p}$ de $X\sim N_p(0,\Sigma)$, $\mathcal{S}$ matriz de covarianza muestral, entonces:
\begin{itemize}
\item [i.] $nS=\mathcal{X}^T \mathcal{H} \mathcal{X} \sim W_p(\Sigma,n-1)$
\item [ii.] $\bar{x}$, $\mathcal{S}$ son independientes
\end{itemize}
\subsection*{Distribución $T^2$ de Hotelling}
Sea $Y\sim N_p(0,I)$ independientes de $\mathcal{M}\sim W_p(I,n)$, luego
$ny^T\mathcal{M}^{-1}y\sim T^2(p,n)$
\subsubsection*{Teorema 3}
Sea $X\sim N_p(\mu,\Sigma)$ independientes de $\mathcal{M}\sim W_p(\Sigma,n)$ entonces
$$n(X-\mu)^T\mathcal{M}^{-1}(X-\mu)\sim T^2(p,n)$$
\subsubsection*{Corolario 4}
Sea $X\sim N_p(\mu,\Sigma)$ entonces
$(n-1)(\bar{x}-\mu)^T \mathcal{S}^{-1}(\bar{x}-\mu)=n(\bar{x}-\mu)^T \mathcal{S}^{-1}_u(\bar{x}-\mu)\sim T^2(p,n-1)$
donde $S_u=\dfrac{n}{n-1}\mathcal{S}$
\subsubsection*{Corolario 5}
Sea $\displaystyle T^2(p.n)=\dfrac{np}{n-p+1}F_{p,n-p+1}$
\subsection*{Análisis Factorial}
Sea $X=(X_1,X_2,\ldots,X_p)^T \sim (\mu,\Sigma)$ se tienen n-observaciones formando $\chi$.
\\El análisis factorial asume que hay un modelo que explica la covarianza de $X_1,X_2,\ldots,X_p$
mediante $k<p$ factores latentes.\\
Sea $X=QF+\mu$ con $X_{p\times1}$, $Q_{p\times k}$, $\mu_{p\times1}$ y $F_{k\times1}=(F_1,F_2,\ldots,F_k)^T$
$$E(F)=0 \qquad \operatorname{Var}(F)=I_k$$
En la práctica $X=QF+U+\mu$
\subsection*{Modelo Factorial Ortogonal}
Sea $X=QF+U+\mu$ con $Q_{p\times k}$, $F_{k\times1}$, $U_{p\times 1}$ y $\mu_{p\times1}$
\\Q es la matríz de cargas de los factores comunes F (no aleatorio)
\\U matríz (aleatoria) de factores especificos
\\Se asume que con $i\neq j$
\begin{align*}
\operatorname{E}(F)=0 \qquad
\operatorname{Var}(F)=I_k \qquad
\operatorname{E}(U)=0 \qquad
\operatorname{Cov}(U_i,U_j)=0 \qquad
\operatorname{Cov}(F,U)=0
\end{align*}
$\mu_j$ media de $X_j$ con $j=1,\ldots,p$\\
$U_j$ j-esimo factor especifico\\
$F_l$ l-esimo factor común $l=1,\dots,p$\\
$q_{jl}$ carga factorial de $X_j$ en $F_l$\\
Si $\operatorname{Var}(U)=\Psi$ donde $\Psi=diag(\psi_{11},\ldots,\psi_{1p})$
\begin{align*}
X_j&=\sum_{l=1}^k q_{jl}F_l+U_j+\mu_j\\
\sigma_{X_j X_j}&=\operatorname{Var}(X_j)\\
&=\sum_{l=1}^k q_{jl}^2+\Psi_{jj}\\
&=h_j^2+\Psi_{jj}
\end{align*}
donde a $h_j^2$ se le llama comunalidad, y $\Psi_{jj}$ es la varianza especifica.
\subsubsection*{Nota 6}
$\operatorname{Var}(X)=Q^T \operatorname{Var}(F) Q+ \operatorname{Var}(U)$\\
$\Sigma=Q^TQ+\Psi$ donde $\Sigma$ tiene $p$ variables y $Q$ tiene $k$ factores\\
Para interpretar factores $\Sigma_{XF}=Q$ y $\rho_{XF}=D^{-1/2}$ donde $D=\operatorname{diag}(\sigma_{x_1x_1,\ldots,x_px_p})$
\begin{align}
\Sigma_{XF}&=E[(X-\mu)(F-0)^T]\notag\\
&=E[(QF+U)F^T]\notag\\
&=QE(FF^T)+E(UF^T)\notag\\
&=QI_k+0\notag\\
&=Q\notag
\end{align}
\subsection*{Invarianza de Escala $X \sim (\mu,\Sigma)$}
Si $Y=CX$ donde $C=\operatorname{diag}(c_1,\dots,c_p)$ con $\Sigma=Q_X Q_X^T+\Psi_X$, luego
\begin{align}
\operatorname{Var}(Y)&=C \Sigma C^T\notag\\
&=C Q_X Q_X^T + C \Psi_X C^T\notag\\
&=(C Q_X)(C Q_X)^T + C \Psi_X C^T\notag
\end{align}
En particular $Y=D^{-1/2}(X-\mu)$, en este caso queremos encontrar $Q_X, \Psi_Y$ tal que
\begin{align}
\rho&=Q_Y Q_Y^T+\Psi_Y\notag\\
\rho_{XY}&=\rho_{YF}\notag\\
&=\rho_Y\notag
\end{align}
por invarianza $Q_X=D^{-1/2}Q_Y$ y $\Psi_X=D^{-1/2} \Psi D^{-1/2}$.
\subsection*{La No Unicidad de las Cargas Factoriales}
Si $X=QF+U+\mu$ es cierto, luego si G es ortogonal y $X=(QG)(G^TF)+U+\mu$ es cierto
$$X=Q^* F^*+U+\mu$$
\subsubsection*{Nota 7}
Sea $\Sigma=QQ^T+\Psi$ donde $Q$ tiene $pk$ parámetros y $\Psi$ tiene $p$ parámetros, además $\Sigma$ tiene $\displaystyle \frac{p(p+1)}{2}$ ecuaciones en el sistema.
$$\Sigma_{p\times p}=
\begin{pmatrix}
\sigma_{11} & \sigma_{12} & \cdots & \sigma_{1p} \\
\sigma_{21} & \sigma_{22} & \cdots & \sigma_{2p} \\
\vdots & \vdots & \ddots & \vdots \\
\sigma_{p1} & \sigma_{p2} & \cdots & \sigma_{pp}
\end{pmatrix}$$
se utilizan las siguientes restricciones:
\begin{enumerate}
\item $Q^T D^{-1} Q$ es diagonal
\item $Q^T \Psi^{-1} Q$ es diagonal
\end{enumerate}
d:grados de libertad del sistema, con cualquiera de las restricciones:
\begin{align}
d&=\frac{p(p+1)}{2}-\left[ (pk+p)-\frac{k(k-1)}{2} \right]\notag\\
&=\frac{1}{2}(p-k)^2-\frac{1}{2}(p+k)\notag
\end{align}
Si $d<0$ indeterminado (más ecuaciones que incognitas)\\
Si $d=0$ solución única (excepto por rotación)\\
Si $d>0$ podemos encontrar soluciones (común en la práctica)
\subsubsection*{Ejemplo 8}
Si $p=6$\\
$k=1 \Longrightarrow d=9>0$\\
$k=2 \Longrightarrow d=4>0$\\
$k=3 \Longrightarrow d=0$\\
$k=4 \Longrightarrow d=-3<0$\\
\begin{align}
\Sigma&=
\begin{pmatrix}
\sigma_{11} & \sigma_{12} & \sigma_{13} \\
\sigma_{21} & \sigma_{22} & \sigma_{23} \\
\sigma_{31} & \sigma_{32} & \sigma_{33}
\end{pmatrix}\notag\\
&=
\begin{pmatrix}
q_{11}\\
q_{21}\\
q_{31}
\end{pmatrix}
\begin{pmatrix}
q_{11} & q_{21} & q_{31}
\end{pmatrix}
\begin{pmatrix}
\Psi_{11} & 0 & 0 \\
0 & \Psi_{22} & 0 \\
0 & 0 & \Psi_{33}
\end{pmatrix}\notag\\
&=
\begin{pmatrix}
q^2_{11}+\Psi_{11} & q_{11}q_{21} & q_{11}q_{31} \\
q_{21}q_{11} & q^2_{21}+\Psi_{22} & q_{21}q_{31} \\
q_{31}q_{11} & q_{31}q_{21} & q^2_{31}+\Psi_{33}
\end{pmatrix}\notag
\end{align}
\begin{align*}
q^2_{11}&=\frac{\sigma_{12}\sigma_{13}}{\sigma_{23}} \qquad
q^2_{21}=\frac{\sigma_{12}\sigma_{23}}{\sigma_{13}} \qquad
q^2_{31}=\frac{\sigma_{13}\sigma_{23}}{\sigma_{12}} \qquad\\
\Psi_{11}&=\sigma_{11}-q^2_{11} \qquad
\Psi_{22}=\sigma_{22}-q^2_{21} \qquad
\Psi_{11}=\sigma_{33}-q^2_{31} \qquad
\end{align*}
\subsection*{Estimación del Modelo}
Con los datos $\mathcal{X}$ encontrar $\hat{Q}$ y $\hat{\Psi}$ tal que $S=\hat{Q}\hat{Q}^T+\hat{\Psi}$\\
Más facil cuando usamos $Y=\mathcal{H}\mathcal{X}D^{1/2}$\\
$S_Y=R$ matriz de correlaciones de $\mathcal{X}$\\
Queremos $R=\hat{Q}_Y\hat{Q}^T_Y+\hat{\Psi}_Y$
\subsection*{Método de Componentes Principales}
Se comienza con aproximación de $Q$, sea $\hat{Q}$\\
$S=\mathcal{G}\mathcal{L}\mathcal{G}^T$ S es simétrica, donde $\mathcal{L}=\operatorname{diag}(l_1,\ldots,l_p)$ y $l_1 \geq \ldots \geq l_p$ autovalores de $S$ con autovectores $g_1,\dots,g_p$ que forman $\mathcal{G}$.\\
Considerando solamente los primeros $k$ autovalores más grandes y que sean positivos, se aproxima
$$S=\mathcal{G}_1\mathcal{L}_1\mathcal{G}_1^T$$
$\mathcal{L}_1=\operatorname{diag}(l_1,\ldots,l_k)$ y $\mathcal{G}_1$ tiene los respectivos autovectores, luego
\begin{align}
\hat{Q}&=\mathcal{G}_1\mathcal{L}_1^{1/2}\notag\\
&=(\sqrt{l_1}g_1,\dots,\sqrt{l_k}g_k)\notag\\
\hat{\Psi}&=\operatorname{diag}(S-\hat{Q}\hat{Q}^T)\notag\\
\hat{\Psi}_{jj}&=s_{jj}-\sum_{l=1}^k \hat{q}^2_{jl}\notag
\end{align}
Para evaluar la estimación ver la matriz residual $S=\hat{Q}\hat{Q}^T+\hat{\Psi}$. Observemos que es diagonal
\begin{align}
\hat{Q}\hat{Q}^T&=(\mathcal{G}_1\mathcal{L}_1^{1/2})(\mathcal{G}_1\mathcal{L}_1^{1/2})^T \notag\\
&=\mathcal{G}_1\mathcal{L}_1^{1/2}\mathcal{L}_1^{1/2}\mathcal{G}_1^{T}\notag\\
&=\mathcal{G}_1\mathcal{L}_1\mathcal{G}_1^T\notag
\end{align}
\subsection*{Método del Factor Principal}
Se puede utilizar $S$(observado) o $R$(estimado).
\begin{enumerate}
\item Como estimar $\Psi$ en el método del factor principal:
\begin{itemize}
\item [i.] $h^2_j$=cuadrado de coeficiente de correlación múltiple en la regresión de $X_j$ sobre el resto de $X'$
\item [ii.] Con $\hat{\Psi}_{jj}=1-h^2_j$ se tiene que
$\displaystyle h^2_j=\max_{l \neq j} \{r_{jl}\}$
\end{itemize}
\item De $R=\hat{Q}\hat{Q}^T+\hat{\Psi}$ luego $R-\hat{\Psi}=\hat{Q}\hat{Q}^T$
\item $R-\hat{\Psi}$ es simétrica, $R-\hat{\Psi}=\mathcal{G}\mathcal{L}\mathcal{G}^T$ descomposición espectral.
\item De $\mathcal{L}$ tomar los $k$ autovalores mayores, digamos $l_1\geq\ldots\geq l_k>0$ y formamos $\mathcal{L}_1$ y $\mathcal{G}_1$ con los respectivos autovectores.\\
Luego $\hat{Q}=\mathcal{G}_1 \mathcal{L}_1^{1/2}$ i.e. $\hat{q}_l=\sqrt{l_l}g_l$ con $l=1,\ldots,k$
\item Construir $\hat{\Psi}$(nuevo)
$\displaystyle \hat{\Psi}_{jj}=1-\sum_{i=1}^k q^2_{jl} \longrightarrow \hat{\Psi}$
\item Se itera, comenzando en el paso 3 hasta que $\|\hat{Q}_{n+1}-\hat{Q}_n\|<\epsilon$ o $\hat{\Psi}_{jj}$ son estables
\end{enumerate}
\subsection*{Método de Máxima Verosimilitud}
Sea $\mathcal{X}_{n\times p}$ de $X\sim N_p(\mu,\Sigma)$. Recordar que
\begin{align}
(\mathcal{X};\mu,\Sigma)&=-\frac{n}{2}\ln |2\pi\Sigma|-\frac{1}{2}\sum_{i=1}^n (x_i-\Sigma) \Sigma^{-1}(x_i-\mu)^T\notag\\
&=-\frac{n}{2}\ln |2\pi\Sigma|-\frac{n}{2}\operatorname{tra}|\Sigma^{-1}S|-\frac{n}{2} (\bar{\mathcal{X}}-\mu) \Sigma^{-1}(\bar{\mathcal{X}}-\mu)^T\notag
\end{align}
$EMV$ de $\mu$ en $\bar{\mathcal{X}}$:
$\displaystyle l(\mathcal{X};\mu,\Sigma)=-\frac{n}{2}\ln |2\pi\Sigma|-\frac{n}{2}\operatorname{tra}|\Sigma^{-1}S|$
sustituyendo $\Sigma=QQ^T+\Psi$ tenemos que
\begin{equation}
l(\mathcal{X};\hat{\mu},Q,\Psi)=-\frac{n}{2}\{\ln |2\pi(QQ^T+\Psi)|+\operatorname{tra}[(QQ^T+\Psi)^{-1}]S\}
\end{equation}
Maximizando al derivar con respecto a $Q$ y $\Psi$, además con el supuesto de que $Q^T\Psi^{-1}Q=D$ es diagonal, se obtienen las siguientes ecuaciones:
\begin{displaymath}
\left\{ \begin{array}{ll}
\hat{\Psi}=\operatorname{diag}(S-\hat{Q}\hat{Q}^T)\\
(\hat{\Psi}^{-1/2}(S-I)\hat{\Psi}^{-1/2})(\hat{\Psi}^{-1/2}\hat{Q})=
(\hat{\Psi}^{-1/2}\hat{Q})D\\
\hat{Q}^T\Psi^{-1}\hat{Q}=D
\end{array} \right.
\end{displaymath}
\subsubsection*{Algortimo 9}
\begin{enumerate}
\item Partir de $\hat{Q}$ (puede usar factor principal), luego $\hat{\Psi}=diag(S-QQ^T)$
\item A (simétrica) donde:
\begin{align}
A&=\hat{\Psi}^{-1/2}(S-\hat{\Psi})\hat{\Psi}^{-1/2}\notag\\
&=\hat{\Psi}^{-1/2}S\hat{\Psi})\hat{\Psi}^{-1/2}-I\notag
\end{align}
\item Encontrar la descomposición espectral de A, $A=\mathcal{G}\mathcal{L}\mathcal{G}^T$\\
donde $\mathcal{L}=diag(l_1,\ldots,l_p)$ donde $l_1\geq l_2\geq \ldots \geq l_p$ con autovectores $g_1,\ldots,g_p$ de $\mathcal{G}$.\\
Tomar los $k$ autovalores más grandes y positivos, i.e. $l_1 \geq l_2 \geq \ldots \geq l_k>0$ y se tiene\\
$\mathcal{L}_1=diag(l_1,\ldots,l_k)$ y sus respectivos autovectores en $\mathcal{G}_1$
\item Tomar $\hat{Q}=\hat{\Psi}^{\frac{1}{2}}\mathcal{G}_1 \mathcal{L}^{-\frac{1}{2}}$ y sustituir $\hat{Q}$ en (1), maximizar para $\Psi$, iterar a partir de 2 hasta la convergencia.
\end{enumerate}
\subsection*{Prueba de Razón de Verosimilitud para el Número de Factores Comunes}
$H_0:\Sigma=QQ^T+\Psi$\\
$H_1$:no modelo factorial\\
Sean $\hat{\Psi}$ y $\hat{Q}$ estimador de máxima verosimilitud(EMV) con
$S\doteq \hat{Q}\hat{Q}^T+\hat{\Psi}$, luego
\begin{align}
-2\ln \left( \frac{MVH_0}{MVSR} \right)&=n\ln \left( \frac{|\hat{Q}\hat{Q}^T+\hat{\Psi}|}{|S|} \right)\notag\\
&\sim \chi^2_{\frac{1}{2}(p-k)^2+\frac{1}{2}(p+k)}\notag
\end{align}
donde $MVSR$ es la máxima verosimilitud sin restricción.\\
La corrección de $Bartletts$ reemplaza $n$ por $\displaystyle \frac{(n-1)-(2p+4k+5)}{6}$, además rechaza $H_0$ si
$$\left[ n-1-\left(\frac{2p+4k+5}{6}\right) \right] n \ln \left( \frac{|\hat{Q}\hat{Q}^T+\hat{\Psi}|}{|S|} \right)>\chi^2_{1-\alpha; \frac{1}{2}(p-k)^2-\frac{1}{2}(p+k)}$$
\subsection*{Método Varimax}
Estandarizar las cargas factoriales $\tilde{q}$:
$\displaystyle \tilde{q}_{jl}=\frac{\hat{q}^v_{jl}}{\hat{h}^v_j}$,
queremos que $V$ sea máxima
\begin{equation*}
V=\sum_{j=1}^k \left\{ \frac{1}{p} \sum_{j=1} (q^v_{jl})^4 - \left( \frac{1}{4} \sum_{j=1}^p \hat{q}^v_{jl}\right)^2 \right\}
\end{equation*}
\subsection*{Estimación de los Factores(Puntajes Factoriales)}
\begin{enumerate}
\item Sea $X-\mu=QF+U$ donde $U \sim N(0,\Psi)$ y $X-\mu \sim N(QF,\Psi)$
\begin{align}
\hat{F}&=(Q^T \Psi^{-1} Q)^{-1} Q^T \Psi^{-1}(X-\mu)\notag\\
\hat{f}_i&=(\hat{Q}^T \Psi^{-1} \hat{Q})^{-1} \hat{Q}^T \hat{\Psi}^{-1} (x_i-\mu)\notag
\end{align}
\item Sea $X-\mu=QF+U$ con $F$ variable aletoria
\begin{align}
\operatorname{E}(F|X=x)&=Q^T \Sigma^{-1}(X-\mu)\notag\\
\hat{f}_i&=Q^T S^{-1}(x_i-\mu)\notag
\end{align}
\end{enumerate}
\subsection*{Análisis de Conglomerados}
El objetivo es formar grupos que sean entre ellos (heterogéneos) y dentro de ellos (homogéneos).\\
Pasos para realizar el análisis de conglomerados.
\begin{enumerate}
\item Seleccionar una medida de proximidad (similaridad), así se conoce que tan cercanos son dos unidades si sus valores están cerca.\\
$i \rightarrow x^T_i=(x_{i1},x_{i2},\dots,x_{ip})$\\
$j \rightarrow x^T_j=(x_{j1},x_{j2},\dots,x_{jp})$
\item Seleccionar algoritmo de agrupación. Tal que las unidades dentro de los conglomerados sean lo más homogéneas posibles, y entre los grupos lo más heterogéneos posibles (basados en la medida de la proximidad seleccionada).
\end{enumerate}
\subsubsection*{Proximidad Entre Objetos}
$D=
\begin{pmatrix}
d_{11} & d_{12} & \ldots & d_{1n}\\
d_{21} & d_{22} & \ldots & d_{2n}\\
\vdots & \vdots & \ddots & \vdots\\
d_{n1} & d_{n2} & \ldots & d_{nn}\\
\end{pmatrix}$
\subsection*{Similaridad Entre Objetos en Estructura Binaria}
Sea $(x_i,x_j)$ donde $x^T_i=(x_{i1},x_{i2},\ldots,x_{ip})$ y
$x^T_j=(x_{j1},x_{j2},\ldots,x_{jp})$ con $x_{ik},x_{jk} \in (0,1)$
$$d_{ij}=\frac{a_1+\delta a_4}{a_1+\delta a_4+\lambda (a_2+a_3)}$$
donde
\begin{align*}
a_1&=\sum_{k=1}^p I_{x_{ik}=x_{jk}=1}\qquad
a_2&=\sum_{k=1}^p I_{x_{ik}=0,x_{jk}=1}\qquad
a_3&=\sum_{k=1}^p I_{x_{ik}=1,x_{jk}=0}\qquad
a_4&=\sum_{k=1}^p I_{x_{ik}=x_{jk}=0}
\end{align*}
La naturaleza de las variables determinar la medida de similaridad.
\subsubsection*{Ejemplo 10}
\begin{tabular}{l r r r r r r r r r r}
& $x_1$ & $x_2$ & $x_3$ & $x_4$ & $x_5$ & $x_6$ & $x_7$ & $x_8$ & $x_9$ & $x_{10}$\\
i & 1 & 0 & 1 & 1 & 0 & 0 & 0 & 0 & 0 & 0 \\
j & 0 & 1 & 1 & 1 & 1 & 0 & 1 & 0 & 0 & 0
\end{tabular}\\
$a_1=2$, $a_2=3$, $a_3=1$, $a_4=4$\\
usando Jaccard $d_{ij}=\frac{1}{3}$\\
\begin{tabular}{|l|r|r|r|}\hline
Nombre & $\delta$ & $\lambda$ & Definición \\\hline
Jaccard & 0 & 1 & $\displaystyle \frac{a_1}{a_1+a_2+a_3}$\\
Tanimoto & 1 & 2 & \\
Pareo Simple & 1 & 1 & \\\hline
\end{tabular}\\
\subsection*{Medidas de Distancia para Variables Continuas}
Norma $L_r$ con $r \geq 1$
\begin{align*}
d_{ij}&=\|x_i-x_j\|\\
&=\left( \sum_{k=1}^p |x_{ik}-x_{jk}|^r \right)^{1/r}\\
&=\sqrt{\sum_{k=1}^p (x_{ik}-x_{jk})^2}
\end{align*}
Al utilizar la norma $L_r$ es conveniente que las mediciones esten en la misma escala, si no entonces estandarizamos
\begin{align*}
d^2_{ij}&=(x_i-x-j)^T A(x_i-x_j)\\
&=\| x_i-x_j \|_A
\end{align*}
En particular si $\displaystyle A=\operatorname{diag}\left(\frac{1}{S_{x_1x_1}},\ldots,\frac{1}{S_{x_px_p}}\right)$ entonces
$\displaystyle d^2_ij=\sum_{k=1}^p \frac{(x_{ik}-x_{jk})^2}{S_{x_k x_k}}$
que no depende de la escala de medida.
\subsubsection*{Ejemplo 11}
$r=2$, norma $L_2$
\subsection*{Métrica $\chi^2$ para Comparar Filas o Columnas de una Tabla de Contingencia}
\begin{tabular}{l|r r r r r|r}
& 1 & \ldots & j & \ldots & p & \\\hline
1 & $x_{11}$ & \ldots & $x_{1j}$ & \ldots & $x_{1p}$ & $x_{1.}$\\
\vdots & \vdots & & \vdots & & \vdots & \vdots\\
i & $x_{i1}$ & \ldots & $x_{ij}$ & \ldots & $x_{ip}$ & $x_{i.}$\\
\vdots & \vdots & & \vdots & & \vdots & \vdots\\
n & $x_{n1}$ & \ldots & $x_{nj}$ & \ldots & $x_{np}$ & $x_{n.}$\\\hline
& $x_{.1}$ & \ldots & $x_{.j}$ & \ldots & $x_{.p}$ & $x_{..}$
\end{tabular}\\
Distribución marginal de fila $i$, $\frac{x_{i.}}{x_{..}}$ donde
$\displaystyle x_{i.}=\sum_{j=1}^p x_{ij}\qquad x_{..}=\sum_{i=1}^n \sum_{j=1}^p x_{ij}$\\
Para columna $j$: $\displaystyle \frac{x_{.j}}{x_{..}}$ con
$\displaystyle x_{.j}=\sum_{i=1}^n x_{ij}$\\
Distribución condicional de fila $i$:
$\displaystyle \frac{x_{.j}}{x_{..}} \longrightarrow \left( \frac{x_{i1}}{x_{i.}}, \ldots, \frac{x_{ij}}{x_{i.}}, \ldots, \frac{x_{ip}}{x_{i.}} \right)$\\
Para columna $j$:
$\displaystyle \frac{x_{ij}}{x_{.j}} \longrightarrow \left( \frac{x_{1j}}{x_{.j}}, \ldots, \frac{x_{ij}}{x_{.j}}, \ldots, \frac{x_{nj}}{x_{.j}} \right)$\\
Distancia entre la fila $i_1$ y la fila $i_2$:
$\displaystyle d^2(i_1,i_2)=\sum_{j=1}^p \frac{1} {\frac{x_{.j}}{x_{..}}}
\left( \frac{x_{i_1j}}{x_{i_1.}}-\frac{x_{i_2j}}{x_{i_2.}} \right)^2$\\
Distancia entre la columna $j_1$ y la columna $j_2$:
$\displaystyle d^2(j_1,j_2)=\sum_{i=1}^p \frac{1}{\frac{x_{i.}}{x_{..}}}
\left( \frac{x_{ij_1}}{x_{.j_1}}-\frac{x_{ij_2}}{x_{.j_2}} \right)^2$
\subsection*{Coeficiente de Correlación $Q$ como Medida de Similaridad}
Sean $x_i^T=(x_{i1},\ldots,x_{ip})$ y $x_j^T=(x_{j1},\ldots,x_{jp})$
$$\displaystyle d_{ij}=\frac{ \sum_{k=1}^p (x_{ik}-\bar{x}_i)(x_{jk}-\bar{x}_j)^2} { \sqrt{ \left[ \sum_{k=1}^p (x_{ik}-\bar{x}_i)^2 \right] - \left[ \sum_{k=1}^p (x_{jk}-\bar{x}_j)^2 \right]}} $$
\subsection*{Clasificación Automática}
\begin{enumerate}
\item Seleccionar medida de proximidad o distancia
\item Seleccionar algoritmo de conglomeración
\end{enumerate}
\subsection*{Algoritmos de Conglomeración}
De los algoritmos más usuales están los
\begin{enumerate}
\item Jerárquicos
\begin{itemize}
\item [a.] Jerárquicos conglomerativos (asociativos)
\item [b.] Jerárquicos divisivos (disasociativos)
\end{itemize}
\item De partición
\end{enumerate}
\subsection*{Jerárquicos Conglomerativos}
Parten con $n$ conglomerados (cada observación es un conglomerado).\\
Se unen los dos más cercanos para formar $(n-1)$ conglomerados, se une hasta formar un sólo conglomerado conformado por $\mathcal{X}$
\subsection*{Jerárquicos Divisivos}
Parte de un sólo conglomerado que es $\mathcal{X}$, se va dividiendo hasta tener $n$ conglomerados (conformados por cada observación)
\subsection*{De Partición}
Parte de un número preestablecido de conglomerados y se van intercambiando las observaciones hasta optimizar algún puntaje.
\subsection*{Algoritmo Aglomerativo}
\begin{enumerate}
\item Construir $n$ grupos cada con uno con una observación
\item Calcular la matriz de distancia $D$
\item Encontrar los conglomerados con la distancia más cercana
\item Unir en un sólo conglomerado los encontrados en 3
\item Calcular $D$ restringida entre los grupos nuevos
\end{enumerate}
Repetir $3,4,5$ hasta tener un sólo conglomerado formado por $\mathcal{X}$
\subsection*{Distancia Utilizada Entre Dos Grupos}
Sea $P+Q$ que resulta de unir $P$ y $Q$. $R$ otro grupo
$$d(R,P+Q=\delta_1 d(R,P)+\delta_2 d(R,Q)+\delta_3 d(P,Q)+\delta_4 |d(R,P)-d(R,Q)|$$
\begin{tabular}{l|r|r|r|r}
Nombre & $\delta_1$ & $\delta_2$ & $\delta_3$ & $\delta_4$\\\hline
Encadenamiento simple & 1/2 & 1/2 & 0 & -1/2\\
Encadenamiento completo & 1/2 & 1/2 & 0 & 1/2\\
Encadenamiento promedio & 1/2 & 1/2 & 0 & 0\\
Encadenamiento promedio ponderado & $\displaystyle\frac{n_P}{n_P+n_Q}$ & $\displaystyle\frac{n_Q}{n_P+n_Q}$ & 0 & 0\\
Centroide & $\displaystyle\frac{n_P}{n_P+n_Q}$ & $\displaystyle\frac{n_Q}{n_P+n_Q}$ & $-\displaystyle\frac{n_P n_Q}{(n_P+n_Q)^2}$ & 0\\
Mediana & 1/2 & 1/2 & 1/4 & 0\\
Ward & $\displaystyle\frac{n_R+n_P}{n_R+n_P+n_Q}$ & $\displaystyle\frac{n_R+n_Q}{n_R+n_P+n_Q}$ &
$-\displaystyle\frac{n_R}{n_R+n_P+n_Q}$ & 0
\end{tabular}\\
Ward $$n_P=\sum_{i=1}^n I(x_i \in P)$$
Encadanamiento simple modificado $d(R,P+Q)=\min\{d(P,R),d(Q,R)\}$\\
Encadanamiento completo modificado $d(R,P+Q)=\max\{d(P,R),d(Q,R)\}$
\subsubsection*{Ejemplo 12}
Sea
\begin{align*}
D&=
\begin{pmatrix}
0 & & & & \\
9 & 0 & & &\\
3 & 7 & 0 & &\\
6 & 5 & 9 & 0 &\\
11 & 10 & 2 & 8 & 0
\end{pmatrix}\\
&=
\begin{pmatrix}
0 & & &\\
3 & 0 & &\\
7 & 9 & 0 &\\
8 & 5 & 6 & 0
\end{pmatrix}
\end{align*}
\subsection*{Análisis de Discriminante}
\begin{itemize}
\item Descriptivo
\item Predictivo (el objetivo es clasificar observaciones en grupos ya conocidos)
\end{itemize}
\subsection*{Reglas de Clasificación para Distribuciones Conocidas}
Suponga que tenemos las poblaciones $\Pi_j$; $j=1,\ldots,J$ y se tiene que clasificar una observación con $x^ T=(x_1,\ldots,x_p)$ a una de estas poblaciones.
Regla discriminante es una separación del espacio muestral $\mathbf{R}^p$ en conjuntos $R_j$ tal que si $x\in R_j$ identificamos la observación como de la población $\Pi_j$
\subsection*{Regla Discriminante de Máxima Verosimilitud (RDML)}
Sea $f_i(x)$ la densidad de la población $\Pi_i$. La $RDML$ clasificara a $x$ en $\Pi_j$ si $f_j(x)$ es el máximo de la verosimilitud, i.e.
\begin{align*}
L_j&=f_j(x)\\
&=\max_i f_i(x)
\end{align*}
En caso de que hayan varias se clasifican en cualquiera $R_j=\{x:L_j(x)>L_i(x); i=1,\ldots,J; i\neq j\}$
\subsection*{Regla que Minimiza el Costo Esperado de la Mala Clasificacion (ECM)}
Suponga $J=2$
\begin{align*}
p_{21}&=\Pr(x\in R_2|\Pi_1)\\
&=\int_{R_2} f_1(x)dx\\
p_{12}&=\Pr(x\in R_1|\Pi_2)\\
&=\int_{R_1} f_2(x)dx\\
\end{align*}
Las observaciones mal clasificadas crean un costo $C(i|j)$: costo de asignarlos a $R_i$ dado que es de $\Pi_j$, tenemos\\
\begin{tabular}{l|r|r}
& $\Pi_1$ & $\Pi_2$\\\hline
$\Pi_1$ & 0 & $C(2|1)$\\\hline
$\Pi_2$ & $C(1|2)$ & 0
\end{tabular}\\
Suponga $\Pi_j$ la probabilidad a priori de que pertenece a $\Pi_j$\\
$$ECM=C(2|1)p_{21}\Pi_1+C(1|2)p_{12}\Pi_2$$
La regla que minimiza el ECM viene dado por
\begin{align*}
R_1&=\left\{ x:\frac{f_1(x)}{f_2(x)}\geq \left(\frac{C(1|2)}{C(2|1)}\right)
\left(\frac{\Pi_2}{\Pi_1}\right)\right\}\\
R_2&=\left\{ x:\frac{f_1(x)}{f_2(x)}< \left(\frac{C(1|2)}{C(2|1)}\right)
\left(\frac{\Pi_2}{\Pi_1}\right)\right\}
\end{align*}
\subsubsection*{Ejemplo 13}
Sea $\Pi_1=N(\mu_1, \sigma^2_1)$ y $\Pi_2=N(\mu_2, \sigma^2_2)$
$$f_i(x)=(2\pi \sigma^2_i)^{-1/2}e^{-1/2\left(\frac{x-\mu_i}{\sigma_i}\right)^2}$$
$x\in R_1$, luego
\begin{align*}
f_1(x)&\geq f_2(x)\\
\frac{f_1(x)}{f_2(x)}& \geq 1
\end{align*}
\begin{align*}
\frac{\sigma_2}{\sigma_1}e^{-1/2\left[ \left(\frac{x-\mu_1}{\sigma_1}\right)^2-
\left(\frac{x-\mu_2}{\sigma_2}\right)^2\right]}&\geq 1\\
-\frac{1}{2} \left[ \left( \frac{x-\mu_1}{\sigma_1} \right)^2- \left( \frac{x-\mu_2}{\sigma_2} \right)^2 \right]&\geq \ln\left(\frac{\sigma_2}{\sigma_1}\right)
\end{align*}
$\therefore x$ se clasifica en $\Pi_1$ si
$$x^2\left(\frac{1}{\sigma^2_1}-\frac{1}{\sigma^2_2}\right)
-2x\left( \frac{\mu_1}{\sigma^2_1}-\frac{\mu_2}{\sigma^2_2}\right)
+\left( \frac{\mu^1_1}{\sigma^2_1}-\frac{\mu^2_2}{\sigma^2_2}\right)
\leq \ln\left(\frac{\sigma_2}{\sigma_1}\right)$$
Si $\mu_1<\mu_2$ y $\sigma_1=\sigma_2=\sigma$. $x$ se clasifica en $\Pi_1$ si
\begin{align*}
\frac{3}{4}x^2+\frac{1}{2}x-\frac{1}{4}&\leq 2\ln 2=\ln 4\\
\frac{3}{4}x^2+\frac{1}{2}x-\left(\ln 4+\frac{1}{4}\right)&\leq 0\\
3x^2+2x-(\ln 256+1)&\leq 0\\
s&=4+4(3)(\ln 256+1)\\
&=4+12(\ln 256+1)\\
x&=\frac{-2\pm \sqrt{4+12(\ln 256+1)}}{6}\\
&=
\begin{cases}
-1.85\\
1.18
\end{cases}
\end{align*}
\subsubsection*{Teorema 14}
\begin{itemize}
\item [a.] La RDML clasifica $x$ a $\Pi_j$ con $j=1,\ldots,J$ cuando se minimiza la distancia al cuadrado de Mahalanoubis entre $x$ y $\mu_j$ con $i\neq j$ si
$\delta^2(x,\mu_j)\leq \delta^2(x,\mu_i)$
$$\delta^2(x,\mu_j)=(x-\mu)^T\Sigma^{-1}(x-\mu_j)$$
\item [b.] En el caso de $J=2$, $x\in R_1 \Longleftrightarrow \alpha^T(x-\mu)\geq 0$ donde $\displaystyle \alpha^T=(\mu_1-\mu_2)^T\Sigma^{-1} \quad \textrm{y} \quad \mu=\frac{1}{2}(\mu_1+\mu_2)$
\end{itemize}
\subsubsection*{Demostración}
b. $x\in R_1$ si $(x-\mu_1)^T\Sigma^{-1}(x-\mu_1)-(x-\mu_2)^T\Sigma^{-1}(x-\mu_2)\leq 0$
\begin{align*}
x^T \Sigma^{-1}x-x^T\Sigma^{-1}\mu_1-\mu^T_1\Sigma^{-1}x+\mu^T_1\Sigma^{-1}\mu_1-
x^T \Sigma^{-1}x+x^T\Sigma^{-1}\mu_2+\mu^T_2\Sigma^{-1}x-\mu^T_2\Sigma^{-1}\mu_2& \leq 0\\
-2\mu^T_1\Sigma^{-1}x+2\mu^T_2\Sigma^{-1}x+\mu^T_1\Sigma^{-1}\mu_1-\mu^T_2\Sigma^{-1}\mu_2& \leq 0\\
-2(\mu_1-\mu_2)^T\Sigma^{-1}x+(\mu_1-\mu_2)^T\Sigma^{-1}(\mu_1+\mu_2)&\leq 0\\
(\mu_1-\mu_2)^T\Sigma^{-1}x-\frac{1}{2}(\mu_1-\mu_2)^T\Sigma^{-1}(\mu_1+\mu_2)&\geq 0\\
(\mu_1-\mu_2)^T\Sigma^{-1}\left(\frac{1}{2}(\mu_1-\mu_2)\right)\geq 0
\end{align*}
$\therefore \alpha^T(x-\mu)\geq 0 \qquad \diamondsuit$
\subsection*{Regla Discriminante de Bayes}
Sea $\Pi_i$ la probabilidad a priori de que $x$ pertenece a $\Pi_i$, $i=1,\ldots,J$.\\
Clasificamos $x$ como de $\Pi_j$ si $$\Pi_j f_j(x)=\max_i \{\Pi_i f_i(x)\}$$
\subsubsection*{Nota 15}
$\Pi_i=1/J$ luego la regla discriminante de Bayes es la RDML
\subsection*{Probabilidades de Mala Clasificación RML}
Sea $J=2$, recordar $\alpha^T=(\mu_1-\mu_2)^T \Sigma^{-1}$, $\mu=frac{1}{2}(\mu_1+\mu_2)$, $\Pi_1=N(\mu_1,\Sigma)$, $\Pi_2=N(\mu_2,\Sigma)$
\begin{align*}
p_{12}&=Pr{(x\in R_1|\Pi_2)}\\
&=\Pr{(\alpha^T(x-\mu)>0|\Pi_2)}\\
R_1&:(\mu_1-\mu_2)^T \Sigma^{-1} \left(x-\frac{1}{2}(\mu_1+\mu_2)\right)>0\\
&:y>\frac{1}{2}(\mu_1-\mu_2)^T \Sigma^{-1} (\mu_1+\mu_2)\\
R_2&:(\mu_1-\mu_2)^T \Sigma^{-1} \left(x-\frac{1}{2}(\mu_1+\mu_2)\right)\leq 0\\
&: y \leq \frac{1}{2}(\mu_1-\mu_2)^T \Sigma^{-1} (\mu_1+\mu_2)\\
y&=(\mu_1-\mu_2)^T \Sigma^{-1} x\\
&=\alpha^Tx
\end{align*}
Como $y$ es combinación lineal de $x$, entonces $y\sim N$
\begin{align*}
\mu_{1y}&=\alpha^T \mu_1\\
&=(\mu_1-\mu_2)^T \Sigma^{-1} \mu_1\\
\mu_{2y}&=\alpha^T \mu_2\\
&=(\mu_1-\mu_2)^T \Sigma^{-1} \mu_2\\
\sigma^2_y&=\alpha^T \Sigma\alpha\\
&=(\mu_1-\mu_2)^T \Sigma^{-1} \Sigma \Sigma^{-1}(\mu_1-\mu_2)\\
&=(\mu_1-\mu_2)^T \Sigma^{-1} (\mu_1-\mu_2)\\
&=(\mu_1-\mu_2)^T \Sigma^{-1} (\mu_1+\mu_2)
\end{align*}
Donde $\delta^2$ es la distancia de Mahalanobis al cuadrado entre $\Pi_1$ y $\Pi_2$
\begin{align*}
p_{12}&=\Pr\left(y>\frac{1}{2}(\mu_1-\mu_2)^T \Sigma^{-1}(\mu_1+\mu_2)|\Pi_2\right)\\
&=\left(z>\frac{\frac{1}{2}(\mu_1-\mu_2)^T \Sigma^{-1}(\mu_1+\mu_2)-(\mu_1-\mu_2)^T \Sigma^{-1}\mu_2}{\delta}\right)\\
&=\Pr\left(z>\frac{\frac{1}{2}(\mu_1-\mu_2)^T \Sigma^{-1}(\mu_1-\mu_2)}{\delta}\right)\\
&=\Pr\left(z>\frac{\frac{1}{2}\delta^2}{\delta}\right)\\
&=\Pr\left(z\leq -\frac{\delta}{2}\right)\\
&=\Phi\left(-\frac{\delta}{2}\right)
\end{align*}
\subsection*{Clasificación con Matrices de Covarianza Distintas}
Suponga $J=2$, $\Pi_1=N(\mu_1,\Sigma_1)$, $\Pi_2=N(\mu_2,\Sigma_2)$, las regiones de clasificación son definidas por funciones cuadráticas
\subsection*{Reglas Discriminantes en la Práctica}
Suponga los datos que provienen de $\Pi_j=N(\mu_j,\Sigma)$ y tenemos $J$ grupos con $n_j$ observaciones cada uno.
$$\hat{\mu_j}=\bar{x_j} \qquad \hat{\Sigma}=S_j$$
\subsection*{Estimación de la Matriz de Covarianzas Común}
$$\displaystyle S_u=\sum_{j=1}^J n_j\frac{S_j}{n-J} \qquad n=\sum_{j=1}^J n_j$$
La regla empírica $ML$ clasifica $x$ a $\Pi_j$ si $j$ minimiza
$\displaystyle (x-\bar{x}_i)^T S^{-1}_u(x-\bar{x}_i)$
\subsection*{Estimación de la Probabilidad de Mala Clasificación}
Sea $\displaystyle \hat{p}_{12}=\hat{p}_{21}=\Phi\left(-\dfrac{\hat{\delta}}{2}\right)$ entonces
$\hat{\delta}^2=(\bar{x}_1-\bar{x}_2)^T S^{-1} (\bar{x}_1-\bar{x}_2)$\\
Se puede utilizar el método de resustitución para tener una aproximación de la calidad de la regla discriminante, estimando $p_{ij}$ con
$\displaystyle \hat{p}_{ij}=\frac{n_{ij}}{n_j}$\\
$n_j$: numero de observaciones en $\Pi_j$\\
$n_{ij}$: número de observaciones de $\Pi_j$ clasificado como de $\Pi_i$, la matriz $(\hat{p}_{ij})$ es llamada matriz de confusión.
\end{document}