1.2 Algunos resultados de probabilidad

Antes de entrar en el repaso de estos conceptos fundamentales, se definen los conceptos de parámetro y espacio paramétrico asociados a una distribución de probabilidad.

1. Un parámetro es aquella cantidad que define la forma funcional de una distribución de probabilidad; es decir, cuando el parámetro cambia de valor, la función de densidad y la función de distribución cambian. Las distribuciones de probabilidad pueden tener más de un parámetro. Cuando una distribución tiene solo un parámetro, éste se denota usualmente por \(\theta\), cuando se presenta más de un parámetro, la notación se cambia a \(\boldsymbol \theta\), representando el vector de parámetros.
2. El espacio paramétrico, \(\Theta\), es el conjunto que contiene todos los posibles valores que puede tomar el parámetro o el vector de parámetros. Para distribuciones con un solo parámetro, \(\Theta\) será un subconjunto de \(\mathbb{R}\), mientras que para distribuciones con dos o más parámetros, \(\Theta\) será un subconjunto de \(\mathbb{R}\times\mathbb{R}\).

Para entender los fundamentos de la modelación bayesiana, es necesario recordar algunas definiciones y resultados de la teoría de probabilidad que ayudarán a hacer más expedito este periplo por la estadística bayesiana. En términos de notación, se utilizará indistintamente la expresión de integral, \(\int\), indicando la sumatoria, en el caso de las variables aleatorias discretas o la integral de Riemann-Stieltjes en el caso de las variables aleatorias continuas.

Definición 1.1 Sean \(\mathbf{X}=(X_1,\ldots,X_p)'\), \(\mathbf{Y}=(Y_1,\ldots,Y_q)'\) dos vectores aleatorios definidos sobre los espacios de muestreo \(\mathcal{X}\), \(\mathcal{Y}\), respectivamente. Suponga que la distribución conjunta de estos vectores aleatorios está dada por \(p(\mathbf{X},\mathbf{Y})\). La distribución marginal de \(\mathbf{X}\) está dada por \[\begin{equation} p(\mathbf{X})=\int p(\mathbf{X},\mathbf{Y})\ d\mathbf{Y} \end{equation}\] y la distribución condicional de \(\mathbf{X}\) dado \(\mathbf{Y}\) como \[\begin{equation} p(\mathbf{X} \mid \mathbf{Y}) =\frac{p(\mathbf{X},\mathbf{Y})}{p(\mathbf{Y})} \end{equation}\]

Resultado 1.1 Suponga los vectores \(\mathbf{X}\), \(\mathbf{Y}\) y un tercer vector \(\mathbf{Z}=(Z_1,\ldots,Z_r)'\) definido sobre el espacio de muestreo \(\mathcal{Z}\). Entonces se tiene que \[\begin{equation} p(\mathbf{X} \mid \mathbf{Z})=\int p(\mathbf{X},\mathbf{Y} \mid \mathbf{Z})\ d\mathbf{Y} \end{equation}\] y \[\begin{equation} p(\mathbf{X} \mid \mathbf{Y},\mathbf{Z})=\frac{p(\mathbf{X},\mathbf{Y} \mid \mathbf{Z})}{p(\mathbf{Y} \mid \mathbf{Z})} \end{equation}\]

Prueba. En primer lugar, nótese que \[\begin{align*} \int p(\mathbf{X},\mathbf{Y} \mid \mathbf{Z})\ d\mathbf{Y}&= \int \frac{p(\mathbf{X},\mathbf{Y},\mathbf{Z})}{p(\mathbf{Z})}\ d\mathbf{Y}\\ &=\frac{1}{p(\mathbf{Z})} \int p(\mathbf{X},\mathbf{Y},\mathbf{Z}) \ d\mathbf{Y}\\ &=\frac{1}{p(\mathbf{Z})} p(\mathbf{X},\mathbf{Z})=p(\mathbf{X} \mid \mathbf{Z}) \end{align*}\]

Por otro lado,

\[\begin{align*} \frac{p(\mathbf{X},\mathbf{Y} \mid \mathbf{Z})}{p(\mathbf{Y} \mid \mathbf{Z})}= \frac{p(\mathbf{X},\mathbf{Y},\mathbf{Z})}{p(\mathbf{Z})} \diagup \frac{p(\mathbf{Y},\mathbf{Z})}{p(\mathbf{Z})} =\frac{p(\mathbf{X},\mathbf{Y},\mathbf{Z})}{p(\mathbf{Y},\mathbf{Z})}=p(\mathbf{X} \mid \mathbf{Y},\mathbf{Z}) \end{align*}\]

Definición 1.2 Sean \(\mathbf{X}\), \(\mathbf{Y}\), \(\mathbf{Z}\) vectores aleatorios, se dice que \(\mathbf{X}\) es condicionalmente independiente de \(\mathbf{Y}\) con respecto a \(\mathbf{Z}\) si satisfacen la siguiente expresión \[\begin{equation} p(\mathbf{X},\mathbf{Y} \mid \mathbf{Z})=p(\mathbf{X} \mid \mathbf{Z})p(\mathbf{Y} \mid \mathbf{Z}) \end{equation}\]

Resultado 1.2 Si \(\mathbf{X}\) es condicionalmente independiente de \(\mathbf{Y}\) con respecto a \(\mathbf{Z}\), entonces se tiene que \[\begin{equation} p(\mathbf{X} \mid \mathbf{Y},\mathbf{Z})=p(\mathbf{X} \mid \mathbf{Z}) \end{equation}\]

Prueba. Como \(p(\mathbf{X},\mathbf{Y} \mid \mathbf{Z})=\dfrac{p(\mathbf{X},\mathbf{Y},\mathbf{Z})}{p(\mathbf{Z})}\), entonces

\[\begin{align*} p(\mathbf{X} \mid \mathbf{Y},\mathbf{Z})=\frac{p(\mathbf{X},\mathbf{Y},\mathbf{Z})}{p(\mathbf{Y},\mathbf{Z})} =\frac{p(\mathbf{X},\mathbf{Y} \mid \mathbf{Z})p(\mathbf{Z})}{p(\mathbf{Y},\mathbf{Z})} =\frac{p(\mathbf{X} \mid \mathbf{Z})p(\mathbf{Y} \mid \mathbf{Z})}{p(\mathbf{Y} \mid \mathbf{Z})}=p(\mathbf{X} \mid \mathbf{Z}) \end{align*}\]

Resultado 1.3 Si \(\mathbf{X}\) es independiente de \(\mathbf{Y}\), entonces \(\mathbf{X}\) es condicionalmente independiente de \(\mathbf{Y}\) dado cualquier otro vector \(\mathbf{Z}\).

Prueba. Nótese que \[\begin{equation*} p(\mathbf{X},\mathbf{Y}\mid \mathbf{Z})=p(\mathbf{X} \mid \mathbf{Y},\mathbf{Z})p(\mathbf{Y} \mid \mathbf{Z})=p(\mathbf{X} \mid \mathbf{Z})p(\mathbf{Y} \mid \mathbf{Z}) \end{equation*}\]

puesto que, utilizando la hipótesis de independencia, se tiene que \[\begin{equation*} p(\mathbf{X} \mid \mathbf{Y})=p(\mathbf{X}) \end{equation*}\]