Cifras sospechosas con un CVE mayor al 15%
Es evidente que para tener un sistema de estadísticas oficiales confiables y precisas se debe utilizar criterios de calidad para establecer cuándo una estimación, resultante de una encuesta de hogares, puede ser publicada o suprimida. En algunos institutos de estadísticas se han adoptado políticas consistentes en advertir al usuario acerca de la pertinencia y credibilidad de las estimaciones. Estas prácticas apuntan a no publicar las cifras que tengan un coeficiente de variación estimado (CVE) mayor a un determinado umbral (por ejemplo, 15% o 30%). La razón de lo anterior está basada en la confiabilidad que se debe garantizar en un proceso de publicación de cifras para la toma de decisiones en el sector público.
El coeficiente de variación es una medida que define la precisión de un indicador. Sin embargo, tiene algunas deficiencias. A continuación cito algunas de ellas:
¿Tiene sentido un coeficiente de variación negativo? Claro que sí. Cuando la estimación es negativa el CVE también lo es. Por ejemplo, cuando se estiman diferencias, cambios netos, cambios brutos, impactos, etc. ¿Es interpretable un CVE negativo? No, no lo es. Por lo general se toma el valor absoluto.
Suponga que la estimación del parámetro es exactamente cero. Para esta configuración, sin importar que tan grande o pequeña sea la varianza, el coeficiente de variación no está definido.
Suponga que la estimación del parámetro de interés es muy cercana a cero. Para esta configuración, sin importar que tan grande o pequeña sea la varianza, el coeficiente de variación será muy grande y no representará la calidad de la estrategia de muestreo.
Suponga que está estimando una proporción P. De igual manera, si la estimación del parámetro es muy cercana a cero, el CVE tiende a infinito. Sin embargo, el CVE del complemento de la proporción (1-P) será muy pequeño y confiable. Esto se traduce en una paradoja, puesto que el mismo fenómeno está siendo medido, pero los CVE son contradictorios.
Debido a lo anterior, el CVE para una proporción no constituye una medida simétrica alrededor de P=0.5, como sí lo es el error estándar o la varianza.
Específicamente, si se siguiera la política de no reportar la cifra que tenga un CVE mayor al 15%, las estimaciones que tienen una magnitud pequeña (muy cercana a cero) son automáticamente castigadas por este indicador. Incluso si la variabilidad de la cifra es pequeña pequeña (cercana a cero), el coeficiente de variación será gigante.
Por ejemplo, suponga que un estudio se plantea para estimar, entre otros parámetros, la proporción de niños que desertan de las aulas de clase y no vuelven a la escuela. Después de realizar el muestreo, se encontró que la proporción de niños desertores es de P=0.06 con un coeficiente de variación del 25%. Si seguimos la regla del 15%, entonces la cifra no sería publicable.
Por lo anterior, considero que el CVE no debe ser la única medida de calidad a la hora de establecer los criterios de publicación. No sería pertinente adoptar políticas de restricciones a las cifras basado en un indicador que no puede ser generalizado para todos los casos. Entonces, ¿qué medida de variabilidad debe adoptarse? En particular, es necesario volver a la raíz de la inferencia en poblaciones finitas, en donde la confiabilidad, la precisión y el tamaño de muestra dependen del intervalo de confianza, el cual envuelve dos medidas de calidad importantes: el error estándar (definido como la raíz cuadrada de la varianza del estimador) y el margen de error (definido como la multiplicación del error estándar por el percentíl adecuado de la distribución del estimador). Con el intervalo de confianza sí se puede decidir si una cifra es confiable o no, y si se procede a la publicación de la misma.
Siguiendo con el ejemplo de estudiantes desertores, un CVE del 25%, para una proporción estimada de P=0.06, da como resultado un error estándar de 1.5% (dado por 0.25X0.06=0.015) y un margen de error cercano al 3% (dado por 0.015X1.96=0.029). Por lo tanto el intervalo de confianza de la proporción estaría dado por [3%,9%] = [6%-3%, 6%+3%]. Esas cifras no son despreciables y deberían ser publicadas por cualquier entidad que genere estadísticas oficiales.
La idea de revisar los intervalos de confianza para decidir sobre la calidad de la cifra no es apropiada, puesto que sería preciso evaluar todas las cifras (una por una) y tomar la decisión después de un estudio juicioso de la amplitud del intervalo. En las siguientes entrada hablaré acerca de otros criterios que se pueden tener en cuenta para generar un algoritmo de decisión de publicación y advertencia de las cifras oficiales.