Análisis multivariante

No te creas las estadísticas (10/10)

¿No te resulta asombroso? Sólo con 17 piezas de este rompecabezas has sido capaz de adivinar que se trataba del motivo de los botes de Cola Cao.

La realidad, igual que un puzzle, está compuesta de pequeñas piezas. Cada una de estas piezas recibe el nombre de variable. Pongamos un ejemplo: el tiempo atmosférico de hoy es una realidad y es el resultado de muchas piezas o variables: la temperatura, la humedad relativa, el clima de ayer, la presión atmosférica, la altitud del lugar, su latitud,...

Pero no todas estas piezas son igual de importantes. Si en la foto de hoy yo hubiera escogido 17 piezas de la parte superior del dibujo, todas completamente amarillas, nadie habría adivinado cuál era el motivo del rompecabezas.

El análisis multivariante permite predecir una realidad utilizando muchas piezas del puzzle. Además, tenemos herramientas para saber cuáles son las mejores piezas que predicen el resultado final: si no tenemos dinero para comprar el puzzle entero y sólo podemos permitirnos tener diez piezas, podemos calcular cuáles son las diez piezas que nos dan más información del dibujo representado.

La trampa que se hace en esta ocasión es que a veces inteligentes publicistas nos dan piezas "amarillas" del puzzle; que sí, son parte del dibujo, pero que prácticamente carecen de importancia.

Hoy terminamos esta sección de estadística que espero que haya sido de vuestro agrado. Yo he disfrutado mucho con ella y he intentado transmitiros lo poquito que sé del tema, que es lo suficiente para advertiros de que ¡nunca os creáis las estadísticas!

No te creas las estadísitcas. Banda sonora:

Relación y causalidad

No te creas las estadísticas (9/10)

Durante los últimos doscientos años, hemos sido testigos de dos importantes cambios. Por un lado, parece que las temperaturas se han ido incrementando progresivamente. Por el otro, las monarquías europeas han disminuido poco a poco en número.

¿Qué significa esto exactamente? ¿Acaso los gametos de la sangre azul son más suceptibles al calor y por eso sus dueños se reproducen menos? ¿Están relacionados el aumento de temperatura y la disminución del número de monarquías?

La respuesta a esta última pregunta es que sí, que ambos sucesos están relacionados, lo que ocurre es que tienen una relación de temporalidad y no una relación de causa y consecuencia.

Mediante la regresión y la correlación, dos herramientas muy útiles de la Estadística, podemos estudiar si dos o más variables están relacionadas o no y si la relación entre ambas es fuerte o débil. Pero hasta la fecha actual, carecemos de recursos para saber si la relación entre las variables que estudiamos es de causalidad o no.

Por ejemplo, pensad en un fármaco que sirve para un dolor crónico. Pensad en que el paciente tiene menos dolor cuanta más dosis de fármaco reciba. Hemos probado que la dosis de fármaco y la intensidad del dolor están relacionados, pero en ningún momento que el motivo de la mejoría sea el fármaco que estamos dando.

Seguro que sois capaces de aportar nuevos y más desconcertantes ejemplos.

Rachas habituales

No te creas las estadísticas (8/10)

Regina está enseñando a su hermanito pequeño a barajar un mazo de cartas. Abre una baraja nueva y le pide a su hermano que las mezcle. A continuación, pone las cartas boca arriba y le dice:

-Aún tienes que aprender a barajar mejor. Mira, el cinco, el seis y el siete de espadas y la sota, el caballo y el rey de bastos los has dejado juntos.

Regina coge la baraja y la vuelve a mezclar, dispuesta a enseñarle a su hermano cómo barajando convenientemente las cartas, éstas quedan convenientemente mezcladas. Sin embargo, la primera vez la casualidad quiere que ocho espadas quedaran entre las primeras catorce cartas del mazo. Regina vuelve a barajar y cinco figuras aparecen juntas en el medio de la baraja. Baraja por tercera vez y tres sietes salen consecutivos.

Enfadada por no conseguir mezclar las cartas bien, coge la baraja y la mezcla a conciencia. Al volver el mazo boca arriba, comprueba que tres sotas y tres ases forman las sílabas JA JA JA.

¿Están embrujadas las cartas de Regina y no se dejan mezclar?

Es muy difícil, casi imposible, dejar las cartas ordenadas del uno de oros al rey de bastos después de barajarlas. Aunque parezca lo contrario, obtener una tirada en la cual cada carta sea diferente en número y palo a la precedente es también muy difícil. Estas rachas de cartas que ha obtenido Regina son completamente normales y esperables.

Nuestro cerebro nos avisaría si las cartas quedaran muy ordenadas después de barajarlas; pero no se daría cuenta de que este segundo caso, en el que las cartas han quedado demasiado bien mezcladas, es igual de raro.

La teoría de rachas es la encargada de estudiar estos curiosos sucesos. Esta teoría nos avisa cuando los datos han sido recopilados con muchas rachas o con pocas. Ambas situaciones deben hacernos sospechar de la existencia de tendencia e inercia en la obtención. Cualquier análisis estadístico que se precie debe contener un análisis de rachas. Si no lo tiene, puede haber trampa de por medio.

Paradoja de Simpson

No te creas las estadísticas (7/10)

El Sr. Reúma padece desde hace tiempo dolores de espalda y no sabe por qué. Ha leído en Internet que el dolor de espalda puede estar relacionado con los días lluviosos. Para eso, en el mes de agosto apuntó qué días le dolía la espalda y que días no le dolía en función del clima local, obteniendo que sintió dolor el 58% de los días de sol y el 60% de los días de lluvia.

Como parecía que en los días de lluvia había una predisposición para el dolor, el Sr. Reúma repitió el experimento el mes de septiembre, teniendo dolor más en los días de lluvia: 54% frente al 53% de los días de sol.

-Creo que mi dolor se relaciona con la humedad -explicó el Sr. Reúma a su médico. He hecho el experimento dos veces y en ambas me ha dolido más días en los días de lluvia.
-No es posible, Sr. Reúma -contestó su médico. Si sumamos los resultados de los dos experimentos, obtenemos que usted tuvo dolor el 56% de los días de sol y el 56% de los días de lluvia, luego parece que la humedad no está relacionada.

¿Qué estaba sucediendo?

Una de las formas mediante la cual nos engaña nuestro cerebro es haciéndonos creer que los porcentajes son números normales y corrientes. Esto no es cierto del todo: los porcentajes son divisiones y por tanto no se pueden interpretar alegremente.

En nuestro ejemplo, es el médico quien tiene razón y el Sr. Reúma el que se ha equivocado y ha caído en la paradoja de Simpson. Esta curiosa paradoja dice que es posible dividir una muestra en varios grupos (en nuestro caso 60 días han sido divididos en 2 meses) y obtener porcentajes favorables en cada uno de los grupos, mientras que los porcentajes globales son iguales o desfavorables.

Como podréis imaginar, este método es una bendición para los publicistas. Es posible, que un mayor porcentaje de los habitantes de Extremadura piensen que el detergente A es mejor que el detergente B, y a la vez que por separado los de Cáceres crean que B es mejor y los de Badajoz que B es mejor también.

El problema del valor medio

No te creas las estadísticas (6/10)

Esta mañana me puse un polo rojo y fui a pesarme: 71 kg. Más tarde decidí cambiarme de polo y me puse uno azul; volví a pesarme y mi peso eran 82 kg. Como tampoco me convencía el polo azul, me puse uno verde y me pesé por tercera vez: 69 kg.

¿Cuál es mi peso real?

Emilienko azul: Si no te compras una báscula nueva, lo más adecuado es que calcules la media de las tres pesadas, que es de 74 kg. Sin duda tu peso real debe estar cercano a éste.
Emilienkos rojo y verde: El Emilienko azul parece un valor extremo. Si no quieres excluirlo, lo más aconsejable es que en vez del valor medio, uses el valor mediano (que es el que queda en medio al ordenar los datos de mayor a menor) y que asciende a 71 kg. Ése es el valor medio más adecuado en este caso.

En situaciones similares en las que uno de los valores parece ser un valor extremo pero donde no queremos excluirlo "por si acaso", lo más aconsejable es usar la mediana como valor medio en vez de la media. Hay consenso en que la mediana como valor medio es más adecuada en estos casos, aunque a la larga crea muchos problemas en la potencia de los análisis.

Sin embargo, la elección final de media o mediana siempre queda a gusto del analista de los datos y no hay ninguna regla que obligue a coger ninguna de las dos.

Por ejemplo, si estamos midiendo los beneficios de una dieta, es posible que a algunos les interese decir que el peso al final de la misma es de 74 kg, mientras otros dirán que la dieta es mucho mejor porque el peso al final es de 71 kg. Y todos tienen razón.

Valores extremos

No te creas las estadísticas (5/10)

El siguiente desafío de ER-z, nuestro becario marciano, fue estimar la altura de la población adulta sevillana. Como no podía pagar un segundo viaje a la Tierra, ER-z utilizó un rayo muy preciso que midió la altura de seis sevillanos al azar. Los resultados fueron éstos:

114 168 169 173 175 178

-Ahora sí que tengo un problema -pensó enfadado- uno de los valores que me ha dado el rayo es 114. Cuando estuve en la Tierra no me pareció que hubiera gente tan bajita; pero como no conozco suficientemente a los terrícolas, es posible que algunos de ellos tengan esta altura. Por otro lado, es posible que me haya equivocado al usar el rayo y me haya dado un valor muy bajo. También es posible que esa persona estuviera sentada y por eso midiera 114...

¿Debería ER-z incluir el 114 en el análisis estadístico?

Esta pregunta no es fácil de contestar; lo que sí es verdad es que ER-z tiene un problema llamado valor extremo. Si ER-z no incluye al 114 en su estudio, es posible que unos supuestos terrestres bajitos no queden representados en su muestra. Si lo incluye y el 114 es un error de medida, los resultados obtenidos estarán sesgados.

Cuando los matemáticos se enfrentan a este problema, que es bastante común, calculan mediante complejas fórmulas cuánto se diferencia el valor extremo del resto. Si se direfencia mucho, el valor queda excluido; si no se diferencia demasiado, el valor se queda dentro. La semana que viene veremos cómo se pueden usar los valores extremos para falsear una estadística.

Diferencia significativa debido al azar

No te creas las estadísticas (4/10)

ER-z es un extraterrestre que estudia la carrera de Estadística en la Universidad Marciana. Su proyecto fin de carrera consiste en hacer un estudio acerca del color del pelo de la población sevillana. Para ello, la Universidad Marciana ha costeado a ER-z un viaje al planeta Tierra, a Sevilla, para tomar una muestra de población y así poder hacer su estudio.

-He hecho un descubrimiento sorprendente -comentó a la vuelta ER-z a su tutor. Tomé una muestra de cinco personas al azar, les hice esta foto y dio la casualidad de que los cinco eran pelirrojos. Esto me obliga a elaborar una teoría: si el color del pelo fuera igual en Sevilla que en el resto del mundo, sería una casualidad muy improbable haber obtenido un resultado como el mío, con tantos pelirrojos. Así pues, el resultado de mi estudio es que el porcentaje de pelirrojos de esta ciudad debe ser superior al del resto de ciudades terrestres.

¿Es correcto el razonamiento de ER-z?

Aunque nosotros sepamos que en Sevilla la proporción de pelirrojos no es superior al del resto del planeta, ER-z no se ha equivocado en ningún momento, tan sólo ha tenido mala suerte con la muestra que ha tomado de la población sevillana.

Cuando un estudio estadístico dice que una población (en nuestro caso Sevilla) es diferente de las demás cuando en realidad no lo es, se está cometiendo un error llamado error alfa, que es en el que ha caído ER-z.

Por definición, cometeremos un error alfa en el 5% de los estudios en los cuales no haya diferencias reales entre lo esperado y lo observado. Esto es muy fuerte: quiere decir que 1 de cada 20 muestras de sevillanos dirá que los colores de pelo de los sevillanos son diferentes al del resto de España cuando en realidad todos sabemos que no es así.

La parte de la Estadística que se dedica a generalizar los resultados de una muestra a una población general recibe el nombre de Inferencia. La ventaja de esta ciencia es que reconoce que el error alfa siempre estará presente y por tanto permite controlarlo a nuestro antojo, aunque nunca llegue a eliminarlo del todo. Es una ciencia que ha conseguido que el malo esté de nuestra parte.

Independencia del tamaño poblacional

No te creas las estadísticas (3/10)

Tomemos a 20 personas al azar de los 100 millones de habitantes de Nueva York. A continuación, tomemos otras 20 personas al azar de los 100 habitantes de Villaperdida de la Sierra. ¿Cuál de las dos muestras representa mejor a la población de la que procede?

Si has respondido que la muestra de 20 personas de Villaperdida de la Sierra es más representativa porque supone un 20% de la población, mientras que la muestra de 20 personas de Nueva York es peor porque sólo incluye a un 0,0002% de la población, te has equivocado. Las dos muestras serán igual de buenas (o de malas) siempre que hayan sido tomadas correctamente.

Esto no se lo cree nadie, pero es así. En realidad es lo mismo que ocurre con el acertijo infantil de qué pesa más, si un kilo de plomo o un kilo de paja. Un kilo es un kilo, independientemente del material. Aquí ocurre lo mismo, 20 personas son 20 personas, da igual de dónde vengan.

Un nativo de Villaperdida: ¡Alto! ¿Eso quiere decir entonces que los 100 habitantes de Villaperdida representamos a nuestro pueblo exactamente igual de bien que 100 habitantes al azar de Nueva York?

Emilienko: Sí, y no sólo eso. 101 habitantes de Nueva York representarían mejor a Nueva York que los 100 habitantes de Villaperdida representan a su pueblo. Es igual que el acertijo infantil: 101 personas pesan más que 100, da igual de dónde vengan.

Esta cuestión, que cuesta trabajo comprender, se utiliza para engañarnos vilmente en el día a día. Cuando os comenten que una determinada muestra constituye un determinado porcentaje de la población general, sospechad: ¡un 80% de la población pueden ser 4 personas de 5! Como el 5 es indiferente para el resultado final, tenemos que la muestra sólo tenía 4 personas, lo cual, en la mayoría de los casos, es demasiado poco.

Valores perdidos

No te creas las estadísticas (2/10)

La marca de detergente Azul se publicita asegurando que la mayoría de las personas que utilizan su detergente opinan que éste lava más blanco que los demás.

El señor Cuellolimpio compró el detergente Azul engañado por este ardid publicitario, pero su experiencia fue muy negativa: bajo su punto de vista el detergente Azul era peor que los que utilizaba antes. Muy indignado, fue a visitar al gerente de la fábrica de detergente Azul para pedirle explicaciones.

-No hay ni trampa ni cartón -afirmó el gerente. Hicimos un estudio con 300 personas que usaron Azul durante un año. Al final del mismo, 120 personas opinaban que nuestro detergente era mejor que los demás, 80 que era igual y 40 que era peor. Es decir, un 83% de las personas que siguieron en el estudio opinaron que nuestro producto es mejor, o por lo menos igual que otros detergentes. Su caso, señor Cuellolimpio, es una excepción.

¿Tenía razón el gerente o utilizó alguna treta para engañar al pobre señor Cuellolimpio?

De nuevo, una interpretación errónea de los datos ha servido al gerente del detergente Azul para hacernos caer en una trampa. Si sumamos las 120 personas que piensan que el detergente es mejor, las 80 que creen que es igual y las 40 que creen que es peor, el resultado es 240. ¿El estudio no comenzó con 300 personas? ¿Dónde están las 60 que nos faltan?

Estas 60 personas reciben el nombre de valores perdidos. Cuando se realiza un estudio es muy normal que algunos sujetos que al principio decidieron participar en él se retiren voluntariamente. Este suceso es tan habitual, que aunque un estudio tenga un alto número de valores perdidos puede llegar a ser considerado válido.

Sin embargo, en este caso concreto, las 60 personas que abandonaron el estudio a la mitad seguramente lo hicieran porque pensaran que el detergente Azul era peor que el que usaban anteriormente y no estarían dispuestos a lavar la ropa con un detergente malo durante un año.

Es sencillo diseñar un estudio en el cual podamos "cansar" a las personas que piensen que el producto es peor; por lo tanto es fácil que estas voces discordantes no nos estropeen unos bonitos resultados estadísticos. Si algún día os intentan convencer con una estadística, pedid siempre un informe de valores perdidos.

Porcentajes en barra

No te creas las estadísticas (1/10)

El cerebro humano maneja con dificultad conjuntos de más de siete datos y es incapaz de resumir conjuntos de más de veinte. Nuestros antepasados, conscientes de esta dificultad, sintieron la necesidad de crear una ciencia para resumir largas listas de datos numéricos en dos o tres valores que representaran adecuadamente al conjunto de datos que había detrás. A esa ciencia le llamaron Estadística.

Si bien la Estadística es una herramienta muy útil para realizar estimaciones, tiene la desventaja de que un gran porcentaje de la población la entiende mal. Publicistas, timadores y caraduras emplean esta incomprensión generalizada para usar la Estadística a su favor y obtener de ella pingües beneficios.

En esta serie de actualizaciones pretendo comentar alguno de los trucos que emplean estos granujas para engañarnos con datos que son aparentemente ciertos. Hoy comentaremos uno de los engaños más comunes: el uso de gráficos inadecuados.

Si alguien observa el gráfico de la foto, que pretende representar el 40% de algo, tiende a pensar que la barra es tan alta que incluye a la mayoría. Por ejemplo, un publicista podría usar la barra para asegurar que un 40% de las mujeres piensan que el detergente azul lava más blanco que los demás. ¿Es correcta la información que nos proporciona?

Sí, la información es cierta, pero hemos caído en una trampa: un porcentaje no debe ser representado en barra. Si un 40% de las mujeres creen que el detergente azul lava más blanco, significa que un 60% opinan que el detergente azul lava peor o igual que el resto de detergentes. Al ver una barra tan alta, nuestro cerebro cree inconscientemente que la mayoría de mujeres prefieren el detergente azul.

Esta treta puede ser compicada un poco usando varias barras, o intercalando gráficos correctos con gráficos inapropiados. Un reciente anuncio televisivo utilizaba esta estrategia para hacernos creer que su producto era el favorito de la mayoría. ¡Cuidado con los gráficos!