El viernes pasado hicimos un taller de 2 horas donde hablamos sobre el manejo de datos.
En particular, vimos la checklist para hacer un estudio que usa datos, y la lista de software para hacer econometría, que fueron los temas de los posts pasados. Hacerlo presencial tiene la ventaja de que puedo aplicar un experimento a los alumnos para que vean los datos en acción en tiempo real. Eso hace más fácil imaginar lo que está pasando.
El experimento: Le confisqué el celular a la mitad del grupo
De manera aleatoria, dividimos el grupo en dos: El grupo de tratamiento y el grupo de control.
El grupo de tratamiento tendrá que dejar su celular en resguardo durante al menos una hora. El grupo de control podía conservar su celular. Todos respondieron al final una encuesta y veríamos la diferencia al final de la clase (los datos y resultados están al final de este texto).
Este estudio se hizo en dos partes. Primero, hicimos una breve medición del bienestar de los alumnos en el grupo. Esta es una medición que debemos hacer dos veces: antes y después de la aplicación del tratamiento. Para hacer la medición muy sencilla, nos enfocamos únicamente en los niveles de ansiedad de los participantes en el experimento.
Cuando divides al grupo de forma aleatoria, no necesitas tanta estadística
Hay una cita de Ernest Rutherford que dice: “si tu experimento requiere estadística, debiste haber hecho un mejor experimento”.
Dividí al grupo de manera aleatoria. Un truco para hacerlo rápidamente es que los dividí en grupos por su fecha de nacimiento. No se supone que el mes en el que nacieron esté de ninguna forma relacionado con sus hábitos del uso del celular o con sus niveles de ansiedad.
La división de los alumnos en dos grupos nos permite identificar el efecto y estar seguro de que es significativo.
- Digamos que $E[Y_1 - Y_0]$ representa la diferencia en el nivel promedio de ansiedad que tiene el grupo de tratamiento ($D =1$) con el de control ($D=0$).
- Hay muchos aspectos de los que nos abstraemos en este ejercicio: el tamaño de muestra es demasiado pequeño y el experimento no se está haciendo con variables controladas. Pero el principio sigue aplicando igual… en otras palabras, el resultado de este ejercicio es con fines didácticos, pero si lo quisiéramos hacer en la realidad si podría ser un experimento válido.
El resultado: los alumnos que dejaron su celular mostraron menores niveles de ansiedad
Pero el resultado no fue significativo.
Esta es la gráfica con el resultado de la encuesta. En promedio, los alumnos que dejaron el celular una hora reportaron menores niveles de ansiedad. ¿Eso significa que dejar el celular te quita la ansiedad? Tal vez. No podemos saber con la información que tenemos.
- El tamaño de nuestra muestra (n=30) implica que cada uno de los individuos representa un porcentaje muy alto de la población. En otras palabras, cuando la muestra es pequeña, hay mucha variación y por lo tanto hay mucho ruido. Eso quiere decir que tal vez si incrementamos nuestra muestra, el resultado podría resultar ser significativo.
- El estadístico t fue de 1.36 y el p value de 0.193. No es suficientemente bajo para declarar que es significativo, pero no podríamos descartar la hipótesis, dado el nivel bajo de la muestra.
Naturalmente, hacer un experimento de este tipo requeriría más rigor. Simplemente definir correctamente una variable que nos mida la ansiedad, o una manera alternativa de medirla sin autoreportar haría una gran diferencia.
¿Cuáles son los siguientes pasos?
Como dije, el propósito de este ejercicio fue didáctico.
- Los alumnos pudieron ver de primera mano cómo se hace un experimento, cómo se divide en grupos y la importancia en los resultados.
- El estadístico t es sensible al tamaño de la muestra, así que valdría la pena intentar hacer este experimento a mayor escala.
- Pero antes de hacerlo a mayor escala, me dedicaría a hacer las métricas de una manera más formal. Esto representa un trabajo extra, pero es probablemente más importante que todo el trabajo de estadística que hay que hacer.
Decidí entrar directamente con los experimentos porque, como dije en la checklist, es más importante tener una mentalidad de experimentador que ir directo a la estadística.
