Cómo hacer tu investigación más creíble

La econometría de hoy es muy diferente a la de hace algunos años gracias a la revolución de la credibilidad. La revolución de la credibilidad es un cambio de paradigma en la forma en la que se hace investigación empírica en economía (y en las ciencias sociales, si se dejan influenciar). Se trata de hacer que los estudios se parezcan lo más posible a experimentos en un laboratorio y menos a la lectura de hojas de té.

Lo que hace a una ciencia es el uso de evidencia para respaldar lo que dice. Cuando hacemos afirmaciones como “algunos animales usan el campo magnético de la tierra para orientarse” o “la luz del sol tarda 8 minutos en llegar a la tierra”, lo hacemos porque alguien encontró alguna manera de comprobarlo.

En ocasiones esta comprobación requiere mediciones sencillas y estadística simple, pero no siempre es el caso. En el verano de 1984, un científico australiano tenía una hipótesis que nadie en la comunidad médica creía: las úlceras son provocadas por una bacteria. Hasta ese tiempo, la mayoría de los doctores creía que el estrés era la causa principal de este malestar.

Pero Barry Marshall estaba seguro de que la causa era una bacteria llamada helicobacter pylori. Tal era su convicción que pidió a su colega Neil Noakes que tomara algunas bacterias de la caja de petri y la mezclara en un caldo de res, el cual tomó alegremente.

“Recuerden chicos, la única diferencia entre hacer travesuras y hacer ciencia es escribirlo”
- Adam Savage

Tres días después, Marshall comenzó a sentir náuseas y su madre le dijo que tenía mal aliento. Después llegaron lo vómitos y algunos días después se hizo una gastroscopía que confirmó su teoría. Una gran ventaja de que la causa de las úlceras sean una bacteria es que su cura sólo requiere tomar antibióticos. Este descubrimiento le valió el premio Nobel de medicina en 2005: había descubierto la causa y con ello una cura para las úlceras.

Quitemos el Timo de la Econometría

En 1983, Edward Leamer escribió una reflexión sobre el estado del trabajo empírico en la economía, invitando a los investigadores empíricos a quitar la farsa (la palabra “con” en inglés es algo así como un timo) de la econometría.

El problema, según Leamer, es que los análisis de la época (podríamos decir lo mismo en algunos casos actuales) no eran lo suficientemente robustos a modificaciones en supuestos clave. En otras palabras, los resultados no eran aplicables más allá de las circunstancias particulares del estudio.

Esto es un problema. Lo que deseamos de una ciencia es que nos brinde respuestas sobre lo que debemos hacer. Pero simplemente hacer relación entre variables nos puede hacer llegar a las conclusiones equivocadas: es importante asegurarnos que nuestro estudio tenga credibilidad.

La clave está en el diseño

Para hacer un estudio creíble, debemos hacer que su diseño se asemeje lo más posible a un experimento controlado. Los economistas no podemos (aún) poner a las personas en un laboratorio aislado como si fueran ratones. Tenemos que encontrar formas ingeniosas

En ocasiones se nos presenta la suerte de poder usar algún acontencimiento como un experimento natural, pero lo ideal sería que nuestras políticas públicas estuvieran diseñadas desde un inicio para que sus efectos se midan correctamente.

¿Cómo hacer que los niños vuelvan a la escuela?

La educación se considera un elemento sumamente importante para el desarrollo. Dentro de los objetivos de desarrollo sostenible de las naciones unidas destaca “Garantizar una educación inclusiva, equitativa y de calidad (…) para todos”. Pero no es fácil definir cómo lograr este objetivo o cuánto podría costar.

Una idea obvia sería quitar las barreras financieras a la educación. Para muchas familias, que los niños asistan a la escuela representa una carga económica y un costo de oportunidad, pues podrían estar trabajando y aportando ingresos al hogar.

Un programa pionero de bienestar infantil fue el ahora extinto Progresa-Oportunidades-Prospera. El programa ofrecía transferencias monetarias a madres seleccionadas aleatoriamente, condicionado a la participación en cuidados prenatales, monitoreos nutricionales de los niños y la asistencia regular de los niños a la escuela.

Todos los programas tienen problemas y defectos, pero Progresa fue un gran ejemplo a nivel internacional de que es posible diseñar políticas públicas pensando en una evaluación libre de sesgos.

Progresa fue el programa emblemático que despertó una ola de evaluaciones con asignación aleatoria en la economía del desarrollo. De acuerdo a Paul Gertler, “Progresa es la razón de que ahora treinta países en el mundo tengan programas de transferencias condicionales”.

¿Por qué no hay más estudios así en Latam?

Idealmente, los investigadores deberíamos considerar los estudios controlados aleatorizados siempre que sea posible. Sólo cuando no es posible hacer este tipo de experimentos pasamos a los datos observacionales y a las técnicas ingeniosas para hacer nuestro estudio mas creíble.

Hay muchas razones por las que no siempre es posible irnos directamente a los estudios aleatorizados. En ocasiones es cuestión de presupuesto, pero la realidad es que es difícil hacer que los involucrados en el diseño de una política pública acepten diseñarlo para su evaluación.

Por un lado, requiere trabajo adicional hacer que los programas se adapten a las necesidades de las evaluaciones. No sólo es la planeación, también se requieren negociaciones políticas que no siempre son fáciles de alcanzar.

Por otro lado, no siempre se puede justificar de manera ética una distribución aleatoria de los recursos. En 1990, Joshua Angrist quería averiguar el efecto que tenía ser veterano de Guerra en los ingresos a lo largo de la vida. No importa los recursos con los que se cuenta como investigador, no hay comité ético que permita reclutar de manera aleatoria a las personas para entrar a la guerra. Aquí es donde entran los experimentos naturales.

Experimentos naturales

No todo está perdido cuando no se puede hacer estudios aleatorizados. Josh Angrist usó la lotería de reclutamiento durante la guerra de Vietnam para identificar la diferencia en ingresos entre aquellos que fueron y los que no fueron seleccionados.

Cuando un investigador aprovecha estas circunstancias se dice que usó un experimento natural. En el caso de Angrist, hacer este comparativo le ayudó a encontrar que los veteranos blancos tenían en promedio un ingreso 15 por ciento menor que no-veteranos con características comparables.

No todo es experimentos aleatorios

El objetivo de este tipo de estudios es aclarar dudas sobre los resultados desde antes de que estas surjan a los lectores. El camino de la econometría es comenzar pensando en cómo podríamos hacer nuestro estudio con un experimento, para luego encontrar un método más realista.

En ocasiones tenemos suerte y alguien más ya recolectó los datos y los puso a nuestra disponibilidad. Pero en ocasiones nos toca a nosotros salir al mundo a recolectarlos.

Cualquiera que sea el caso, pensar en términos de experimentos y de los métodos existentes harán que nuestro plan para usar los datos sea mas claro y sencillo.