La credibilidad en la investigación económica

«Múltiples problemas han sido identificados dentro del cuerpo de resultados de investigaciones publicadas en economía. Nos enfocamos en tres que han estado bajo un creciente foco en el reciente esfuerzo por transparencia: sesgo de publicación, especificación de la investigación y la inhabilidad de replicar los resultados. [...] un sesgo del investigador es definido como la probabilidad de que un investigador presente un resultado no encontrado como un resultado verdadero, por otras diferentes al chance de una variación en los datos. El sesgo del investigador podría tomar diversas formas, incluyendo cualquier combinación de especificación en la investigación, manipulación de los datos, reporte selectivo y hasta un fraude categórico [...]”. Garret Christensen y Edward Miguel, Journal of Economic Literature 2018, 56(3)

La credibilidad siempre ha sido una virtud. En una sociedad en donde los seres humanos actúan e interactúan constantemente –y de manera dinámica– la credibilidad simplifica los costos de transacción; es decir, tiene un valor económico. Es una virtud, por tanto, que se construye con la conducta, no con los buenos deseos o con una retórica divorciada de los hechos. En la economía es tan importante como en cualquier otro campo de la conducta humana. Y muchas veces – como ocurre con otras facetas humanas – solo se aquilata realmente cuando se pierde.

Justamente, la investigación económica –piedra angular del avance de la ciencia económica– ha estado, recientemente, sometida a serios cuestionamientos sobre la integridad de sus procesos. Es un tema que ha sido abordado con gran acierto por los economistas Garret Christensen y Edward Miguel en un ensayo titulado Transparency, Reproducibility, and the Credibility of Economics Research (Transparencia, Reproductibilidad, y Credibilidad en la Investigación Económica), aparecido en el Journal of Economic Literature del pasado septiembre.

Uno de los problemas que enfrenta la investigación económica es lo que se denomina como sesgo de publicación. Los autores plantean que dicho sesgo puede surgir cuando algún tipo de resultado tiene mayor probabilidad de ser publicado que otro tipo de resultado. Por ejemplo, las investigaciones que conducen a un resultado que rechaza la hipótesis del trabajo –falla en rechazar la hipótesis nula– “generan menos apoyo para la publicación de parte del referí y del editor de la revista”. Esto, naturalmente, va condicionando la cultura de investigación de profesores que deben publicar para lograr avanzar en la carrera académica de las universidades más importantes. De hecho, según los autores, las investigaciones que dan como resultado la aceptación de la hipótesis nula tiene una probabilidad de publicación que es cuarenta puntos porcentuales menor que una investigación que la rechaza. De manera que mayoritariamente se publican las investigaciones que confirman el propósito del trabajo.

Este sesgo de publicación está asociado con conductas del investigador que pueden ser catalogadas como un verdadero fraude. Dado que el investigador quiere lograr la publicación de su trabajo, normalmente no escatima esfuerzos para lograr su propósito, aunque, en ocasiones, para ello tenga que trampear el proceso hasta que sus resultados sean significativos. Una de las formas sublimes de hacer esto es a través de la minería de datos – o data mining–, utilizando el termino en un sentido peyorativo. En general, en una investigación económica se debe definir anticipadamente, entre otros aspectos, las hipótesis de trabajo y el modelo econométrico –en el caso de una investigación empírica – que sería utilizado como herramienta de comprobación. La minería de datos ocurriría cuando se hace primero una exploración de los datos en busca de un modelo que se ajuste al interés de la investigación. Como se sabe, dado un conjunto de datos, potencialmente existen numerosos modelos que pudieran ajustarse significativamente a esos datos. El problema es que el investigador pudiera estar tentado a elegir el que más le convenga, sin transparentar el criterio de selección.

En este sentido, existe una línea divisoria muy tenue entre el fraude y lo que es éticamente correcto, aunque no siempre la minería de datos es condenable. Pero los estándares para las publicaciones se han ido mejorando para evitar o minimizar el fraude en las publicaciones, exigiendo un plan de investigación que permita controlar el proceso posterior de la investigación misma. Un resultado esperado es hacer más transparente el proceso de investigación en todas las disciplinas y una indicación positiva es que la tasa de retracción –o retiro– de artículos publicados ha estado en aumento. Este retiro de artículos publicados no necesariamente, recalcan los autores, debe atribuirse al fraude. Es posible que los autores los hayan retirado luego de una revisión más cuidadosa.

Una forma de garantizar una mayor credibilidad a la investigación económica es la creciente exigencia de que las investigaciones publicadas puedan ser replicadas. Christensen y Miguel destacan que ha habido un notorio progreso en lo que se refiere a la disponibilidad de compartir los datos y los códigos necesarios para la replicación de las investigaciones. “Hoy, todas las revistas [journals] de la Asociación Americana de Economistas requieren compartir los datos y códigos para al menos hacer una replicación teóricamente posible”. Es una política que otros journals o revistas importantes de economía comienzan a aplicar, pero, se lamentan los autores, en la practica la aplicación es muy laxa.

Cuando se introducen consideraciones políticas o ideológicas el problema se complica aún más, pues esos intereses son capaces de distorsionar cualquier investigación económica mediante la manipulación de los resultados; sobre todo, cuando las motivaciones pecuniarias representan el leitmotiv de las posiciones que se asumen públicamente, sustentadas aparentemente en un rigor analítico. Pero en estos casos el daño en términos de credibilidad no afecta a la economía como disciplina, sino a los propios economistas que intercambian su conocimiento en el mercado político como una mercancía más. Claro está, cuando esto ocurre la credibilidad poco importa.

Pedro Silverio Alvarez