[Guía] Dictaminar un paper con Inteligencia Artificial

Esta es la situación: te piden ser revisor para una investigación.

Tienes conocimiento sobre el tema, puedes dar una gran retroalimentación al investigador sobre su trabajo y te gusta el tema. El único problema: no tienes tanto tiempo para hacer esa revisión.

No se tú, pero para mi es demasiado hacer la revisión al documento, poner observaciones los documentos y aparte tener que adaptarme al formato.

Y peor si el formato me lo cambian cada revisión.

Lo importante como investigador es hacer eficiencias y reducir tiempos en todas las actividades repetitivas. Así te puedes concentrar en lo importante: hacer ciencia.

Pero espera, ¿Es ético usar IA para la revisión de un paper?

No te estoy diciendo que le des copy paste a lo que te dice la IA en su veredicto.

Se trata de que uses a la IA como un asistente de investigación. Imagina que chatGPT o Claude es tu becario. Llegas con tu becario y le dices: “Acabo de hacer esta revisión, ya le puse mis comentarios, por favor llena el formato con mi veredicto y mándalo al editor”.

Es probable que ya estés haciendo algo similar.

Se trata únicamente de ahorrar tiempo en una de las fricciones que te hacen una barrera para ser un investigador productivo: llenar formatos.

Y este no es el lugar para quejarnos de los formatos. Los editores necesitan los formatos para tener una forma estandarizada de tomar una decisión compleja.

Tu tarea como revisor es:

• Para el editor: ayudarle a tomar una decisión sobre la pertinencia de la publicación. Tu ojo experto le dará la guía de si la metodología es apropiada, los resultados son pertinentes y el artículo está bien escrito.
• Para el autor: Tu tarea más importante es para el autor. Como autores, tenemos ceguera de taller y no siempre podemos notar errores que cometemos. Necesitamos que un experto nos guíe de manera objetiva sobre lo que podemos mejorar.
• Para ti mismo(a): Ser revisor es un regalo. Te da la oportunidad de revisar lo más nuevo de tu campo, antes de que sea publicado. Es una gran forma de aprender nuevos enfoques y mantenerte actualizado.

Preparativos

El resto de este artículo es un tutorial donde te guío para hacer la revisión del artículo usando a la IA como asistente.

Lo que vas a necesitar:

• El artículo de revisión (naturalmente).
• El formato de revisión.
• Acceso a chatGPT o Claude en sus versiones más avanzadas que tengas a tu disposición.

En términos generales, este tutorial tiene la intención de que la mayor parte de tu tiempo de revisión la pases leyendo el paper y haciendo las observaciones y cambios que consideres pertinentes, dejando en tus observaciones tu criterio de experto en el área. Lo que estamos automatizando es la parte de rellenar formatos.

Comencemos.

Paso #1: Realiza los comentarios en el paper

Este tutorial está hecho para trabajar con Word, aunque los principios son similares si trabajas en LaTeX u otro editor de texto.

Antes de comenzar, es necesario que te asegures de que tus comentarios permanecerán como los de un usuario anónimo. Aquí te dejo un tutorial para hacer ese cambio, si necesitas hacerlo.

Una vez que cumplas con esto, puedes agregar comentarios a lo largo del documento. Por lo general, la ruta sería:

Tu comentario se verá al lado derecho del documento y se ve algo así.

Adicionalmente, puedes activar el control de cambios para hacerle modificaciones al texto. Asegúrate de que si requieres cambios generales en el estilo, proporcionar ejemplos concretos.

Entre más clara sea tu retroalimentación, mejor será tu dictamen y más claridad tendrá el autor sobre los siguientes pasos que tiene que tomar.

Paso #2: Guarda el documento como página web

Este es un truco para extraer todos los comentarios que le hiciste al artículo.

Lo necesitamos para no tener que copiar y pegar los comentarios de manera individual cuando le demos la instrucción a la Inteligencia Artificial.

Comienza en Archivo > Guardar como:

En “Formato del archivo”, busca guardarlo como Página web o archivo html.

Y lo abres usando tu navegador. Yo lo abrí con Google Chrome, pero debe funcionar perfectamente con cualquier navegador.

Tus comentarios están al final de la página.

Toda la página ahora la puedes copiar y pegar en el prompt que veremos a continuación.

Paso #3: Alimenta a la Inteligencia Artificial con tus observaciones

Comencemos a trabajar con la inteligencia artificial.

Necesitamos tener una versión que tenga una ventana de contexto amplia (para que pueda leer y recordar el artículo completo).

Lo que necesitamos para comenzar:

• Abre chatGPT o Claude.
• Abre el formato de evaluación. Estoy asumiendo que es un archivo de Word o un formato en línea.

Generalmente los formatos de evaluación contienen dos tipos de elementos:

• Calificaciones numéricas. Por ejemplo, pueden preguntar sobre características generales como la pertinencia y originalidad. En algunos casos, el editor puede asignar un puntaje a las preguntas para determinar la factibilidad de publicación del artículo de forma “objetiva”.
• Preguntas abiertas que invitan al evaluador a proporcionar su opinión. En estas preguntas, el evaluador tiene que dar los argumentos sobre su decisión.

Atenderemos ambas.

Antes de comenzar, escribe tus observaciones generales del paper

Cuando nos enfrentamos a un formato de evaluación nuevo hay dos barreras:

1. Tenemos una curva de aprendizaje para aprender a usar este formato.
2. En el caso de las preguntas abiertas, nos enfrentamos a los mismos problemas de la hoja en blanco que cuando estamos escribiendo un paper.

La IA nos puede ayudar a enfrentar ambas.

Pero primero, necesitamos escribir nuestras observaciones generales.

Escribe en una hoja de Word, Notion o lo que uses para escribir una serie de bullet points con tus observaciones generales.

• ¿Consideras que el artículo está explorando algo que es relevante?
• ¿Crees que le hace falta tomar en consideración alguna perspectiva particular? Si tienes identificado un paper (o varios) que el autor debió considerar, escríbelo.

Escribe en formato libre y no pienses mucho en la redacción. Esto es para ti y jamás verá la luz del día. Incluso si tienes errores de gramática u ortografía, no vale la pena que te regreses a corregirlos.

Ahora si, estamos listos para usar el prompt.

Introduce el siguiente prompt en la IA

Modifica los elementos que vienen entre llaves (p. ej. {Aprobado/Aprobado con cambios/No aprobado}.

En la sección de los bullet points con las razones, introduce lo que estuvimos escribiendo en el paso previo.

Eres mi asistente de investigación.

Debo hacer una revisión de un artículo. En el siguiente chat te pasaré el artículo completo y quiero que me ayudes a responder las preguntas del formato de entrega de manera breve y con argumentos.

Si en algún punto no te queda claro cuál es mi argumento o necesitas información adicional, por favor, hazme las preguntas necesarias.

Yo ya leí el artículo y ya le hice observaciones, que te propoporcionaré más adelante al final del documento (después de las referencias).

El dictamen es: {Aprobado/Aprobado con cambios/No aprobado}

Mis principales razones para mi dictamen son:

* {Razón}
* {Razón}

Ahora te proporcionaré el documento completo para que me ayudes a analizarlo. ¿Estás listo?

La IA te responderá algo así como “si, estoy listo. Dame el documento”.

Ahora irás a tu navegador y copiarás el paper completo con todo y los comentarios y se lo pondrás al inicio del siguiente prompt.

Borra lo que está entre corchetes y pon el paper y comentarios en su lugar.

[COPIA Y PEGA EL DOCUMENTO CON LAS OBSERVACIONES]

---

Ahora te proporcionaré una por una las preguntas que me piden en el formato de revisión.

¿Estás listo?

Ahora iremos al formato y comenzaremos a alimentar las preguntas a la IA

Paso #4: Alimenta la IA con las preguntas del formato

Identifica las preguntas abiertas. Comenzaremos por ahí.

Aquí te dejo un ejemplo de una pregunta abierta que viene en un formato:

Temas generales de la obra (4 líneas)

Nota que le estoy especificando la extensión que quiero que tenga su respuesta. Esto me permite tener un control sobre las respuestas (porque a la IA le encanta hacer muros de texto).

También le puedes pedir que de respuestas muy cortas numeradas.

Motivos para su publicación (4 puntos de una sola línea cada una)

La IA ya está tomando en cuenta tus observaciones y conoce el tema del artículo.

Para este punto, las respuestas deberán ser suficientemente buenas para que las puedas copiar y pegar.

En caso de que no, vale la pena usar la versión de canvas de chatGPT para corregir sus respuestas para que se parezcan más a lo que tu dirías.

Paso #5: Califica las preguntas numéricas

Este paso por lo general es más fácil que lo hagas de manera manual, porque ya leíste el paper y conoces mejor sobre el tema que la IA.

Aún así, hay ocasiones en las que no estamos muy seguros de cómo calificar cosas muy subjetivas o no entendemos bien lo que el editor nos está pidiendo.

Usa este prompt para obtener una calificación con el contexto que ya le hemos dado.

Muy bien. Conforme a lo que hemos hablado, quiero que me des una calificación del 1 al 5 para las siguientes partes del contenido:

Interés general
Originalidad
Calidad de la información
Pertinencia temporal

Bonus #1: Si no puedes enviar el documento con tu retroalimentación, genera un resumen

Hay editores que no permiten que se mande el archivo de word con los comentarios.

Cuando esto pasa, tenemos como opción mandarle un documento adicional al autor con un resumen de nuestras observaciones.

En lugar de ponernos a redactarlo por nuestra cuenta, podemos aprovechar la conversación que acabamos de tener con la IA para pedirle que lo redacte por nosotros.

Usa este prompt.

proporciona por favor un resumen de los comentarios hechos al final del documento. 

Organizalo en viñetas con retroalimentación específica y detallada. Siempre que existan, señala ejemplos concretos dentro del documento, y siempre que sea posible señala particularmente lo que debe de ser modificado en el documento.

Bonus #2: Manda el correo al editor con el dictamen

Otra forma en que podemos aprovechar el trabajo que ya hicimos es pedirle a la IA que redacte en nuestro nombre la carta al editor.

Usa este prompt.

Redacta un correo corto para el editor donde explicas el dictamen y las razones.

Modifica los nombres y envíalo.