Los resultados de la PAES de Chat GPT en su versión gratuita y de pago

Chat GPT, masificado a finales del año pasado, está en su versión GPT-4 (de pago) y su capacidad de procesamiento de datos y funcionamiento está rompiendo varios récords

Chat GPT ya es parte del sistema educativo, para bien o para mal. Por esta razón, hace unos días el ministro de Educación, Marco Antonio Ávila, anuncio el lanzamiento de una guía para docentes sobre esta herramienta que puede ser usada tanto para hacer largos trabajos y redacciones en segundos —con todo el debate ético que significa— y para planificar mejor las clases. Las potenciales ventajas también se vinculan con las evaluaciones personalizadas que podría aplicarse a cada alumno con la ayuda de la IA generativa.

Esta vez, el chatbot de la empresa estadounidense Open AI fue puesto a examen para que rindiera la Prueba de Acceso a la Educación Superior, una iniciativa de evoacademy.cl. Las pruebas oficiales publicadas en el sitio web del Demre (Departamento de Evaluación, Medición y Registro Educacional) fueron las que utilizó el equipo de la web.

La cantidad de preguntas contestadas varió según la materia: en Ciencias fueron 80, en Matemáticas 55, y en las demás, como Comprensión Lectora e Historia y Ciencias Sociales, la cifra fue de 65 preguntas. Fueron estas dos últimas asignaturas las que se consideraron para el experimento, ya que las demás contenían demasiado contenido gráfico.

El método y los resultados según la versión de la herramienta

Para que Chat GPT pudiera contestar los exámenes, el equipo que hizo el experimento convirtió las pruebas desde un archivo .PDF a texto plano, un formato que la herramienta de inteligencia artificial generativa puede procesar mucho mejor.

Antes de entregarles las preguntas, también se “preparó” a la IA con un prompt específico que la contextualizara, de tal forma que supiera que iba a contestar cuestiones de un tema en específico. Su tarea sería contestar la prueba graficando sus respuestas con dos columnas, la primera de las cuales sería el número de pregunta y, la segunda, la alternativa elegida. Para el resto del proceso se utilizaron las instrucciones del Demre para calcular los aciertos y, por ende, el puntaje final.

Leer también

La inteligencia artificial se suma a la protección de los arrecifes de coral

Según informan desde el sitio web, el software alcanzó los 960 puntos, un resultado alucinante en comparación con los de estudiantes de carne y hueso. Por un lado, la versión GPT 3.5 contestó de forma correcta aproximadamente 3 de cada 4 preguntas, mientras que la versión de pago (GPT 4, lanzado el 14 de marzo de este año) alcanzó el impresionante porcentaje de acierto de 94,62%, fallando solamente una vez.

Entre la versión gratuita y la pagada la diferencia se hizo evidente: 200 puntos separaron a una de la otra, aunque ambas tuvieron un rendimiento sobre la media. A su vez, GPT 4 tuvo un desempeño de 94,36% en Historia y Ciencias Sociales y de 94,87% en Comprensión Lectora, mientras que su par gratuito solo alcanzó un 83,59% en la primera materia y solamente un 76,41% en la segunda, un resultado bueno pero no excelente.

De modo que la diferencia en los resultados se hizo evidente de acuerdo a la versión utilizada de la herramienta, una conclusión que invita a la reflexión sobre el potencial de esta herramienta según su costo.