Un profesor de Wharton somete al chatbot de OpenAI a un examen, pero ¿Qué significa este resultado para el futuro de la educación?
Un profesor de Wharton, Universidad de Pensilvania, ha aprobado el pase teórico de grado B a ChatGPT después de calificar las respuestas que generó para un examen final en un curso típico de MBA (Máster de Gestión en Tecnología).
Christian Terwiesch, profesor de gestión de operaciones en Wharton, dice que ChatGPT hace un “trabajo increíble en cuestiones básicas de gestión de operaciones y análisis de procesos”.
ChatGPT es capaz de hacer de Master mientras juegas a Dungeons & Dragons
No solo las respuestas son correctas, sino que además, las explicaciones son excelentes” dice Wharton.
El chatbot comete “errores sorprendentes en cálculos relativamente simples al nivel de Matemáticas de sexto grado” y actualmente no podría manejar preguntas de análisis de procesos más avanzadas.
Pero, por otro lado, la versión actual de ChatGPT puede modificar sus respuestas en respuesta a las sugerencias humanas, para poder llegar así a la solución correcta.
“Teniendo en cuenta este rendimiento de Chat GPT3, habría recibido una calificación de B a B- (Notable / Notable Bajo) en el examen” según Terwiesch.
El truco para evitar que ChatGPT se detenga a la mitad de una respuesta
Varias de las preguntas de Terwiesch tenían como objetivo probar si ChatGPT podía identificar un cuello de botella en una operación de procesamiento con múltiples máquinas que tienen diferentes capacidades de rendimiento.
ChatGPT cometió un error significativo a la hora de calcular con aritmética de nivel medio. Curiosamente, ChatGPT inicialmente respondió incorrectamente una de las preguntas de Terwiesch sobre el análisis de colas.
Pero al solicitar la respuesta con una pista, logró mejor significativamente la respuesta. Al día siguiente, el profesor le hizo la misma pregunta de cola inicial sin la pista y ChatGPT respondió correctamente a su primer intento.
“Es capaz de aprender de los comentarios anteriores o simplemente tuve suerte”
Terwiesch también descubrió que ChatGPT podía formular preguntas ingeniosas y divertidas que podría usar en futuros exámenes. Sin embargo, el chatbot también tiene fallas en algunas de las preguntas generadas.
Desbloquea el poder de ChatGPT: Indicaciones creativas para chatbots de IA
Terwiesch advierte a los demás que se debe de tener en cuenta las capacidades y las limitaciones de ChatGPT.
Desde el punto de vista de Terwiesch, un estudiante de primaria todavía necesita aprender que 7 x 7 son 49 y que la capital de Pensilvania es Harrisburg, aunque las calculadoras se han usado mucho durante más de 50 años y los estudiantes pueden usar Wikipedia para encontrar las respuestas.
Es la naturaleza de las habilidades fundamentales, la que se requiere para poder lograr comprender los temas más avanzados, por tanto, la educación no cambiará mucho por ahora.
Terwiesch está de acuerdo en que los educadores deben preocuparse de que los estudiantes puedan usar ChatGPT para hacer trampa en tareas y exámenes, mientras que cree que a la hora de certificar las habilidades, eso no llegará a ser un problema.
Un estudiante que usa ChatGPT, es como poder llamar a un amigo con “competencia académicas más avanzadas” a la hora de las tareas, pero que no podrá sustituirle a la hora de realizar un examen.