¿GPT-4 nos acercará a una verdadera revolución de la IA?

Han pasado casi tres años desde que se presentó GPT-3 (Mayo de 2020) desde entonces, el modelo de generación de texto de IA ha despertado mucho interés por su capacidad para crear texto que se ve y suena como si hubiera sido escrito por un humano.

Ahora parece que la próxima iteración del software, GPT-4, está a la vuelta de la esquina y con una fecha de lanzamiento estimada para principios de este 2023.

A pesar de la muy esperado de esta noticia de IA, los detalles exactos sobre GPT-4 son bastante incompletos por el momento.

OpenAI, la empresa detrás de GPT-4, no ha revelado públicamente mucha información sobre el nuevo modelo, como sus posibles características o sus habilidades.

Sin embargo, los avances recientes en el campo de la IA, particularmente en lo que respecta al procesamiento del lenguaje natural (NLP), pueden ofrecer algunas pistas sobre lo que se puede esperar de GPT-4.

Veamos que es GPT

Antes de entrar en detalles, es útil establecer primero una línea de base sobre qué es GPT. GPT significa transformador pre-entrenado generativo y se refiere a un modelo de red neuronal de aprendizaje profundo que se entrena con datos disponibles en Internet para crear grandes volúmenes de texto generado por máquina.

GPT-3 es la tercera generación de esta tecnología y es uno de los modelos de generación de texto de IA más avanzados disponibles en la actualidad.

Piensa en GPT-3 como si funcionase como un asistente de voz, como Siri o Alexa, solo que a una gran escala. En lugar de pedirle a Alexa que reproduzca tu canción favorita o que Siri escriba un texto, puedes pedirle a GPT-3 que escriba un libro electrónico completo en solo unos minutos o que genere 100 ideas para publicaciones en redes sociales en menos de un minuto.

Todo lo que el usuario debe hacer es proporcionar un aviso, como “Escríbeme un artículo de 500 palabras sobre la importancia de la creatividad”: Siempre que el mensaje sea claro y específico, GPT-3 puede escribir casi cualquier cosa que le pidas.

Desde su lanzamiento al público en general, GPT-3 ha encontrado muchas aplicaciones comerciales. Las empresas lo utilizan para resumir textos, traducir idiomas, generar códigos y automatizar a gran escala casi cualquier tarea de escritura.

Dicho esto, si bien GPT-3 es sin duda, muy impresionante en su capacidad para crear texto humano muy legible, está lejos de ser perfecto. Los problemas tienden a surgir cuando se le pide que escribas piezas más largas, especialmente cuando se trata de temas complejos que requieren un amplio conocimiento.

Por ejemplo, un mensaje para generar un código de computadora para un sitio web puede devolver un código correcto pero subóptimo, por lo que un programador humano todavía tendrá que revisarlo y realizar muchas mejoras.

Existe un problema similar con los documentos de textos grandes, cuanto mayor sea el volumen de texto; más probable es que surjan errores que necesitarán ser corregidos por un escritor humano.

En pocas palabras, GPT-3 no es un reemplazo completo para los escritores o programadores humanos y no debe considerarse como tal.

En cambio, GPT-3 puede verse como un asistente a la hora de la redacción o un inspirador de contenidos, un asistente capaz de ahorrarte mucho tiempo a la hora de generar ideas para publicaciones de blog o esquemas de textos publicitarios.

Conociendo más sobre GPT-4

Una cosa que hay que entender sobre los modelos de IA es cómo usan los parámetros para hacer predicciones. Los parámetros de un modelo de IA definen el proceso de aprendizaje y proporcionan una estructura que termina ofreciendo un resultado final.

¿Más parámetros igual a mejor?

La cantidad de parámetros en un modelo de IA, generalmente, es utilizada como una medida de rendimiento. Puesto que cuantos más parámetros, más poderoso, suave y predecible es el modelo, al menos según la hipótesis de la escala.

Por ejemplo, cuando se lanzó GPT-1 en 2018, tenía 117 millones de parámetros. GPT-2, lanzado un año después, tenía 1.200 millones de parámetros, mientras que GPT-3 elevó el número hasta los 175.000 millones de parámetros.

Según una entrevista de agosto de 2021 con Wired, Andrew Feldman, el fundador y director ejecutivo de Cerebras; una empresa asociada con OpenAI, mencionó que GPT-4 tendría alrededor de 100 billones de parámetros.

Eso haría que GPT-4 sea hasta 100 veces más potente que GPT-3, un salto cuántico en el tamaño de los parámetros que comprensiblemente ha ilusionado a muchas personas.

Sin embargo, a pesar de la noble afirmación de Feldman, hay buenas razones para pensar que GPT-4 no tendrá 100 billones de parámetros. Cuanto mayor sea el número de parámetros, más costoso se vuelve un modelo para entrenar y ajustar debido a la gran cantidad de potencia computacional requerida.

Además, existen más factores que solo la cantidad de parámetros que determinan la efectividad de un modelo.

Por ejemplo, Megatron-Turing NLG, un modelo de generación de texto construido por Nvidia y Microsoft que tiene más de 500 mil millones de parámetros. A pesar de su tamaño, MT-NLG no se acerca a GPT-3 en términos de rendimiento.

En resumen, más grande no significa necesariamente mejor.

Lo más probable es que GPT-4 tenga más parámetros que GPT-3, pero queda por ver si ese número será un orden de magnitud mayor. En cambio, existen otras posibilidades interesantes que OpenAI probablemente esté buscando, como un modelo más ágil que se centre en mejoras cualitativas en el diseño y la alineación algorítmica.

El impacto exacto de tales mejoras es difícil de predecir pero lo que se sabe es que un modelo disperso puede reducir los costos de cómputo a través de lo que se llama cómputo condicional, es decir, no todos los parámetros en el modelo de IA se activarán todo el tiempo; lo cual es similar a cómo funcionan las neuronas en el cerebro humano.

¿Qué podrá hacer GPT-4?

Hasta que OpenAI publique una nueva declaración o incluso publique GPT-4, nos queda solamente especular sobre cómo se diferenciará de GPT-3. Independientemente de esto, podemos intentar hacer algunas predicciones anticipadas.

Aunque el futuro del desarrollo de aprendizaje profundo de IA es multimodal, es probable que GPT-4 siga siendo solo texto. Como humanos, vivimos en un mundo multisensorial que está lleno de diferentes entradas de audio, visuales y textuales.

Por lo tanto, es inevitable que el desarrollo de la IA, eventualmente, produzca un modelo multimodal avanzado capaz de poder incorporar una variedad de diferentes formatos.

Sin embargo, un buen modelo multimodal es significativamente más difícil de diseñar que un modelo de solo texto. La tecnología, simplemente, aún no ha alcanzado ese grado de posibilidad.

Según lo que sabemos sobre los límites en el tamaño de los parámetros, es probable que OpenAI se esté enfocando en expandir y mejorar el modelo de solamente texto.

También es probable que GPT-4 dependa menos de indicaciones tan precisas como GPT-3. Uno de los inconvenientes más grandes de GPT-3, es que las indicaciones de texto deben escribirse cuidadosamente para obtener el resultado que deseas.

Cuando las indicaciones no se escriben cuidadosamente, puede terminar ofreciendo resultados falsos, tóxicos o incluso que reflejen puntos de vista extremistas.

Eso es parte de lo que se conoce como el “problema de alineación” y se refiere a los desafíos en la creación de un modelo de IA que comprenda completamente las intenciones del usuario. En otras palabras, el modelo de IA no está alineado con los objetivos o intenciones del usuario.

Dado que los modelos de IA se entrenan con conjuntos de datos de texto de Internet; es muy fácil que los sesgos, las falsedades y los prejuicios humanos lleguen a los resultados de texto.

Dicho esto, hay buenas razones para creer que los desarrolladores están progresando en el problema de la alineación. Este optimismo proviene de algunos avances en el desarrollo de InstructGPT, una versión más avanzada de GPT-3 que se entrena con la retroalimentación humana para seguir las instrucciones y las intenciones del usuario más de cerca.

Los revisaron humanos de InstructGPT, ya se han dado cuenta de que el nuevo modelo, dependía mucho menos que GPT-3 de tener que recibir buenas indicaciones.

Sin embargo, cabe señalar que estas pruebas solo se realizaron con empleados de OpenAI, un grupo bastante homogéneo que puede no diferir mucho en género, religión o puntos de vista políticos.

Es probable que sea una apuesta segura que GPT-4 se someta a un entrenamiento más diverso que mejorará la alineación para diferentes grupos, aunque queda por ver hasta qué punto.

¿GPT-4 reemplazará a los humanos?

A pesar de la promesa de GPT-4, es poco probable que llegue a reemplazar por completo la necesidad de escritores y programadores humanos. Puesto que todavía queda mucho trabajo por hacer en todo los aspectos, desde la optimización de parámetros hasta la multimodalidad y la alineación.

Es posible que pasen muchos años antes de que veamos un generador de texto que pueda lograr una comprensión verdaderamente humana de las complejidades y matices de la experiencia de la vida real.

Aun así, todavía hay buenas razones para estar entusiasmado con la llegada de GPT-4. La optimización de parámetros, en lugar del mero crecimiento de parámetros, probablemente conducirá a un modelo de IA que tiene mucho más poder de cómputo que su predecesor.

La alineación mejorada probablemente hará que GPT-4 sea mucho más fácil de usar. Además, todavía estamos solamente al comienzo del desarrollo y la adopción de las herramientas de IA.

Constantemente se encuentran más casos de uso para la tecnología y a medida que las personas ganan más confianza y comodidad con el uso de IA en el lugar de trabajo, es casi seguro que veremos una adopción generalizada de herramientas de IA en casi todos los sectores comerciales durante los próximos años.