Generador de Texto a través de IA: Modelado de Lenguaje a Gran Escala

Desde Open AI lanzan información sobre como avanza su proyecto de Lenguaje Mejorado. A groso modo, la historia trata de crear un generador de texto, que partiendo de una gran base de datos de textos recopilados a través de Internet, entre otros sitios de Reddit; la computadora sea capaz de generar palabras con “sentido humano” en consonancia a lo que halla podido ir “aprendiendo”.

No soy ningún -pro- en la materia, perdón por mis errores.

Ellos lo definen como: “Entrenamos un modelo de lenguaje no supervisado a gran escala que genera párrafos de texto coherentes, logra un rendimiento de vanguardia en muchos puntos de referencia de modelado de lenguaje y realiza una comprensión de lectura rudimentaria, traducción automática, respuesta a preguntas y resumen, todo sin entrenamiento de tareas específicas.”

Un poco más del proyecto, GPT-2 muestra un amplio conjunto de capacidades, incluida la capacidad de generar muestras de texto sintético condicional de calidad sin precedentes, donde imprimamos el modelo con una entrada y hacemos que genere una larga continuación.

Además, GPT-2 supera a otros modelos de idiomas capacitados en dominios específicos (como Wikipedia, noticias o libros) sin necesidad de utilizar estos conjuntos de datos de capacitación específicos de dominio.

En tareas de lenguaje como respuesta a preguntas, comprensión de lectura, resumen y traducción, GPT-2 comienza a aprender estas tareas a partir del texto sin procesar, sin utilizar datos de capacitación específicos de la tarea.

Si bien las puntuaciones en estas tareas posteriores distan mucho de ser avanzadas, sugieren que las tareas pueden beneficiarse de técnicas no supervisadas, dados datos y cálculos suficientes (sin etiqueta).

Si alguien desea investigar más en profundidad, para eso tenemos la fuente.. A mi todo esto me queda demasiado grande. ?

Fuente: Open AI

Relacionados

Deja un comentario