馃 Generador de Texto a trav茅s de IA: Modelado de Lenguaje a Gran Escala

1 minuto(s) de lectura

Desde Open AI lanzan informaci贸n sobre como avanza su proyecto de Lenguaje Mejorado. A groso modo, la historia trata de crear un generador de texto, que partiendo de una gran base de datos de textos recopilados a trav茅s de Internet, entre otros sitios de Reddit; la computadora sea capaz de generar palabras con 鈥渟entido humano鈥 en consonancia a lo que halla podido ir 鈥渁prendiendo鈥.

No soy ning煤n -pro- en la materia, perd贸n por mis errores.

Ellos lo definen como: 鈥淓ntrenamos un modelo de lenguaje no supervisado a gran escala que genera p谩rrafos de texto coherentes, logra un rendimiento de vanguardia en muchos puntos de referencia de modelado de lenguaje y realiza una comprensi贸n de lectura rudimentaria, traducci贸n autom谩tica, respuesta a preguntas y resumen, todo sin entrenamiento de tareas espec铆ficas.鈥

Un poco m谩s del proyecto, GPT-2 muestra un amplio conjunto de capacidades, incluida la capacidad de generar muestras de texto sint茅tico condicional de calidad sin precedentes, donde imprimamos el modelo con una entrada y hacemos que genere una larga continuaci贸n. Adem谩s, GPT-2 supera a otros modelos de idiomas capacitados en dominios espec铆ficos (como Wikipedia, noticias o libros) sin necesidad de utilizar estos conjuntos de datos de capacitaci贸n espec铆ficos de dominio. En tareas de lenguaje como respuesta a preguntas, comprensi贸n de lectura, resumen y traducci贸n, GPT-2 comienza a aprender estas tareas a partir del texto sin procesar, sin utilizar datos de capacitaci贸n espec铆ficos de la tarea. Si bien las puntuaciones en estas tareas posteriores distan mucho de ser avanzadas, sugieren que las tareas pueden beneficiarse de t茅cnicas no supervisadas, dados datos y c谩lculos suficientes (sin etiqueta).

Si alguien desea investigar m谩s en profundidad, para eso tenemos la fuente.. A mi todo esto me queda demasiado grande. 馃樄

Fuente: https://openai.com/blog/gpt-2-6-month-follow-up/