¿Qué es GPT-J?

GPT-J es un modelo NLP(Natural Language Processing) o dicho en castellano, un modelo del procesamiento natural del lenguaje, que ha sido entrenado con 6.7 miles de millones de parámetros. O en otras palabras, GPT-J es una inteligencia artificial especializada y entrenada en la comprensión del lenguaje humano, de manera que puede entenderlo y generar texto.

¿Por qué GPT-J se llama así?

GPT-J se llama así porque “GPT” son las siglas de “Generative Pre-Trained Transformer”, que es un tipo de arquitectura en inteligencia artificial, en el siguiente punto veremos el por qué de este nombre. Y la “J” no he encontrado en ningun momento de dónde procede pero tras mucho leer he supuesto que proviene de “Jax”, un framework para la creación de inteligencias artificiales creado por Google y de código abirto y libre bajo licencia Apache.

¿Quién creo GPT-J y por qué?

Fue creado por Ben Wang and Aran Komatsuzaki usando el framework de Google, y entrenado con “La Pila” de Eleuther.ai, una fundación para el desarrollo de inteligencias artificiales de código abierto y libre. La Pila es una base de datos de más de texto con un tamaño de 825GB.

El objetivo de GPT-J es competir con la que en ese momento(y aún) lidera el sector de las IA en cuanto a la generación de Texto, la empresa OpenAI y sus modelos GPT. Siendo el más famoso GPT-3. Los modelos de OpenAI aunque están abierto al público mediante llamadas a su API y previo pago, no son de código abierto ni libres.

Para qué sirve GPT-J

GPT-J sirve para generar texto, y tiene multitud de aplicaciones. Desde generar contenido para apps o sitios webs hasta la clasificación de texto para servir en algunas apps. A modo de ejemplo: se puede usar en una aplicación para determinar si un texto contiene insultos, o para saber que quiere un cliente a partir de un mensaje. Etc.

Además sirve para investigación, enseñanza y para construir nuevas aplicaciones sobre la misma, ya que es de código abierto y libre.

Lo mejor de GPT-J

Se dice que la mejor parte de GPT-J a la hora de generar texto no es la creatividad sino más bien la lógica, y en concreto se le da especialmente bien programar.

GPT-J ¿State of art?

GPT-J fue tecnología  state of art en su momento, nunca fue el modelo del lenguaje más potente, pero si lo fue en su momento el más potente de código abierto, que no es poco, ya que significa que fue el modelo más potente abierto a programadores. Pero no supera ni se acerca a GPT-3, aunque si a las versiones más pequeñas de GPT-3 que ha sido entrenada con un número similar de parámetros.

Eso ya quedó atrás, a través de la fundación Eleuther ya ha salido un modelo más potente de generación de texto: GPT-NeoX. Y más recientemente Bloom.

¿Cómo y dónde se puede usar GPT-J

A día de hoy se puede usar en multitud de sitios webs donde nos servirán la API de manera gratuita o de pago si hacemos mucho uso. Además podremos descargarlo y ejecutarlo nosotros mismos el programa, aunque eso requiere de grandes recursos de computación, como ocurre actualmente con todas las IA de este tipo.

• HuggingFace: Se puede usar GPT-J tanto de modo visual como con API de manera gratuita, paro un uso masivo hay planes de pago.
• Gooseai: Es una empresa de servicios de API’s para inteligencias artificiales y actualmente GPT-J es uno de los modelos que sirve.

Fuentes

• 
• 
• 
• 
• 
• 
• 

Like