Desarrollado por OpenAI, los orígenes de ChatGPT se remontan a 2018, cuando lanzaron la primera versión de su plataforma insignia, el Generative Pre-Trained Transformer (GPT).
Un GPT es un modelo de lenguaje, que es un algoritmo de IA diseñado para comprender y generar lenguaje similar al humano. Aunque hay muchos tipos diferentes de
modelos lingüísticos, uno de los más comunes es el modelo de aprendizaje profundo. El aprendizaje profundo es un proceso de "entrenamiento" de la IA que consiste en proporcionarle una gran cantidad de datos para que los analice y aprenda de ellos.
La plataforma GPT de OpenAI es tan potente debido al modelo de entrenamiento único que utilizaron, conocido como “Aprendizaje por Refuerzo” a partir de la “Retroalimentación Humana” (RLHF, por sus siglas en inglés). Este método consiste en reproducir una interacción de chatbot entre dos humanos y, a continuación, pasar la transcripción a la IA para que la analice.
La IA reconoce patrones en los datos, que identifica y almacena como parámetros.
A continuación, los programadores piden a la IA que genere varios resultados basados en esos parámetros. Un humano clasifica los resultados de mejor a peor y se los devuelve a la IA. A continuación, la IA ajusta sus parámetros en función de la mejor respuesta.
Los parámetros son la parte más importante de un modelo lingüístico. Cuantos más parámetros tenga, más dinámico será.
La primera iteración de GPT tenía 117 millones de parámetros. OpenAI lanzó GPT-2 en 2019, que tenía 1500 millones de parámetros.
Tras el lanzamiento de GPT 2, Microsoft realizó una considerable inversión de 1 millón de dólares en OpenAI. Esa inversión dio a OpenAI el impulso necesario para hacer avances de forma rápida y eficiente. Lanzada en 2020, la tercera iteración de GPT fue el modelo de lenguaje más grande de la historia, con más de 175.000 millones de parámetros.
InstructGPT, el predecesor de ChatGPT, se lanzó en 2022 basado en GPT-3. Unos meses más tarde, OpenAI lanzó oficialmente ChatGPT, basado en un modelo GPT 3.5 actualizado.