GPT-3

GPT-3
Parte de OpenAI API
Información general
Tipo de programa	LLM
Lanzamiento inicial	28 de mayo de 2020
Serie OpenAI API
GPT-2	GPT-3	ChatGPT y GPT-4
Enlaces
Sitio web oficial Repositorio de código

Generative Pre-trained Transformer 3 (Transformador generativo preentrenado) , conocida por sus siglas (GPT-3), es un modelo de lenguaje autorregresivo que emplea aprendizaje profundo para producir textos que simulan la redacción humana. Es la tercera generación de los modelos de predicción de lenguaje perteneciente a la serie GPT, creados por OpenAI, un laboratorio de investigación de inteligencia artificial con sede en San Francisco.​ La versión completa de GPT-3 tiene una capacidad de 175.000 millones de parámetros de aprendizaje automatizado, lo cual supera la magnitud de su predecesor, GPT-2. GPT-3 fue introducido en mayo de 2020 y, hasta julio de 2020, se encontraba en fase beta.​ Es parte de una tendencia en sistemas de procesamiento de lenguaje natural (NLP) basados en "representaciones de lenguaje pre-entrenadas".​ Previo a la liberación de GPT-3, el modelo de lenguaje más grande era Turing NLG desarrollado por Microsoft, presentado en febrero de 2020, con una capacidad diez veces menor que el de GPT-3.

GPT-3 fue presentado oficialmente el 28 de mayo de 2020, a través de la publicación de la investigación realizada en coautoría por 31 investigadores e ingenieros de OpenAI y de la Universidad John Hopkins,​ titulada Language Models are Few-Shot Learners.​

La calidad de los textos generados por GPT-3 es tan alta que es difícil distinguirlos de aquellos escritos por humanos, lo cual ha generado la puntualización de los beneficios y riesgos que esto conlleva. En la publicación del 28 de mayo de 2020, los creadores advierten sobre peligros potenciales de GPT-3 al tiempo que solicitan ayuda para mitigar dichos riesgos. David Chalmers, filósofo australiano, describió a GPT-3 como "uno de los más interesantes e importantes sistemas de inteligencia artificial nunca antes creados.".​

Por otro lado, se ha señalado la carencia de coherencia en algunos textos debido a que el procesamiento de palabras llevado a cabo por GPT-3 es meramente sintáctico, sin atender a la semántica del texto.​

Contexto

Según The Economist, algoritmos mejorados, computadoras potentes y un aumento en la digitalización de datos han impulsado una revolución en el aprendizaje automático, con nuevas técnicas en la década de 2010 que resultaron en "mejoras rápidas en tareas" que incluyen la manipulación del lenguaje. Los modelos de software se entrenan para aprender utilizando miles o millones de ejemplos en una "estructura... basada vagamente en la arquitectura neural del cerebro". Una arquitectura utilizada en el procesamiento del lenguaje natural (NLP) es una red neural basada en un modelo de aprendizaje profundo que fue introducido por primera vez en 2017: la arquitectura de transformador. Existen varios sistemas de NLP capaces de procesar, extraer, organizar, conectar y contrastar información textual, así como de responder correctamente preguntas.

El 11 de junio de 2018, los investigadores e ingenieros de OpenAI publicaron su artículo original presentando el primer transformador preentrenado generativo (GPT), un tipo de modelo de lenguaje generativo preentrenado con un enorme y diverso corpus de texto a través de conjuntos de datos, seguido de un ajuste discriminativo para enfocarse en una tarea específica. Los modelos GPT son arquitecturas de redes neuronales de aprendizaje profundo basadas en transformadores. Hasta ese momento, los modelos de NLP neurales con mejor rendimiento comúnmente empleaban el aprendizaje supervisado a partir de grandes cantidades de datos etiquetados manualmente, lo que hacía prohibitivamente costoso y lento entrenar modelos de lenguaje extremadamente grandes. El primer modelo GPT se conoce como "GPT-1" y fue seguido por "GPT-2" en febrero de 2019. GPT-2 fue creado como una ampliación directa de GPT-1, con un aumento de diez veces en la cantidad de parámetros y el tamaño del conjunto de datos. Tenía 1.500 millones de parámetros y fue entrenado en un conjunto de datos de 8 millones de páginas web.

En febrero de 2020, Microsoft presentó su modelo de Generación de Lenguaje Natural Turing (T-NLG), que se afirmó ser el "modelo de lenguaje más grande jamás publicado con 17 mil millones de parámetros". Demostró un mejor rendimiento que cualquier otro modelo de lenguaje en una variedad de tareas, que incluyen resumir textos y responder preguntas.

Capacidades y entrenamiento

|title = Un ejemplo de ensayo de un estudiante sobre pedagogía escrito por GPT-3 |quote = La noción de "estilos de aprendizaje" es problemática porque no tiene en cuenta los procesos a través de los cuales se moldean esos estilos de aprendizaje. Algunos estudiantes podrían desarrollar un estilo de aprendizaje particular debido a experiencias específicas. Otros podrían desarrollar un estilo de aprendizaje particular al tratar de adaptarse a un entorno de aprendizaje que no se ajustaba bien a sus necesidades de aprendizaje. En última instancia, necesitamos comprender las interacciones entre los estilos de aprendizaje y los factores ambientales y personales, y cómo estos dan forma a cómo aprendemos y a los tipos de aprendizaje que experimentamos. |source = - Texto generado por Mike Sharples​ |align = right |width = 300px }}

El 28 de mayo de 2020, un preimpreso de arXiv escrito por un grupo de 31 ingenieros e investigadores de OpenAI describió el logro y el desarrollo de GPT-3, un modelo de lenguaje de tercera generación "de última generación". El equipo aumentó la capacidad de GPT-3 en más de dos órdenes de magnitud con respecto a su predecesor, GPT-2, convirtiendo a GPT-3 en el modelo de lenguaje no disperso más grande hasta la fecha. Debido a que GPT-3 es estructuralmente similar a sus predecesores, su mayor precisión se atribuye a su mayor capacidad y a un mayor número de parámetros. La capacidad de GPT-3 es diez veces mayor que la del modelo de NLP más grande conocido en ese momento, el Turing NLG de Microsoft.

Lambdalabs estimó un costo hipotético de alrededor de 4,6 millones de dólares estadounidenses y 355 años para entrenar GPT-3 en una sola GPU en 2020, con un tiempo de entrenamiento real más bajo utilizando más GPUs en paralelo. El 60% del conjunto de datos de preentrenamiento ponderado para GPT-3 proviene de una versión filtrada de Common Crawl que consta de 410 mil millones de tokens codificados con pares de bytes. Otras fuentes son 19 mil millones de tokens de WebText2, que representan el 22% del total ponderado, 12 mil millones de tokens de Books1, que representan el 8%, 55 mil millones de tokens de Books2, que representan el 8%, y 3 mil millones de tokens de Wikipedia, que representan el 3%. GPT-3 fue entrenado con cientos de miles de millones de palabras y también es capaz de codificar en CSS, JSX, Python, entre otros.

Datos de entrenamiento de GPT-3

Conjunto de datos	# tokens	Proporción dentro del entrenamiento
Common Crawl	410 mil millones	60%
WebText2	19 mil millones	22%
Books1	12 mil millones	8%
Books2	55 mil millones	8%
Wikipedia	3 mil millones	3%

Dado que los datos de entrenamiento de GPT-3 son abarcadores, no requiere más entrenamiento para tareas de lenguaje distintas. Sin embargo, el conjunto de datos de entrenamiento contiene ocasionalmente lenguaje tóxico y GPT-3 ocasionalmente genera lenguaje tóxico como resultado de imitar sus datos de entrenamiento. Un estudio de la Universidad de Washington encontró que GPT-3 produjo lenguaje tóxico a un nivel de toxicidad comparable a los modelos similares de procesamiento de lenguaje natural de GPT-2 y CTRL. OpenAI ha implementado varias estrategias para limitar la cantidad de lenguaje tóxico generado por GPT-3. Como resultado, GPT-3 produjo menos lenguaje tóxico en comparación con su modelo predecesor, GPT-1, aunque produjo tanto más generaciones como una toxicidad más alta de lenguaje tóxico en comparación con CTRL Wiki, un modelo de lenguaje entrenado completamente en datos de Wikipedia.

El 11 de junio de 2020, OpenAI anunció que los usuarios podían solicitar acceso a su API GPT-3 fácil de usar, un "conjunto de herramientas de aprendizaje automático", para ayudar a OpenAI a "explorar las fortalezas y limitaciones" de esta nueva tecnología. La invitación describió cómo esta API tenía una interfaz "texto de entrada, texto de salida" de propósito general que puede completar casi "cualquier tarea en inglés", en lugar del caso de uso único habitual. Según un usuario que tuvo acceso a un lanzamiento temprano privado del API de OpenAI GPT-3, GPT-3 era "inquietantemente bueno" al escribir un "texto asombrosamente coherente" con solo algunas indicaciones simples. En un experimento inicial, se pidió a 80 sujetos de EE. UU. que juzgaran si artículos cortos de aproximadamente 200 palabras fueron escritos por humanos o por GPT-3. Los participantes acertaron correctamente el 52% de las veces, solo un poco mejor que el azar.

El 18 de noviembre de 2021, OpenAI anunció que se habían implementado suficientes salvaguardias y que el acceso a su API sería irrestricto. OpenAI proporcionó a los desarrolladores una herramienta de moderación de contenido que les ayuda a cumplir con la política de contenido de OpenAI. El 27 de enero de 2022, OpenAI anunció que sus modelos de lenguaje GPT-3 más nuevos, denominados colectivamente InstructGPT, eran ahora el modelo de lenguaje predeterminado utilizado en su API. Según OpenAI, InstructGPT producía contenido que estaba mejor alineado con las intenciones del usuario, siguiendo mejor las instrucciones, generando menos hechos inventados y produciendo contenido algo menos tóxico.

Debido a que GPT-3 puede "generar artículos de noticias que los evaluadores humanos tienen dificultades para distinguir de los artículos escritos por humanos", GPT-3 tiene el "potencial de avanzar tanto las aplicaciones beneficiosas como las perjudiciales de los modelos de lenguaje". En su artículo del 28 de mayo de 2020, los investigadores describieron detalladamente los posibles "efectos perjudiciales de GPT-3", que incluyen "desinformación, correo no deseado, phishing, abuso de procesos legales y gubernamentales, escritura fraudulenta de ensayos académicos y pretextos de ingeniería social". Los autores llaman la atención sobre estos peligros para solicitar investigaciones sobre mitigación de riesgos.

GPT-3 es capaz de realizar aprendizaje sin muestras y con pocas muestras (incluido un ejemplo). En junio de 2022, Almira Osmanovic Thunström escribió que GPT-3 era el autor principal de un artículo sobre sí mismo que habían enviado para su publicación y que había sido prepublicado mientras esperaba la finalización de su revisión.

InstructGPT

InstructGPT es una versión afinada de GPT-3. Ha sido entrenado en un conjunto de datos de instrucciones escritas por humanos. Este entrenamiento permite a InstructGPT comprender mejor lo que se le pide y generar resultados más precisos y relevantes.

• InstructGPT puede seguir instrucciones dadas en lenguaje natural.
• InstructGPT puede responder preguntas formuladas en lenguaje natural.
• InstructGPT es más preciso y relevante que GPT-3 al seguir instrucciones y responder preguntas.
• InstructGPT puede ser utilizado en diversas aplicaciones, como servicio al cliente, educación y automatización.

Modelos GPT-3

Hay muchos modelos en la familia GPT-3, algunos con propósitos diferentes. En el artículo de investigación inicial publicado por OpenAI, mencionaron 8 tamaños diferentes del modelo principal de GPT-3:

Nombre del modelo	Parámetros	Nombre de API
GPT-3 Small	125 M	n/a
GPT-3 Medium	350 M	ada
GPT-3 Large	760 M	n/a
GPT-3 XL	1.3 B	babbage
GPT-3 2.7B	2.7 B	n/a
GPT-3 6.7B	6.7 B	curie
GPT-3 13B	13B	n/a
GPT-3 175B	175B	davinci

La mitad de los modelos son accesibles a través de la API, a saber, GPT-3-small, GPT-3-xl, GPT-3-6.7B y GPT-3-175b, que se denominan ada, babbage, curie y davinci, respectivamente.

Modelo	Parámetros	Descripción	Serie
ada	350 M	Capaz de realizar tareas muy simples, generalmente el modelo más rápido en la serie GPT-3 y de menor costo.	Base GPT-3
babbage	1.3 B	Capaz de realizar tareas sencillas, muy rápido y de menor costo.	Base GPT-3
curie	6.7B	Muy capaz, pero más rápido y de menor costo que Davinci.	Base GPT-3
davinci	175 B	El modelo GPT-3 más capaz. Puede realizar cualquier tarea que los otros modelos puedan hacer, a menudo con mayor calidad.	Base GPT-3
text-ada	350 M	Capaz de realizar tareas muy simples, generalmente el modelo más rápido en la serie GPT-3 y de menor costo.	InstructGPT-3
text-babbage	175B	Capaz de realizar tareas sencillas, muy rápido y de menor costo.	InstructGPT-3
text-curie	6.7B	Muy capaz, más rápido y de menor costo que Davinci.	InstructGPT-3
text-davinci-001	175B	Versión anterior del modelo más capaz en la serie GPT-3. Puede realizar cualquier tarea que los otros modelos de GPT-3 puedan hacer, a menudo con menos contexto.	InstructGPT-3
text-davinci-002	175B	Capacidades similares a text-davinci-003, pero entrenado con ajuste supervisado en lugar de aprendizaje por refuerzo.	GPT-3.5
text-davinci-003	175B	Puede realizar cualquier tarea en lenguaje con mejor calidad, salidas más largas y seguimiento de instrucciones más consistente que los modelos curie, babbage o ada. También admite inserciones de completos dentro del texto.	GPT-3.5
gpt-3.5-turbo	175B	El modelo GPT-3.5 más capaz y optimizado para chat, con 1/10 del costo de text-davinci-003.	GPT-3.5

GPT-3.5

Generative Pre-trained Transformer 3.5 (GPT-3.5)
Parte de OpenAI API
Información general
Tipo de programa	LLM
Desarrollador	OpenAI
Lanzamiento inicial	28 de mayo de 2020
Licencia	licencia privativa
Serie OpenAI API
GPT-2	Generative Pre-trained Transformer 3.5 (GPT-3.5)	ChatGPT y GPT-4
Enlaces
Sitio web oficial Repositorio de código

Generative Pre-trained Transformer 3.5 (GPT-3.5) es una subclase de los Modelos GPT-3 creada por OpenAI en 2022.

El 15 de marzo de 2022, OpenAI puso a disposición nuevas versiones de GPT-3 y Codex en su API con capacidades de edición e inserción bajo los nombres "text-davinci-002" y "code-davinci-002". Estos modelos fueron descritos como más capaces que las versiones anteriores y se entrenaron con datos hasta junio de 2021. El 28 de noviembre de 2022, OpenAI presentó text-davinci-003. El 30 de noviembre de 2022, OpenAI comenzó a referirse a estos modelos como pertenecientes a la serie "GPT-3.5" y lanzó ChatGPT, que se ajustó a partir de un modelo de la serie GPT-3.5. OpenAI no incluye GPT-3.5 en GPT-3.

Modelos

Existen cuatro modelos:​

• Chat
  • gpt-3.5-turbo
• Completado de texto
  • text-davinci-003
  • text-davinci-002

GPT-3.5 con navegación

El 10 de abril de 2023, OpenAI introdujo una nueva variante de su modelo de la serie GPT-3.5, conocida como GPT-3.5 con Navegación (ALPHA).​ Se describió que este modelo actualizado se basa en las capacidades de sus predecesores "text-davinci-002" y "code-davinci-002".​ El modelo GPT-3.5 con Navegación (ALPHA) incorpora la capacidad de acceder y navegar por información en línea. Esto ha llevado a respuestas más precisas y actualizadas a las consultas de los usuarios.

El modelo GPT-3.5 con Navegación (ALPHA) ha sido entrenado con datos hasta septiembre de 2021, lo que le brinda más información en comparación con los modelos anteriores de GPT-3.5, que se entrenaron con datos hasta junio de 2021. El modelo intenta proporcionar a los desarrolladores y usuarios una herramienta avanzada de procesamiento de lenguaje natural que pueda recuperar y sintetizar eficazmente información en línea.

Para habilitar las capacidades de navegación, OpenAI implementó una nueva API que permite al modelo GPT-3.5 con Navegación (ALPHA) acceder a recursos en línea seleccionados durante su funcionamiento.​ Esta función permite a los usuarios hacer preguntas o solicitar información con la expectativa de que el modelo proporcionará respuestas actualizadas, precisas y relevantes basadas en las últimas fuentes en línea disponibles para él.

El 27 de abril de 2023, OpenAI puso el modelo GPT-3.5 con Navegación (ALPHA) a disposición del público para los usuarios de GPT Plus. Esto permitió que más personas accedieran a sus nuevas características.​

Revisiones y críticas

El 29 de julio de 2020 el The New York Times publicó la revisión de Farhad Manjoo, que dijo que GPT-3 no es solo "asombrosa", "espeluznante", y "aleccionadora", sino también "un poco más que poco aterradora".​

La revista Wired escribió que GPT-3 estaba "provocando escalofríos por Silicon Valley ".​

Un artículo en el MIT Technology Review declaró que GPT-3 carece de "comprensión del mundo" por lo que realmente "no se puede confiar en lo que dice",​ refiriéndose a que modelos como los de GPT-3 solo analizan la relación entre palabras (sintaxis) sin un análisis del significado de las palabras (semántica).

Véase también

• Transformador de visión

Referencias

• Datos: Q95726734
• Multimedia: Category:GPT-3 / Q95726734

See also: Generative pre-trained transformer § Foundational models

Generative Pre-trained Transformer 3 (GPT-3)

Original author(s)	OpenAI
Initial release	June 11, 2020 (beta)
Repository	github.com/openai/gpt-3
Predecessor	GPT-2
Successor	GPT-3.5 GPT-4
Type	Large language model Generative pre-trained transformer Foundation model
Website	openai.com/blog/openai-api

Generative Pre-trained Transformer 3 (GPT-3) is a large language model released by OpenAI in 2020. Like its predecessor, GPT-2, it is a decoder-only transformer model of deep neural network, which supersedes recurrence and convolution-based architectures with a technique known as "attention". This attention mechanism allows the model to selectively focus on segments of input text it predicts to be most relevant. It uses a 2048-tokens-long context, float16 (16-bit) precision, and a hitherto-unprecedented 175 billion parameters, requiring 350GB of storage space as each parameter takes 2 bytes of space, and has demonstrated strong "zero-shot" and "few-shot" learning abilities on many tasks.

On September 22, 2020, Microsoft announced that it had licensed GPT-3 exclusively. Others can still receive output from its public API, but only Microsoft has access to the underlying model.

Background

According to The Economist, improved algorithms, more powerful computers, and a recent increase in the amount of digitized material have fueled a revolution in machine learning. New techniques in the 2010s resulted in "rapid improvements in tasks”, including manipulating language.

Software models are trained to learn by using thousands or millions of examples in a "structure ... loosely based on the neural architecture of the brain". One architecture used in natural language processing (NLP) is a neural network based on a deep learning model that was introduced in 2017—the transformer architecture. There are a number of NLP systems capable of processing, mining, organizing, connecting and contrasting textual input, as well as correctly answering questions.

On June 11, 2018, OpenAI researchers and engineers published a paper introducing the first generative pre-trained transformer (GPT)—a type of generative large language model that is pre-trained with an enormous and diverse text corpus in datasets, followed by discriminative fine-tuning to focus on a specific task. GPT models are transformer-based deep-learning neural network architectures. Previously, the best-performing neural NLP models commonly employed supervised learning from large amounts of manually-labeled data, which made it prohibitively expensive and time-consuming to train extremely large language models. The first GPT model was known as "GPT-1," and it was followed by "GPT-2" in February 2019. Created as a direct scale-up of its predecessor, GPT-2 had both its parameter count and dataset size increased by a factor of 10. It had 1.5 billion parameters, and was trained on a dataset of 8 million web pages.

In February 2020, Microsoft introduced its Turing Natural Language Generation (T-NLG), which they claimed was "largest language model ever published at 17 billion parameters." It performed better than any other language model at a variety of tasks, including summarizing texts and answering questions.

Training and capabilities

A sample student essay about pedagogy written by GPT-3

The construct of "learning styles" is problematic because it fails to account for the processes through which learning styles are shaped. Some students might develop a particular learning style because they have had particular experiences. Others might develop a particular learning style by trying to accommodate to a learning environment that was not well suited to their learning needs. Ultimately, we need to understand the interactions among learning styles and environmental and personal factors, and how these shape how we learn and the kinds of learning we experience.

– Text generated by Mike Sharples

On May 28, 2020, an arXiv preprint by a group of 31 engineers and researchers at OpenAI described the achievement and development of GPT-3, a third-generation "state-of-the-art language model". The team increased the capacity of GPT-3 by over two orders of magnitude from that of its predecessor, GPT-2, making GPT-3 the largest non-sparse language model to date. Because GPT-3 is structurally similar to its predecessors, its greater accuracy is attributed to its increased capacity and greater number of parameters. GPT-3's capacity is ten times larger than that of Microsoft's Turing NLG, the next largest NLP model known at the time.

Lambdalabs estimated a hypothetical cost of around $4.6 million US dollars and 355 years to train GPT-3 on a single GPU in 2020, with lower actual training time by using more GPUs in parallel.

Sixty percent of the weighted pre-training dataset for GPT-3 comes from a filtered version of Common Crawl consisting of 410 billion byte-pair-encoded tokens. Other sources are 19 billion tokens from WebText2 representing 22% of the weighted total, 12 billion tokens from Books1 representing 8%, 55 billion tokens from Books2 representing 8%, and 3 billion tokens from Wikipedia representing 3%. GPT-3 was trained on hundreds of billions of words and is also capable of coding in CSS, JSX, and Python, among others.

GPT-3 training data

Dataset	# tokens	Proportion within training
Common Crawl	410 billion	60%
WebText2	19 billion	22%
Books1	12 billion	8%
Books2	55 billion	8%
Wikipedia	3 billion	3%

Since GPT-3's training data was all-encompassing, it does not require further training for distinct language tasks. The training data contains occasional toxic language and GPT-3 occasionally generates toxic language as a result of mimicking its training data. A study from the University of Washington found that GPT-3 produced toxic language at a toxicity level comparable to the similar natural language processing models of GPT-2 and CTRL. OpenAI has implemented several strategies to limit the amount of toxic language generated by GPT-3. As a result, GPT-3 produced less toxic language compared to its predecessor model, GPT-1, although it produced both more generations and a higher toxicity of toxic language compared to CTRL Wiki, a language model trained entirely on Wikipedia data.

On June 11, 2020, OpenAI announced that users could request access to its user-friendly GPT-3 API—a "machine learning toolset"—to help OpenAI "explore the strengths and limits" of this new technology. The invitation described how this API had a general-purpose "text in, text out" interface that can complete almost "any English language task", instead of the usual single use-case. According to one user, who had access to a private early release of the OpenAI GPT-3 API, GPT-3 was "eerily good" at writing "amazingly coherent text" with only a few simple prompts. In an initial experiment 80 US subjects were asked to judge if short ~200 word articles were written by humans or GPT-3. The participants judged correctly 52% of the time, doing only slightly better than random guessing.

On November 18, 2021, OpenAI announced that enough safeguards had been implemented that access to its API would be unrestricted. OpenAI provided developers with a content moderation tool that helps them abide by OpenAI's content policy. On January 27, 2022, OpenAI announced that its newest GPT-3 language models (collectively referred to as InstructGPT) were now the default language model used on their API. According to OpenAI, InstructGPT produced content that was better aligned to user intentions by following instructions better, generating fewer made-up facts, and producing somewhat less toxic content.

Because GPT-3 can "generate news articles which human evaluators have difficulty distinguishing from articles written by humans," GPT-3 has the "potential to advance both the beneficial and harmful applications of language models." In their May 28, 2020 paper, the researchers described in detail the potential "harmful effects of GPT-3" which include "misinformation, spam, phishing, abuse of legal and governmental processes, fraudulent academic essay writing and social engineering pretexting". The authors draw attention to these dangers to call for research on risk mitigation.

GPT-3 is capable of performing zero-shot and few-shot learning (including one-shot).

In June 2022, Almira Osmanovic Thunström wrote that GPT-3 was the primary author on an article on itself, that they had submitted it for publication, and that it had been pre-published while waiting for completion of its review.

GPT-3 models

There are many models in the GPT-3 family, some serving different purposes than others. In the initial research paper published by OpenAI, they mentioned 8 different sizes of the main GPT-3 model:

Model name	Parameters	API name
GPT-3 Small	125 M	n/a
GPT-3 Medium	350 M	ada
GPT-3 Large	760 M	n/a
GPT-3 XL	1.3 B	babbage
GPT-3 2.7B	2.7 B	n/a
GPT-3 6.7B	6.7 B	curie
GPT-3 13B	13B	n/a
GPT-3 175B	175B	davinci

Half of the models are accessible through the API, namely GPT-3-medium, GPT-3-xl, GPT-3-6.7B and GPT-3-175b, which are referred to as ada, babbage, curie and davinci respectively. While the size of the API models was not originally disclosed by OpenAI, EleutherAI announced the mapping between model sizes and API names in May 2021. These model sizes were later confirmed by OpenAI, but the sizes of subsequent models have not been disclosed.

Model	Parameters	Description	Series
ada	350 M	Capable of very simple tasks, usually the fastest model in the GPT-3 series, and lowest cost.	Base GPT-3
babbage babbage-002	1.3 B	Capable of straightforward tasks, very fast, and lower cost.	Base GPT-3
curie	6.7B	Very capable, but faster and lower cost than Davinci.	Base GPT-3
davinci davinci-002	175 B	Most capable GPT-3 model. Can do any task the other models can do, often with higher quality.	Base GPT-3
text-ada-001	350 M	Capable of very simple tasks, usually the fastest model in the GPT-3 series, and lowest cost.	InstructGPT
text-babbage-001	1.3B	Capable of straightforward tasks, very fast, and lower cost.	InstructGPT
text-curie-001	6.7B	Very capable, faster and lower cost than Davinci.	InstructGPT
text-davinci-001	175B	Older version of the most capable model in the GPT-3 series. Can perform any task the other GPT-3 models can, often with less context.	InstructGPT
text-davinci-002 code-davinci-002	Undisclosed	Similar capabilities to text-davinci-003 but trained with supervised fine-tuning instead of reinforcement learning	GPT-3.5
text-davinci-003	Undisclosed	Can do any language task with better quality, longer output, and consistent instruction-following than the curie, babbage, or ada models. Also supports inserting completions within text.	GPT-3.5
gpt-3.5-turbo gpt-3.5-turbo-instruct gpt-3.5-turbo-16k	Undisclosed	Most capable and cost effective (fastest) GPT-3.5 model and optimized for chat at 1/10th the cost of text-davinci-003.	GPT-3.5

GPT-3.5

Generative Pre-trained Transformer 3.5 (GPT-3.5)

Original author(s)	OpenAI
Initial release	March 15, 2022 (2022-03-15)
Repository	n/a
Predecessor	GPT-3
Successor	GPT-4
Type	Large language model Generative pre-trained transformer Foundation model
License	Privative
Website	n/a

Generative Pre-trained Transformer 3.5 (GPT-3.5) is a sub class of GPT-3 Models created by OpenAI in 2022.

On March 15, 2022, OpenAI made available new versions of GPT-3 and Codex in its API with edit and insert capabilities under the names "text-davinci-002" and "code-davinci-002". These models were described as more capable than previous versions and were trained on data up to June 2021. On November 28, 2022, OpenAI introduced text-davinci-003. On November 30, 2022, OpenAI began referring to these models as belonging to the "GPT-3.5" series, and released ChatGPT, which was fine-tuned from a model in the GPT-3.5 series. OpenAI does not include GPT-3.5 in GPT-3.

Models

There are four models:

• Chat
  • gpt-3.5-turbo
• Text completion
  • text-davinci-003
  • text-davinci-002

GPT-3.5 with browsing

On April 10, 2023, OpenAI introduced a new variant of its GPT-3.5 series model, known as GPT-3.5 with Browsing (ALPHA). This updated model was described to build upon the capabilities of its predecessors "text-davinci-002" and "code-davinci-002". The GPT-3.5 with Browsing (ALPHA) model incorporated the ability to access and browse online information. This has led to more accurate and up-to-date responses to user queries.

The GPT-3.5 with Browsing (ALPHA) model has been trained on data up to September 2021, giving it more information compared to previous GPT-3.5 models, which were trained on data up until June 2021. The model attempted to provide developers and users with an advanced natural language processing tool that can effectively retrieve and synthesize online information.

To enable browsing capabilities, OpenAI implemented a new API that allows the GPT-3.5 with Browsing (ALPHA) model to access selected online resources during operation. This feature allows users to ask questions or request information with the expectation that the model will deliver updated, accurate, and relevant answers based on the latest online sources available to it.

On April 27, 2023, OpenAI made the GPT-3.5 with Browsing (ALPHA) model publicly available to GPT Plus users. This allowed more people to access to its new features.

InstructGPT

InstructGPT is a fine-tuned version of GPT-3.5 trained on a dataset of human-written instructions.

Reception

Applications

• GPT-3, specifically the Codex model, is the basis for GitHub Copilot, a code completion and generation software that can be used in various code editors and IDEs.
• GPT-3 is used in certain Microsoft products to translate conventional language into formal computer code.
• GPT-3 has been used in CodexDB to generate query-specific code for SQL processing.
• GPT-3 has been used by Jason Rohrer in a retro-themed chatbot project named "Project December", which is accessible online and allows users to converse with several AIs using GPT-3 technology.
• GPT-3 was used by The Guardian to write an article about AI being harmless to human beings. It was fed some ideas and produced eight different essays, which were ultimately merged into one article.
• GPT-3 was used in AI Dungeon, which generates text-based adventure games. Later it was replaced by a competing model after OpenAI changed their policy regarding generated content.
• GPT-3 is used to aid in writing copy and other marketing materials.
• A 2022 study from Drexel University suggested that GPT-3-based systems could be used to screen for early signs of Alzheimer's disease.

Reviews

• In a July 2020 review in The New York Times, Farhad Manjoo said that GPT-3's ability to generate computer code, poetry, and prose is not just "amazing", "spooky", and "humbling", but also "more than a little terrifying".
• Daily Nous presented a series of articles by nine philosophers on GPT-3. Australian philosopher David Chalmers described GPT-3 as "one of the most interesting and important AI systems ever produced".
• A review in Wired said that GPT-3 was "provoking chills across Silicon Valley".
• The National Law Review said that GPT-3 is an "impressive step in the larger process", with OpenAI and others finding "useful applications for all of this power" while continuing to "work toward a more general intelligence".
• An article in the MIT Technology Review, co-written by Deep Learning critic Gary Marcus, stated that GPT-3's "comprehension of the world is often seriously off, which means you can never really trust what it says." According to the authors, GPT-3 models relationships between words without having an understanding of the meaning behind each word.
• Jerome Pesenti, head of the Facebook AI lab, said GPT-3 is "unsafe," pointing to the sexist, racist and other biased and negative language generated by the system when it was asked to discuss Jews, women, black people, and the Holocaust.
• Nabla, a French start-up specializing in healthcare technology, tested GPT-3 as a medical chatbot, though OpenAI itself warned against such use. As expected, GPT-3 showed several limitations. For example, while testing GPT-3 responses about mental health issues, the AI advised a simulated patient to commit suicide.
• Noam Chomsky expressed his skepticism about GPT-3's scientific value: "It's not a language model. It works just as well for impossible languages as for actual languages. It is therefore refuted, if intended as a language model, by normal scientific criteria. [...] Perhaps it's useful for some purpose, but it seems to tell us nothing about language or cognition generally."
• Luciano Floridi and Massimo Chiriatti highlighted the risk of "cheap production of good, semantic artefacts".
• OpenAI's Sam Altman himself criticized what he called "GPT-3 hype", acknowledging GPT-3 "has serious weakness and sometimes makes very silly mistakes... AI is going to change the world, but GPT-3 is just a very early glimpse."

Criticism

GPT-3's builder, OpenAI, was initially founded as a non-profit in 2015. In 2019, OpenAI broke from its usual open-source standards by not publicly releasing GPT-3's predecessor model, citing concerns that the model could facilitate the propagation of fake news. OpenAI eventually released a version of GPT-2 that was 8% of the original model's size. In the same year, OpenAI restructured to be a for-profit company. In 2020, Microsoft announced the company had exclusive licensing of GPT-3 for Microsoft's products and services following a multi-billion dollar investment in OpenAI. The agreement permits OpenAI to offer a public-facing API such that users can send text to GPT-3 to receive the model's output, but only Microsoft will have access to GPT-3's source code.

Large language models, such as GPT-3, have come under criticism from a few of Google's AI ethics researchers for the environmental impact of training and storing the models, detailed in a paper co-authored by Timnit Gebru and Emily M. Bender in 2021.

The growing use of automated writing technologies based on GPT-3 and other language generators, has raised concerns regarding academic integrity and raised the stakes of how universities and schools will gauge what constitutes academic misconduct such as plagiarism.

OpenAI's GPT series was built with data from the Common Crawl dataset, a conglomerate of copyrighted articles, internet posts, web pages, and books scraped from 60 million domains over a period of 12 years. TechCrunch reports this training data includes copyrighted material from the BBC, The New York Times, Reddit, the full text of online books, and more. In its response to a 2019 Request for Comments on Intellectual Property Protection for Artificial Intelligence Innovation from the United States Patent and Trademark Office (USPTO), OpenAI argued that "Under current law, training AI systems [such as its GPT models] constitutes fair use," but that "given the lack of case law on point, OpenAI and other AI developers like us face substantial legal uncertainty and compliance costs."

See also

• BERT (language model)
• Hallucination (artificial intelligence)
• LaMDA
• Gemini (language model)
• Wu Dao
• GPT-4
• GPTZero