Transformador generativo preentrenado

De Wikipedia, la enciclopedia libre
Modelo GPT original

Los transformadores generativos preentrenados (GPT) son un tipo de modelo de lenguaje grande (LLM)[1]​[2]​[3]​ y un marco prominente para la inteligencia artificial generativa.[4]​[5]​ El primer GPT fue presentado en 2018 por OpenAI.[6]​ Los modelos GPT son redes neuronales artificiales que se basan en la arquitectura del transformador, preentrenados en grandes conjuntos de datos de texto sin etiquetar, y capaces de generar contenido novedoso similar al humano.[2]​[3]​ A partir de 2023, la mayoría de los LLM tienen estas características[7]​ y a veces se hace referencia a ellos como GPT.[8]​

OpenAI ha lanzado modelos básicos GPT muy influyentes que han sido numerados secuencialmente para conformar su serie "GPT-n".[9]​ Cada uno de ellos era significativamente más capaz que el anterior, debido a su mayor tamaño (número de parámetros entrenables) y entrenamiento. El más reciente, el GPT-4, salió al mercado en marzo de 2023. Estos modelos han sido la base de sus sistemas GPT para tareas más específicas, incluidos los modelos perfeccionados para el seguimiento de instrucciones, que a su vez impulsan el servicio de chatbot ChatGPT.[1]​

El término "GPT" también se utiliza en los nombres y descripciones de los modelos desarrollados por otros. Por ejemplo, otros modelos de base GPT incluyen una serie de modelos creados por EleutherAI[10]​ y, recientemente, siete modelos creados por Cerebras.[11]​ Asimismo, empresas de distintos sectores han desarrollado GPT específicas para tareas en sus respectivos campos, como "EinsteinGPT" de Salesforce (para CRM)[12]​ y "BloombergGPT" de Bloomberg (para finanzas).[13]​

Historia[editar]

Desarrollo inicial[editar]

El preentrenamiento generativo (GP) era un concepto establecido desde tiempo atrás en aplicaciones de aprendizaje automático,[14]​[15]​ pero la arquitectura de transformadores no estuvo disponible hasta 2017, cuando fue inventada por empleados de Google.[16]​ Ese desarrollo condujo a la aparición de modelos grandes de lenguaje como BERT en 2018[17]​ y XLNet en 2019,[18]​ que eran transformadores preentrenados (PT) pero no estaban diseñados para ser generativos (eran "solo codificadores").[19]​ También por esas fechas, en 2018, OpenAI publicó su artículo titulado "Mejorando la comprensión del lenguaje mediante preentrenamiento generativo" (en inglés: Improving Language Understanding by Generative Pre-Training"), en el que presentaba el primer sistema de transformadores preentrenados generativos (GPT) ("GPT-1").[20]​

Anteriormente a las arquitecturas basadas en transformadores, los modelos neuronales de PNL (procesamiento del lenguaje natural) con mejores resultados solían emplear el aprendizaje supervisado a partir de grandes cantidades de datos etiquetados manualmente. La dependencia del aprendizaje supervisado limitaba su uso en conjuntos de datos que no estuvieran bien anotados, y también hacía que entrenar los modelos de lenguaje extremadamente grandes resultase excesivamente caro y llevase mucho tiempo.[20]​

El enfoque semisupervisado que OpenAI empleó para crear un sistema generativo a gran escala —y que fue el primero en hacer con un modelo transformador— implicaba dos etapas: una etapa de "preentrenamiento" generativo no supervisado para establecer los parámetros iniciales utilizando un objetivo de modelado de lenguaje, y una etapa de "afinación" (en inglés: "fine-tuning") discriminativa supervisada para adaptar estos parámetros a una tarea objetivo.

Desarrollo posterior[editar]

En cuanto a los modelos más recientes de la base GPT, OpenAI publicó sus primeras versiones de GPT-3 en julio de 2020. Se trataba de tres modelos, con parámetros 1B, 6,7B y 175B, denominados respectivamente babbage, curie y davinci (con las iniciales B, C y D respectivamente).

En julio de 2021, OpenAI publicó Codex, un modelo GPT específico para tareas dirigido a aplicaciones de programación. Se desarrolló ajustando una versión de 12B parámetros de GPT-3 (diferente de los modelos GPT-3 anteriores) utilizando código de GitHub.[21]​

En marzo de 2022, OpenAI publicó dos versiones de GPT-3 que fueron ajustadas para el seguimiento de instrucciones (en inglés: instruction-tuned), denominadas davinci-instruct-beta (175B) y text-davinci-001.,[22]​ y luego comenzó a probar la versión beta de code-davinci-002.[23]​ text-davinci-002 fue ajustado para instrucciones a partir de code-davinci-002. Tanto text-davinci-003 como ChatGPT se lanzaron en noviembre de 2022, y ambos se basan en text-davinci-002 a través del aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF). text-davinci-003 está entrenado para seguir instrucciones (como sus predecesores), mientras que ChatGPT está más entrenado para la interacción conversacional con un usuario humano.[24]​[25]​

El modelo de base GPT más reciente de OpenAI, GPT-4, se publicó el 14 de marzo de 2023. Los usuarios pueden acceder directamente a él a través de una versión premium de ChatGPT, y los desarrolladores pueden incorporarlo a otros productos y servicios a través de la API de OpenAI. Otros productores de modelos de la fundación GPT son EleutherAI (con una serie de modelos a partir de marzo de 2021)[10]​ y Cerebras (con siete modelos publicados en marzo de 2023).[11]​

Modelos fundacionales[editar]

Un modelo fundacional es un modelo de IA entrenado con datos a gran escala de forma que pueda adaptarse a una amplia gama de tareas posteriores.[26]​

Hasta ahora, los modelos fundacionales de GPT más notables han sido los de la serie GPT-n de OpenAI. El más reciente es el GPT-4, del que OpenAI se negó a publicar el tamaño o los detalles del entrenamiento (citando "el panorama competitivo y las implicaciones de seguridad de los modelos a gran escala").[27]​

Serie "GPT-n" de OpenAI
Modelo Arquitectura Conteo de parámetros Data de entrenamiento Fecha de lanzamiento Costo de entrenamiento
GPT-1 Decodificador transformador de 12 niveles y 12 cabezas (sin codificador), seguido por linear-softmax. 117 millones BookCorpus:[28]​ 4,5 GB de texto, de 7000 libros inéditos de diversos géneros. 11 de junio de 2018[6]​ "1 mes en 8 GPUs",[6]​ o 1,7e19 FLOP.[29]​
GPT-2 GPT-1, pero con normalización modificada 1.5 billones WebText: 40 GB de texto, 8 millones de documentos, de 45 millones de páginas web valoradas en Reddit. 14 de febrero de 2019 (versión inicial/limitada) y 5 de noviembre de 2019 (versión completa)[30]​ "decenas de petaflops/día",[31]​ es decir, 1,5e21 FLOP.[29]​
GPT-3 GPT-2, pero con modificación para permitir una escala mayor 175 billones[32]​ 499 billones de tokens compuestos por CommonCrawl (570 GB), WebText, Wikipedia en inglés y dos corpus de libros (Books1 y Books2). 28 de mayo de 2020[31]​ 3640 petaflop/s-día (Tabla D.1[31]​), o 3,1e23 FLOP.[29]​
GPT-3.5 No revelado 175 billones[32]​ No revelado 15 de marzo de 2022 No revelado
GPT-4 También entrenado con predicción de texto y RLHF; acepta texto e imágenes como entrada. No se han publicado más detalles.[27]​ No revelado No revelado 14 de marzo de 2023 No revelado. Estimación de 2,1e25 FLOP.[29]​

Otros modelos de este tipo son PaLM, de Google, un modelo fundacional amplio que se ha comparado con GPT-3 y que recientemente se ha puesto a disposición de los desarrolladores a través de una API,[33]​[34]​ y GPT-JT, de Together, que se ha señalado como la alternativa de código abierto de mayor rendimiento a GPT-3 (y que deriva de otros GPT anteriores de código abierto).[35]​ Meta AI (antes Facebook) también tiene un gran modelo de lenguaje fundacional basado en transformadores generativos, conocido como LLaMA.[36]​

Los GPT fundacionales también pueden emplear modalidades distintas del texto, como entrada y/o salida. GPT-4 es un LLM multimodal capaz de procesar texto e imágenes (aunque su salida se limita a texto).[37]​ En cuanto a la salida multimodal, algunos modelos basados en transformadores generativos se utilizan para tecnologías de conversión de texto a imagen, como la difusión[38]​ y la descodificación paralela.[39]​ Este tipo de modelos pueden servir como modelos de base visual (en inglés: visual foundation models, VFM) para desarrollar sistemas posteriores que puedan trabajar con imágenes.[40]​

Modelos de tareas específicas[editar]

Un modelo GPT fundacional puede adaptarse para producir sistemas más específicos dirigidos a tareas concretas y/o ámbitos temáticos. Los métodos para esta adaptación pueden incluir un ajuste fino adicional (más allá del realizado para el modelo básico), así como ciertas formas de ingeniería rápida.[41]​

Un ejemplo importante es el ajuste fino de los modelos para que sigan instrucciones, que es, por supuesto, una tarea bastante amplia, pero más específica que un modelo básico. En enero de 2022, OpenAI presentó "InstructGPT", una serie de modelos perfeccionados para seguir instrucciones mediante una combinación de entrenamiento supervisado y aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) en modelos de lenguaje básicos de GPT-3.[42]​[43]​ Entre las ventajas que ofrecían estos modelos frente a los modelos básicos se incluían una mayor precisión, un sentimiento menos negativo/tóxico y, en general, una mejor alineación con las necesidades del usuario. Posteriormente, OpenAI comenzó a utilizarlo como base para sus ofertas de servicios API.[44]​ Otros han publicado otros modelos ajustados a las instrucciones, incluida una versión totalmente abierta.[45]​[46]​

Otro tipo (relacionado) de modelos para tareas específicas son los chatbots, que entablan conversaciones similares a las humanas. En noviembre de 2022, OpenAI lanzó ChatGPT, una interfaz de chat en línea impulsada por un modelo de lenguaje ajustado a las instrucciones y entrenado de forma similar a InstructGPT.[47]​ Entrenaron este modelo utilizando RLHF, con entrenadores humanos de IA que proporcionaban conversaciones en las que interpretaban tanto al usuario como a la IA, y mezclaron este nuevo conjunto de datos de diálogo con el conjunto de datos InstructGPT para obtener un formato conversacional adecuado para un chatbot. Otros chatbots importantes en la actualidad son Bing Chat, de Microsoft, que utiliza GPT-4 de OpenAI (como parte de una estrecha colaboración más amplia entre OpenAI y Microsoft),[48]​ y Bard, el chatbot competidor de Google (basado inicialmente en su familia LaMDA de modelos de lenguaje entrenados en conversación, con planes de cambiar a PaLM).[49]​

Otro tipo de tarea para la que se puede utilizar una GPT es la meta-tarea de generar sus propias instrucciones, como desarrollar una serie de instrucciones para que "por sí misma" sea capaz de llevar a cabo un objetivo más general dado por un usuario humano.[50]​ Es lo que se conoce como agente de IA, y más concretamente como agente recursivo, ya que utiliza los resultados de sus autoinstrucciones anteriores como ayuda para formular sus instrucciones posteriores. El primer ejemplo importante de este tipo de agente fue Auto-GPT (que utiliza los modelos GPT de OpenAI), y desde entonces se han desarrollado otros.[51]​

Multimodalidad[editar]

Los sistemas basados en transformadores generativos también pueden orientarse a tareas que impliquen modalidades distintas del texto.

Por ejemplo, "Visual ChatGPT" de Microsoft combina ChatGPT con modelos de base visual (VFM) para permitir la entrada o salida de imágenes además de texto.[52]​ Asimismo, los avances en la tecnología de conversión de texto a voz ofrecen potentes herramientas para la creación de contenidos de audio cuando se utilizan junto con modelos de lenguaje GPT fundacionales.[53]​

Especificidad de dominio[editar]

Los sistemas GPT pueden orientarse a campos o dominios concretos. Algunos ejemplos de este tipo de modelos y aplicaciones son los siguientes:

  • EinsteinGPT: para el ámbito de las ventas y el marketing, como ayuda para la gestión de las relaciones con los clientes (utiliza GPT-3.5).[54]​
  • BloombergGPT: para el ámbito financiero, para ayudar con las noticias y la información financiera (utiliza métodos de IA "libremente disponibles", combinados con sus datos patentados).[55]​
  • Khanmigo: descrita como una versión de GPT para tutorías, en el ámbito educativo, ayuda a los estudiantes que utilizan Khan Academy guiándoles en sus estudios sin proporcionarles directamente respuestas (funciona con GPT-4).[56]​[57]​
  • SlackGPT: para el servicio de mensajería instantánea Slack, para ayudar a navegar y resumir las discusiones en él (utiliza la API de OpenAI).[58]​
  • BioGPT: para el ámbito biomédico, con el fin de ayudar a generar y extraer textos de literatura biomédica (utiliza GPT-2).[59]​

En ocasiones, la especificidad del dominio se consigue mediante complementos o add-ons de software. Por ejemplo, varias empresas han desarrollado complementos específicos que interactúan directamente con la interfaz ChatGPT de OpenAI,[60]​[61]​ y Google Workspace dispone de complementos como "GPT para hojas de cálculo y documentos" (en inglés: GPT for Sheets and Docs), que ayuda a utilizar las funciones de hoja de cálculo de Google Sheets.[62]​[63]​

Problemas de marca[editar]

OpenAI, que creó el primer transformador generativo preentrenado (GPT) en 2018, ha afirmado recientemente que "GPT" debería considerarse una marca de OpenAI.[64]​ En abril de 2023, OpenAI revisó las directrices de marca en sus términos y condiciones de uso para indicar que otras empresas que utilizan su API para ejecutar sus servicios de inteligencia artificial (IA) ya no podrían incluir "GPT" en tales nombres o marcas.[65]​ En mayo de 2023, OpenAI contrató un servicio de gestión de marcas para notificar esta política a sus clientes de API, aunque estas notificaciones no llegaron a plantear reclamaciones legales manifiestas (como acusaciones de infracción de marcas o demandas de cese y desistimiento).[64]​

En relación con lo anterior, OpenAI ha solicitado a la Oficina de Patentes y Marcas Registradas de los Estados Unidos (USPTO) el registro de marca nacional para el término "GPT" en el ámbito de la IA.[64]​ OpenAI trató de acelerar la tramitación de su solicitud, pero la USPTO rechazó dicha petición en abril de 2023.[66]​ Para obtener la aprobación de la marca, OpenAI tendría que demostrar que el término es realmente "distintivo" de sus ofertas específicas, en lugar de entenderse ampliamente como un término técnico más amplio para el tipo de tecnología. Algunos medios de comunicación sugieren que OpenAI podría conseguirlo basándose indirectamente en la fama de su producto de chatbot basado en GPT, ChatGPT,[66]​[67]​ para el que OpenAI ha solicitado por separado la protección de la marca (que ha intentado hacer valer con más fuerza).[68]​ Otros informes indican que parece poco probable que se conceda la exclusividad para el término "GPT",[64]​[69]​ ya que se utiliza con frecuencia para referirse simplemente a sistemas de IA que implican transformadores generativos preentrenados.[3]​[70]​[71]​ Si se concedieran derechos exclusivos sobre el término "GPT" en sí, todos los demás que lo utilizaran en el nombre o la marca de sus ofertas relacionadas tendrían que dejar de hacerlo a menos que tuvieran permiso.[69]​ Incluso si eso ocurriera, la doctrina de la marca registrada del uso justo descriptivo aún podría preservar cierto margen para continuar con el uso no relacionado con la marca.[72]​

Bibliografía seleccionada[editar]

En esta sección se enumeran las principales publicaciones oficiales de OpenAI y Microsoft sobre sus modelos GPT.

  • GPT-1: informe,[6]​ lanzamiento en GitHub.[73]​
  • GPT-2: anuncio en el blog,[74]​ informe sobre su decisión de "lanzamiento escalonado",[75]​ lanzamiento en GitHub.[76]​
  • GPT-3: informe.[31]​ A partir de ese momento no se liberará código en GitHub ni en ninguna otra plataforma.
  • webGPT: anuncio en el blog,[77]​ informe,[78]​
  • InstructGPT: anuncio en el blog,[42]​ informe.[43]​
  • ChatGPT: anuncio en el blog (sin informe).[47]​
  • GPT-4: anuncio en el blog,[79]​ informes,[80]​[81]​ tarjeta modelo.[82]​

Véase también[editar]

Referencias[editar]

  1. ↑ a b Haddad, Mohammed. «How does GPT-4 work and how can you start using it in ChatGPT?». www.aljazeera.com. 
  2. ↑ a b «Generative AI: a game-changer society needs to be ready for». World Economic Forum. 
  3. ↑ a b c «The A to Z of Artificial Intelligence». Time. 13 de abril de 2023. 
  4. ↑ Hu, Luhui (15 de noviembre de 2022). «Generative AI and Future». Medium. 
  5. ↑ «CSDL | IEEE Computer Society». www.computer.org. 
  6. ↑ a b c d «Improving language understanding with unsupervised learning». openai.com (en inglés estadounidense). 11 de junio de 2018. Archivado desde el original el 18 de abril de 2023. Consultado el 18 de abril de 2023. 
  7. ↑ Toews, Rob. «The Next Generation Of Large Language Models». Forbes. 
  8. ↑ Mckendrick, Joe (13 de marzo de 2023). «Most Jobs Soon To Be 'Influenced' By Artificial Intelligence, Research Out Of OpenAI And University Of Pennsylvania Suggests». Forbes. 
  9. ↑ «GPT-1 to GPT-4: Each of OpenAI's GPT Models Explained and Compared». MUO. 11 de abril de 2023. 
  10. ↑ a b Alford, Anthony (13 de julio de 2021). «EleutherAI Open-Sources Six Billion Parameter GPT-3 Clone GPT-J». InfoQ. 
  11. ↑ a b «Noticias (news)» (en inglés). 
  12. ↑ Morrison, Ryan (7 de marzo de 2023). «Salesforce launches EinsteinGPT built with OpenAI technology». Tech Monitor. 
  13. ↑ «The ChatGPT of Finance is Here, Bloomberg is Combining AI and Fintech». Forbes. 
  14. ↑ Hinton (et-al), Geoffrey (15 de octubre de 2012). «Deep neural networks for acoustic modeling in speech recognition». IEEE Signal Processing Magazine. Digital Object Identifier 10.1109/MSP.2012.2205597. doi:10.1109/MSP.2012.2205597. 
  15. ↑ Deng, Li (22 de enero de 2014). «A tutorial survey of architectures, algorithms, and applications for deep learning | APSIPA Transactions on Signal and Information Processing | Cambridge Core». Apsipa Transactions on Signal and Information Processing (Cambridge.org) 3: e2. doi:10.1017/atsip.2013.9. Consultado el 21 de mayo de 2023. 
  16. ↑ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia. Attention Is All You Need. 
  17. ↑ Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina (24 de mayo de 2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. 
  18. ↑ Yang (et-al), Zhilin (2019). «XLNet». Proceedings from NeurIPS 2019. 
  19. ↑ Naik, Amit Raja. «Google Introduces New Architecture To Reduce Cost Of Transformers». Analytics India Magazine. Consultado el 23 de setiembre de 2021. 
  20. ↑ a b Radford, Alec (et. al). «Improving Language Understanding by Generative Pre-Training». OpenAI. p. 12. Archivado desde el original el 26 de enero de 2021. Consultado el 26 de enero de 2021. 
  21. ↑ Chen, Mark; Tworek, Jerry; Jun, Heewoo; Yuan, Qiming; Ponde de Oliveira Pinto, Henrique; Kaplan, Jared; Edwards, Harri; Burda, Yuri et al. (1 de julio de 2021). «Evaluating Large Language Models Trained on Code». Evaluating Large Language Models Trained on Code. 
  22. ↑ Ouyang, Long; Wu, Jeffrey; Jiang, Xu; Almeida, Diogo; Wainwright, Carroll; Mishkin, Pamela; Zhang, Chong; Agarwal, Sandhini et al. (6 de diciembre de 2022). «Training language models to follow instructions with human feedback». Advances in Neural Information Processing Systems (en inglés) 35: 27730-27744. 
  23. ↑ «New GPT-3 capabilities: Edit & insert». openai.com (en inglés estadounidense). Consultado el 24 de junio de 2023. 
  24. ↑ Fu, Yao; Peng, Hao; Khot, Tushar (2022). «How does GPT Obtain its Ability? Tracing Emergent Abilities of Language Models to their Sources». Yao Fu's Notion. 
  25. ↑ «Model index for researchers». OpenAI API (en inglés). Archivado desde el original el 23 de junio de 2023. Consultado el 23 de junio de 2023. 
  26. ↑ «Introducing the Center for Research on Foundation Models (CRFM)». Stanford HAI. 
  27. ↑ a b OpenAI (2023). «GPT-4 Technical Report». Archivado desde el original el 14 de marzo de 2023. Consultado el 16 de marzo de 2023. 
  28. ↑ Zhu, Yukun; Kiros, Ryan; Zemel, Rich; Salakhutdinov, Ruslan; Urtasun, Raquel; Torralba, Antonio; Fidler, Sanja (2015). «Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books». IEEE International Conference on Computer Vision (ICCV) 2015: 19-27. Archivado desde el original el 5 de febrero de 2023. Consultado el 7 de febrero de 2023. 
  29. ↑ a b c d «ML input trends visualization». Epoch (en inglés). Consultado el 2 de mayo de 2023. 
  30. ↑ Vincent, James (7 de noviembre de 2019). «OpenAI has published the text-generating AI it said was too dangerous to share». The Verge. 
  31. ↑ a b c d Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav et al. (28 de mayo de 2020). Language Models are Few-Shot Learners. 
  32. ↑ a b Ver Meer, Dave (1 de junio de 2023). «ChatGPT Statistics». NamePepper (en inglés). Consultado el 9 de junio de 2023. 
  33. ↑ Vincent, James (14 de marzo de 2023). «Google opens up its AI language model PaLM to challenge OpenAI and GPT-3». The Verge. 
  34. ↑ «Google Opens Access to PaLM Language Model». 
  35. ↑ Iyer, Aparna (30 de noviembre de 2022). «Meet GPT-JT, the Closest Open Source Alternative to GPT-3». Analytics India Magazine. 
  36. ↑ «Meta Debuts AI Language Model, But It's Only for Researchers». PCMAG. 
  37. ↑ Islam, Arham (27 de marzo de 2023). «Multimodal Language Models: The Future of Artificial Intelligence (AI)». Archivado desde el original el 15 de mayo de 2023. Consultado el 8 de julio de 2023. 
  38. ↑ Islam, Arham (14 de noviembre de 2022). «How Do DALL·E 2, Stable Diffusion, and Midjourney Work?». 
  39. ↑ Saha, Shritama (4 de enero de 2023). «Google Launches Muse, A New Text-to-Image Transformer Model». Analytics India Magazine. 
  40. ↑ Chenfei (8 de marzo de 2023). «Visual ChatGPT». arXiv:2303.04671  [cs.CV]. 
  41. ↑ Rishi (12 de julio de 2022). «On the Opportunities and Risks of Foundation Models». arXiv:2108.07258  [cs.LG]. 
  42. ↑ a b «Aligning language models to follow instructions». openai.com. Archivado desde el original el 23 de marzo de 2023. Consultado el 23 de marzo de 2023. 
  43. ↑ a b Ouyang; Jiang (4 de marzo de 2022). «Training language models to follow instructions with human feedback». arXiv:2203.02155. 
  44. ↑ Ramnani, Meeta (28 de enero de 2022). «OpenAI dumps its own GPT-3 for something called InstructGPT, and for right reason». Analytics India Magazine. 
  45. ↑ «Stanford CRFM». crfm.stanford.edu. 
  46. ↑ «Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM». Databricks. 12 de abril de 2023. 
  47. ↑ a b «Introducing ChatGPT». openai.com. Archivado desde el original el 16 de marzo de 2023. Consultado el 16 de marzo de 2023. 
  48. ↑ Wiggers, Kyle (4 de mayo de 2023). «Microsoft doubles down on AI with new Bing features». 
  49. ↑ «ChatGPT vs. Bing vs. Google Bard: Which AI Is the Most Helpful?». CNET. 
  50. ↑ «Auto-GPT, BabyAGI, and AgentGPT: How to use AI agents». Mashable. Consultado el 19 de abril de 2023. 
  51. ↑ Marr, Bernard. «Auto-GPT May Be The Strong AI Tool That Surpasses ChatGPT». Forbes. 
  52. ↑ «Microsoft Open-Sources Multimodal Chatbot Visual ChatGPT». InfoQ. 
  53. ↑ Edwards, Benj (9 de enero de 2023). «Microsoft's new AI can simulate anyone's voice with 3 seconds of audio». Ars Technica. 
  54. ↑ Morrison, Ryan (7 de marzo de 2023). «Salesforce launches EinsteinGPT built with OpenAI technology». 
  55. ↑ Leswing, Kif (13 de abril de 2023). «Bloomberg plans to integrate GPT-style A.I. into its terminal». CNBC. 
  56. ↑ «Learning nonprofit Khan Academy is piloting a version of GPT called Khanmigo». Fast Company. 4 de mayo de 2023. Consultado el 22 de mayo de 2023. 
  57. ↑ «Khan Academy Pilots GPT-4 Powered Tool Khanmigo for Teachers -». THE Journal. 
  58. ↑ Hachman, Mark (4 de mayo de 2023). «Slack GPT will bring AI chatbots to your conversations». PCWorld. 
  59. ↑ Luo, Renqian (et-al) (3 de abril de 2023). «BioGPT: Generative pre-trained transformer for biomedical text generation and mining». Briefings in Bioinformatics 23 (6). doi:10.1093/bib/bbac409. 
  60. ↑ «Know about ChatGPT's 13 best plugins, designed to improve your overall user experience – Latest Digital Transformation Trends | Cloud News | Wire19». 5 de mayo de 2023. 
  61. ↑ «ChatGPT plugins». openai.com. 
  62. ↑ «How to Use ChatGPT on Google Sheets With GPT for Sheets and Docs». MUO. 12 de marzo de 2023. 
  63. ↑ Asay, Matt (27 de febrero de 2023). «Embrace and extend Excel for AI data prep». InfoWorld. 
  64. ↑ a b c d Hicks, William (10 de mayo de 2023). «ChatGPT creator OpenAI is asking startups to remove 'GPT' from their names». www.bizjournals.com. Consultado el 21 de junio de 2023. 
  65. ↑ OpenAI (24 de abril de 2023). «Brand Guidelines». Consultado el 21 de mayo de 2023. 
  66. ↑ a b Heah, Alexa (26 de abril de 2023). «OpenAI Unsuccessful At Speeding Up Its Attempt To Trademark 'GPT'». DesignTAXI. Consultado el 21 de mayo de 2023. 
  67. ↑ «OpenAI Wants to Trademark 'GPT' Amid Rise of AI Chatbots». Tech Times. 25 de abril de 2023. Consultado el 21 de mayo de 2023. 
  68. ↑ «OpenAI files a UDRP case against the current owner of ChatGPT.com» (en inglés estadounidense). Consultado el 21 de mayo de 2023. 
  69. ↑ a b Demcak, Tramatm-Igor (26 de abril de 2023). «OpenAI's Battle for Brand Protection: Can GPT be trademarked?». Lexology (en inglés). Archivado desde el original el 5 de mayo de 2023. Consultado el 22 de mayo de 2023. 
  70. ↑ Lawton, George (20 de abril de 2023). «ChatGPT vs. GPT: How are they different? | TechTarget». Enterprise AI (en inglés). Archivado desde el original el 9 de mayo de 2023. Consultado el 21 de mayo de 2023. 
  71. ↑ Robb, Drew (12 de abril de 2023). «GPT-4 vs. ChatGPT: AI Chatbot Comparison». eWEEK (en inglés estadounidense). Consultado el 21 de mayo de 2023. 
  72. ↑ Rheintgen, Husch Blackwell LLP-Kathleen A. (16 de agosto de 2013). «Branding 101: trademark descriptive fair use». Lexology (en inglés). Consultado el 21 de mayo de 2023. 
  73. ↑ «finetune-transformer-lm». OpenAI. 11 de junio de 2019. Consultado el 1 de mayo de 2023. 
  74. ↑ «GPT-2: 1.5B release». openai.com (en inglés estadounidense). Consultado el 1 de mayo de 2023. 
  75. ↑ Solaiman; Clark; Askell; Herbert-Voss; Wu; Radford; Krueger; Kim et ál. (2019-11-12). «Release Strategies and the Social Impacts of Language Models». arXiv:1908.09203  [cs.CL]. 
  76. ↑ «gpt-2». OpenAI. 1 de mayo de 2023. Consultado el 1 de mayo de 2023. 
  77. ↑ «WebGPT: Improving the factual accuracy of language models through web browsing». openai.com (en inglés estadounidense). Archivado desde el original el 21 de junio de 2023. Consultado el 2 de julio de 2023. 
  78. ↑ Nakano, Reiichiro; Hilton, Jacob; Balaji, Suchir; Wu, Jeff; Ouyang, Long; Kim, Christina; Hesse, Christopher; Jain, Shantanu; Kosaraju, Vineet (1 de diciembre de 2021). «WebGPT: Browser-assisted question-answering with human feedback». Harvard. 
  79. ↑ «GPT-4». openai.com (en inglés estadounidense). Consultado el 1 de mayo de 2023. 
  80. ↑ OpenAI (2023-03-27). «GPT-4 Technical Report». arXiv:2303.08774  [cs.CL]. 
  81. ↑ Bubeck; Eldan; Gehrke; Horvitz; Kamar; Lee; Lee; Li et ál. (2023-04-13). «Sparks of Artificial General Intelligence: Early experiments with GPT-4». arXiv:2303.12712  [cs.CL]. 
  82. ↑ «GPT-4 System Card». OpenAI. 22 de marzo de 2023. Consultado el 23 de marzo de 2023. 
Obtenido de «https://es.wikipedia.org/w/index.php?title=Transformador_generativo_preentrenado&oldid=159136363»