Google和OpenAI的大模型发展历程

Google

• 2017年6月: 谷歌大脑团队发表论文《Attention is all you need》，首次提出了基于自注意力机制的Transformer模型，并首次将其用于自然语言处理。
• 2018年10月: 提出BERT模型，发布了两套BERT模型，参数总数分别为110M和340M。
• 2019年10月: 发布了110亿参数的预训练模型T5。
• 2021年1月: 推出1.6万亿参数的Switch Transformer。
• 2021年5月: 发布了1370亿参数的LaMDA。
• 2022年4月: 发布了5400亿参数的PaLM。
• 2023年12月: 推出多模态大模型Gemini。

OpenAI

• 2017年6月: 基于谷歌的那篇《Attention is all you need》文章开始发展。
• 2018年6月: 推出1.17亿参数的GPT-1模型。
• 2019年2月: 推出15亿参数的GPT-2模型。
• 2020年5月: 发布了1750亿参数的GPT-3。
• 2022年3月: 发布InstructGPT，回答更加真实。
• 2022年11月: 发布ChatGPT。
• 2023年11月: 推出GPT-4 Turbo，可输入128K个Token。
• 2024年1月: 推出GPT应用商店。