AI模型进化简史:从诞生到革新
# AI模型进化简史:从诞生到革新
自1956年,“人工智能”概念提出开始,已经有了近70年的发展历史。 经历了三个发展阶段,即萌芽期(1950-2005),探索期(2006-2019),发展期(2020 年以后),不过真正大模型的历史还要从2006年Deep Learning首次在Science 上发表开始,不过在2012年之前,大模型的探索与学习的关注度并不是很高。
PS:如果想注册虚拟卡使用海外付费业务: WildCard | 一分钟开卡,轻松订阅海外软件服务 (opens new window) 邀请码 GPT310,直接免 2 美元的开卡费,虚拟卡开好之后,用支付宝充值就可以进行ChatGpt升级,以及其他海外软件订阅服务..
2012年,AlexNet战胜ImageNet这一标志性事件,引发了行业对深度学习 的关注和研究,而谷歌、百度等行业先行者也是在这一时期开始重视AI的发展。 2013年,Google Brain项目发布了深度学习模型DistBelief,为大规模分布式训 练奠定基础。2014年,被誉为21世纪最强大算法模型之一的 GAN (对抗式生成 网络)诞生,标志着深度学习进入了生成模型研究的新阶段。2017年,Google 又 提出了Transformer,这成为GPT 发展的基础。
说起Transformer,那就不得不提那篇传奇论文《Attention Is All You Need》, 这篇论文不仅仅成为大模型研究的必读参考文献,该论文的8位作者也成为大 模型创投圈炙手可热的人物,据悉,该论文的8位作者,仅有一位留在了谷歌, 剩下的7位纷纷加入了创业大军,他们创立的4家公司中,有3家成为独角兽, 其中包括Adept、Character.Al、Cohere,而在这些独角兽背后站着的是谷歌、 英伟达、Salesforce等行业先行者。
不过让人意外的是,作为行业先行者,谷歌并没有率先发布令市场轰动的产 品,反而是一家2015年12月成立的创业公司,引领了接下来大模型的发展,这 家公司便是OpenAl。
2018年,OpenAI发布GPT-1模型,标志着预训练模型在自然语言处理领域 的兴起。2019年,OpenAl和 Google 又分别发布了GPT-2与BERT大模型,意 味着预训练大模型成为自然语言处理领域的主流。
2020年,大模型进入快速发展阶段,当年OpenAI推出了GPT-3,模型参数 规模达到了1750亿,成为当时最大的语言模型,并且在零样本学习任务上实现 了巨大性能提升。随后,更多策略如基于人类反馈的强化学习(RHLF)、代码 预训练、指令微调等开始出现,被用于进一步提高推理能力和任务泛化。 2022年11月,0penAI推出了搭载GPT3.5的ChatGPT,其逼真的自然语言 交互与多场景内容生成能力,迅速火爆全网,2023年上半年的AI热潮也就此展 开。
2023年,OpenAl 发布超大规模多模态预训练大模型--GPT-4,具备了多 模态理解与多类型内容生成能力。谷歌推出PaLM2 模型,Meta 发布LLaMA-13B, 微软基于 ChatGPT打造New Bing,Windows 全面集成Copilot。
国内,百度率先发布文心一言,随后阿里、商汤、360、华为等企业纷纷发 布自己的大模型,复旦、清华、哈工大、中科院等学院派,也发布了各自的大模 型,中小非上市公司印象笔记、医联科技、左手医生等也推出了行业大模型,市 场进入了“百模混战”格局。