Categories
程式開發

强大如GPT-3,1750亿参数也搞不定中国话


2019年,GPT-2凭借将近30亿条参数的规模拿下来“最强NLP模型”的称号;2020年,1750亿条参数的GPT-3震撼发布,并同时在工业界与学术界掀起了各种争论。随着时间的推移,争论的焦点也发生了变化,人们逐渐发现:GPT-3似乎不仅仅是“越来越大”这么简单。

GPT-3不仅庞大,还很强大?

照例先放地址: https://github.com/openai/gpt-3

然后就要解答一个重要的问题:GPT-3是什么?

按照官方介绍:GPT-3是由人工智能研发公司OpenAI开发的一种用于文本生成的自然语言处理(NLP)模型。它的前作GPT-2曾被赋予“最强NLP模型”的称号,一个重要的原因就是GPT-2拥有着非常庞大的规模(见下注)。

注:OpenAI 已经于2019年发布了三种 GPT-2 模型:“小型的”1.24 亿参数模型(有 500MB 在磁盘上 ),“中型的”3.55 亿参数模型(有 1.5GB 在磁盘上 ),以及 7.74 亿参数模型(有 3GB 在磁盘上 )。作为 GPT-2 分段发布中的最后一轮,2019年11月,OpenAI公开了完整 GPT-2 包含 15 亿条参数,其中包含用于检测 GPT-2 模型输出的全部代码及模型权重。

原文链接:【https://www.infoq.cn/article/l7bhKDEolj06Y9dEwJ6O】。未经作者许可,禁止转载。