追问AI大模型：7岁OpenAI打败24岁谷歌 做对了什么？

《科创板日报》3月19日讯（编辑，宋子乔） 十年寒窗无人问，一朝成名天下知。当坐在旧金山先锋大厦的写字楼中埋头写代码的时候，OpenAI首席执行官Sam Altman是否会想到，2023年，自己的面孔将如此频繁地出现在各大科技媒体的封面？

人类是多么喜爱类比思考，如同在互联网2.0时代追问“为什么是苹果？”一样，新问题来了：为什么是OpenAI？

长期以来，谷歌一直占据着人工智能领域的头把交椅，基于这一点，这一问题可被进一步具体化——OpenAI为什么能在和谷歌的较量中胜出？

解谜第一步，了解你的探索对象。

▌大卫挑战歌利亚

ChatGPT的开发商OpenAI一出生便“自带光环”——

2015年12月，美国知名VC机构Y Combinator的合伙人兼总裁山姆•阿尔特曼（Sam Altman）、Linkedin创始人里德•霍夫曼（Reid Hoffman）在旧金山成立了OpenAI，特斯拉CEO埃隆•马斯克（Elon Musk）、PayPal联合创始人彼得•蒂尔（Peter Thiel）、Stripe的CTO布罗克曼（Greg Brockman）等人共同认捐10亿美元。

彼时的人工智能领域，17岁的谷歌独领风骚。3个月后，其收编已有一年的DeepMind，以AlphaGo战胜人类围棋世界冠军，也为人工智能行业注入了一针强心剂。

而OpenAI意气风发，将自己定位为非盈利性组织、承诺将免费分享开发代码，目标很明确——遏制谷歌在人工智能领域的垄断地位。

大卫与歌利亚的对决就此拉开序幕。

2019年初，OpenAI宣布从“非盈利”性质过渡到“封顶营利（capped for profit）”，成立子公司OpenAI LP并“抱上金大腿”——引入了微软的10亿美元投资。阿尔特曼也正是在此时辞去了YC集团（Y Combinator的母公司）总裁职务，全身心投入到OpenAI并担任CEO。

野心有了，但前路荆棘丛生，少年满眼迷茫。

想要成功挑战谷歌在人工智能领域的地位好比蚍蜉撼树，更遑论谷歌CEO桑德•皮查伊（Sundar Pichai）在2016年5月宣布将公司战略转为“人工智能为先”（AI First）。

阿尔特曼曾在2019年被问及OpenAI要如何实现盈利，他坦言，“老实说，我们不知道（honest answer is we have no idea）”。

▌选择大于努力

与其将ChatGPT背后的大模型GPT视作一个颠覆式创新，倒不如说它是站在前人肩膀上的集大成者。

GPT的“T”是指Transformer架构，该架构是其技术底座，由谷歌研发而成，已经开源。特斯拉自动驾驶、预测蛋白质结构的AlphaFold2模型都是在Transformer的基础上构建的。

起点明显低于谷歌，OpenAI要如何翻盘？

阿尔特曼的一句话给出了解谜线索——“无论做什么创业公司都会很辛苦，不如干票大的。”（Startups are very hard no matter what you do , you may as well go after a big opportunity.）

“a big opportunity”是什么？大模型是也。

2015年之前，人工智能的江湖，小模型遍地走。有科技业内人士分析称，国内在ChatGPT上落后的原因，是之前把资源更多地放在产业互联网和B端业务，涉及的是产业端的小模型，而没有把精力放在面向C端的通用人工智能，导致错失了时间窗口机遇。

当然，一直以来，大模型也是谷歌在内的大公司的研究方向。但能做到“孤注一掷”、“钟爱”GPT路线的，只有OpenAI一家。反观谷歌先后推出了BERT、T5、Switch Transformer、PaLM-E等模型，可谓广撒网。

即便在与谷歌的较量中长期落于下风，OpenAI也没有放弃将GPT作为唯一路线——

2018年，OpenAI推出了1.17亿参数的GPT-1，谷歌推出了3亿参数的BERT。结果是，发布更早的GPT-1完败晚4个月发布的BERT。在当时的竞赛排行榜上，阅读理解领域被BERT屠榜了。此后，BERT成为了NLP（自然语言处理）领域最常用的模型。

OpenAI选择“硬刚”，此后几年，在几乎没有改变模型架构的基础上，OpenAI陆续推出参数更大的迭代版本GPT-2、GPT-3。

与谷歌一同在AI的荒野上求索，OpenAI选择了人迹更少的一条路，再次印证“选择有时候比努力更重要”。

▌被贵人“放养”的义子

10亿美元的启动资金让OpenAI含着金汤匙出生，但奈何其花钱如流水，上千亿规模的大模型光训练费用就要上百万美金。投靠微软后OpenAI丝毫不该本性，前者好比收了一个大手大脚却不争气的义子。

微软选择了“放养”，用金钱为GPT大模型打造一条护城河。但天下没有免费的午餐，微软并不是为了做慈善。

阿尔特曼的作用再次体现，他多次飞去西雅图，为微软CEO萨蒂亚•纳德拉（Satya Nadella）现场展示OpenAI的模型。

经过多次谈判，两者达成了独特的合作模式：

业务上，微软成了OpenAI的唯一云计算供应商和“首要合作伙伴”，其他公司想使用OpenAI的技术，最好的方式是搭上微软的Azure云计算梯子。

利润分配上，微软相当于“租了OpenAI”，一旦OpenAI超额盈利，微软能直接“提现”。即微软新一轮投资完成、OpenAI LP首批投资人收回初始投资后，微软有权获得OpenAI LP 75%利润；微软收回130亿美元投资、从OpenAI LP获得920亿美元利润后，它分享利润的比例从75%降到49%；OpenAI LP产生的利润达到1500亿美元后，投资方的全部股权转让给OpenAI的非营利基金。

这笔买卖，纳德拉并不吃亏。据市场消息，在2019年到2023年之间，微软又投资了20亿美元。

▌再度借势谷歌实现技术跃迁

在通往大模型的路上，OpenAI用七八年的时间只磨一剑，此刻霜刃未试，只需一阵恰如其分的东风。这阵风起于2022年——最新版本的GPT实现了量变到质变的突破，完成了技术跃迁，对手谷歌起到了关键作用。我们可以来回顾这个过程：

如今，GPT大模型被称为暴力美学的典范，验证了“模型越大，性能越好”的逻辑。但曾几何时，这一逻辑长期跑不通。

OpenAI的研究者最开始认为语言模型的性能与模型尺寸的关系可以通过对数线性曲线预测，即模型尺寸呈指数增长时，性能会随之线性增加（见下图）。

在这个阶段，即便最大的 GPT-3，其性能也不能胜过小模型，故NLP的研究聚焦在更小的模型或者高效参数适应，大模型前途一片黯淡。

转机出现在2022年1月。一位谷歌研究员对模型训练方式做出了一个小小的改变，正是这个创新，彻底改变了大模型的命运。

该研究员叫Jason Wei，他提出了“思维链”的概念，一种针对模型训练的离散式提示学习方式。简单来说，就是将问题的“思维过程”提示给模型，指导它获得更好的答案。

标注思维链后，大模型似乎增强了理解力，回答问题的准确性大大提高，进而推翻了推翻上述比例定律，颇有种“山穷水尽疑无路 柳暗花明又一村”的感觉。

借助新的训练方式，当模型尺寸足够大、达到一定规模时，会突然获得小模型不具备的能力，让模型的性能急剧增加、超越比例曲线（见下图）。

之后的故事，如你所见：ChatGPT甫一上线，上百万用户疯狂涌入并在社交媒体上转发对话截图；大洋彼岸的中国，股市里一众板块你方唱罢我登场，而这一切都发生在短短四个月之内。

▌结语

如果非要为OpenAI的成功寻求一个答案，那么你可能得到一句口水话：OpenAI做对选择并坚持了下去，期间找到“贵人”微软相助守住了这份少年意气，没有放弃每一个借力向上的机会。

如今，更有无数追随者正奔赴大模型领域，它们追寻着OpenAI的选择，但是行百里者半九十，能否坚持下去就要看各自的本事了。

标签：

版权声明：本文由用户上传，如有侵权请联系删除！