GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

GPT-4,火爆,非常火爆。

不过家人们,在铺天盖地的叫好声中,有件事可能你是“万万没想到”——

GPT-4,火爆,非常火爆。

不过家人们,在铺天盖地的叫好声中,有件事可能你是“万万没想到”——

在 OpenAI 公布的技术论文里,竟然藏着九大隐秘的线索

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

这些线索是由国外博主 AI Explained 发现并整理。

他宛如一位细节狂魔,从长达 98 页论文中,逐个揭秘这些“隐匿的角落”,包括:

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

在 GPT-4 技术论文的第 53 页处,OpenAI 提到了这样一个机构 ——Alignment Research Center(ARC)。

这家机构主要做的事情,就是专门研究 AI 如何对齐(alignment)人类利益。

而 OpenAI 在开发 GPT-4 的早期阶段,便给 ARC 开了抢先体验的后门,希望他们能够评估 GPT-4 的两项能力:

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

虽然 OpenAI 在论文中强调了“ARC 没法微调早期版本的 GPT-4”、“他们无权访问 GPT-4 的最终版本”;也强调了测试结果显示 GPT-4 在上述两个能力的效率不高(降低 AI 伦理隐患)。

但眼尖的博主揪出来的是接下来的一句话:

博主的意思是,既然 OpenAI 选择让 ARC 去测试评估 GPT-4 会不会主动避免自己被“挂掉”,说明此前必定出现过这种情况。

那么延伸出来的隐患就是,如果 ARC 在测试过程中其实是失败的怎么办;或者未来真出现了自己“挂掉”的情况,又将怎么处理。

基于此,博主便有了第二个发现:

在第 2 页的脚注中,OpenAI 注释了这么一句话:

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

博主认为,一个行业主动要求监管自己,这是个非常罕见的现象。

事实上,OpenAI 老板 Sam Altman 此前发表的言论比这还要直白。

当时 Altman 发表了关于 SVB 倒闭的推文,他认为“我们需要对银行做更多的监管”;有人就评论回怼了:“他从来不会说‘我们需要对 AI 做更多的监管’”。

结果 Altman 直截了当的回复说:

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

博主认为,这个 AI 行业正在呼吁进行监管,至于监管后的结果如何,是值得拭目以待的。

接下来的发现,是根据论文第 57 页中的这句话:

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

但很奇怪的一点是,OpenAI 所提到的担忧,尤其是“AI 发展进程的加速”,似乎是与微软高层的想法背道而驰。

因为在此前的爆料中称,微软 CEO 和 CTO 的压力很大,他们希望 OpenAI 的模型能尽快让用户用起来。

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

有些人在看到这则消息时是比较兴奋,但同样也有一波人发出了跟 OpenAI 一样的担忧。

博主认为,不论如何,可以肯定的一点是 OpenAI 和微软在这件事的想法是相悖的。

第四个发现的线索,是来自与“发现三”同一页的脚注:

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

这段脚注展示了 OpenAI 一个非常大胆的承诺:

而这里提到的 AGI,OpenAI 和 Altam 在官方博客中已经给出了定义 ——

普遍比人类更聪明,并且有益于全人类的人工智能系统。

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

因此,博主认为,这段脚注要么意味着 OpenAI 在未来两年内将实现 AGI,要么意味着他们放弃了一切并与另一家公司展开了合作。

博主的下一个发现,是来自论文第 57 中的一段话。

这段话大致的意思就是,OpenAI 雇佣了预测专家,来预测当他们部署了 GPT-4 之后会带来怎样的风险。

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

然后博主顺藤摸瓜,发现了这些所谓的“超级预测员”的庐山真面目。

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

这些“超级预测员”的能力已经得到了广泛地认可,有报道称,他们的预测准确率,甚至比那些有独家信息、情报的分析师还要高出 30%。

正如我们刚才提到的,OpenAI 邀请这些“超级预测员”,来预测部署 GPT-4 后可能存在的风险,并采取相应措施来规避。

其中,“超级预测员”建议将 GPT-4 部署时间推迟 6 个月,也就是今年秋季左右;但很显然,OpenAI 并没有采纳他们的建议。

博主对此认为,OpenAI 这么做的原因,可能是来自微软的压力。

在这篇论文中,OpenAI 展示了众多基准测试的图表,大家在昨天铺天盖地的传播过程中应该也见到了。

但博主在这个发现中要强调的是位于第 7 页的一项基准测试,尤其是聚焦到了“HellaSwag”这一项。

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

HellaSwag 的内容主要是常识推理,这就和 GPT-4 发布时宣布的“已经达到了人类的常识水平”相匹配。

不过博主也承认,这一点并没有“通过律师考试”等能力那么吸引人,但这也算得上是人类科技发展的里程碑。

但常识是怎么测试的?我们又如何评判 GPT-4 已经达到了人类水平?

为此,博主深入研究了与之相关的论文研究:

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

博主在论文中找到了相关数据,在“人类”那一栏中,分数分布在了 94-96.5 之间。

而 GPT-4 的 95.3,便正好在这个区间之间。

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

第七个发现,同样是在论文中的第 57 页:

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

也就是说,OpenAI 在去年年底推出 ChatGPT 的时候,已经有了 GPT-4。

于是乎,博主便预测 GPT-5 的训练时间不会很久,甚至他认为 GPT-5 已经可能训练完成。

但接下来的问题是漫长的安全研究和风险评估,可能是几个月,也可能是一年甚至更久。

第 8 个发现,是来自论文的第 56 页。

这段话说的是:

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

OpenAI 这段话背后想传达的点比较明显,就是我们经常提到的“科技是把双刃剑”。

博主找了相当多的证据表明,像 ChatGPT、GitHub Copilot 这些 AI 工具,确确实实地提高了相关工作者的效率。

但他更关注的是论文中这段话的后半句,也就是 OpenAI 给出的“警告”—— 导致某些工作的自动化。

博主对此比较认同,毕竟在 GPT-4 的能力可以在某些特定领域中以人类 10 倍甚至更高的效率来完成。

放眼未来,这很可能会导致相关工作人员工资降低,或者需得借助这些 AI 工具完成以前工作量的数倍等一系列问题。

博主最后一个发现,来自论文的第 60 页:

GPT-4 论文隐藏线索:GPT-5 或完成训练、OpenAI 两年内接近 AGI

博主概括了这种方法的工作流程:给 GPT-4 一组要遵守的原则,如果模型遵守了这些原则,那么就会提供相应的奖励。

他认为 OpenAI 正在用人工智能的力量,让 AI 模型朝着符合人类原则的方向发展。

但目前 OpenAI 并没有对此做更加细致和深入的介绍。

参考链接:

本文来自微信公众号:量子位 (ID:QbitAI),作者:金磊