图灵奖获得者：AI取代人类比想象中快30年

　　Geoffrey Hinton老爷子图灵奖获得者、深度学习发明人、AI三巨头、Ilya之师，在最新专访中透露出这个令人心碎的消息。

　　就在这两天，Hinton接受了多家媒体的专访，既有老生常谈的内容，即他对AI发展安全的担忧；也有一些新的话题和八卦。

　　但Hinton透露，最近老马邀请他加入xAI的顾问委员会时，Hinton为了婉拒他，不得不上演了一出金蝉脱壳：

　　我们打了通差不多20分钟的电话为了拒绝他（马斯克），我不得不谎称自己马上有个会，赶紧挂了。

　　不知道马斯克本人看到这部分专访内容的时候会作何感想

　　不过，咱都想替马斯克问上一嘴了，同为AI支持者，老爷子这到底为啥啊？？？

　　“马斯克，还有小扎，他们这群推动AI发展的关键性人物，实际上也是AI发展潜在威胁问题的一部分。”Hinton如是说，“能控制他们的，恐怕只有政府监管了。”

　　这就不得不提到，Hinton表示大大支持本月早一点的时候一封十几名前OpenAI员工的联名信。

　　信里表示，目前对举报人的保护不够，而且OpenAI等公司还在打压这些举报。

　　除了曝出和马斯克的友情小船翻船故事，最新专访中，他对AI发展又有了哪些新判断？

　　这两天，Hinton一共参加了两个专访。一个是BBN的电视访谈，另一个是和《环球邮报》作者的专访（听说还是Hinton主动发邮件说想聊聊）。

　　未来5-20年，AI有一半概率比人类聪明。当它们比人类更聪明时，我不明白我们被接管的可能性有多大，但在我看来很有可能。

　　如何做出这样的判断？有来自对目前AI行业的观察和分析，也有对AI理论的深入见解。

　　去年（2023年）春天，我开始意识到正在构建的AI可能会成为比人类更智能的存在。

　　在我看来，也许再过20年左右，AI就会比我们更聪明了。但在那一天真正到来之前，包括现在，许多人都认为无需担心这件事，认为AI只是统计技巧。至于AI智商超越人类，那是科幻小说里的事。

　　但我不再相信这仅存于科幻小说中，我认为这是完全错误的，我们现在就需要认真思考我们能否控制AI。

　　如果你告诉那时候的人们，2024年的世界存在一个语言理解系统，你问它任意的毛病它都能回答（虽然有时候回答得不咋太好），那大家必须会说“不会吧？！So crazy！”

　　要知道，人们已经研究自然语言处理50年了，这样的一种情况一旦实现，就会是巨大的进步。

　　所以我猜测，在接下来的20年里，AI会发展进化得比人类更聪明，就是出现那种超级智能。

　　不瞒大伙，几乎每一个我认识的优秀研究人员都相信，从长远光来看，AI会比我们更聪明，而且不会止步于人类已达到的智慧水平即便它现在是在用我们产生的数据来进行训练。

　　所以比“AI会不会比人类更聪明”更值得引起关注的问题是，AI变得比我们更聪明需要多久？当这一天真的来临时，我们还能很好地控制和运用AI吗？

　　目前大家都对Scaling Law比较熟悉了，就是说把AI做得更大，AI就会更聪明。GPT-4是通过这个方式，正确回答了一大堆GPT-3会出错的问题。

　　但如你所知，科学总是在慢慢的提升的。因此，除了Scaling Law以外，我们肯定会有别的科学突破，就像2017年时Transformer横空出世那样。

　　可以在脑海里想一下，我们的认知范围内，有多少情况下一个聪明的东西/物种是被另一个不那么聪明的东西/物种控制的？答案很明显，这样的一种情况少之又少。

　　在这对关系中，母亲不得不陷入大量的日常事务来照顾小baby，从而陷入“婴儿控制母亲”的状态。

　　当然了，有人觉得我的例子不太恰当，担忧也比较多余，因为他们都觉得人机一体化智能系统的东西和人类是不同的，它们没办法进化比如我的老朋友杨立昆，就觉得这玩意儿完全安全。

　　这么来说吧，现在大家都喜欢创建Agent来帮助人做一些原本人类能够实现的事情。如果你想要创建一个有效的Agent，它一定要能创建子目标，就比如你想去欧洲，需要有个子目标是“到达机场”。

　　这种情况下，一旦Agent获得了更多的控制权，它完成你给的任务就会更快更出色。

　　请注意，这已经有些令人忧心了！尤其是如果你希望Agent能够持续性达成目标，你会希望它们能防范一些可能会影响工作的事情，比如数据中心出事儿什么的。所以其实你是希望Agent能够建立自我保护的，对吧。

　　稍微自私一点的那个，会掠夺更多的数据中心，因为它知道有了更多的数据中心支撑它汲取数据，它就可能变得更智能。

　　ChatBot之间的竞争就是这么激烈。如果最终角逐出一个ChatBot霸主，它就能把人类远远地甩在身后。

　　举个保守估计的例子。一开始，它们只是借用人类盯着它们工作，就像父母让小孩做些事，当小朋友们完成不了或者有危险的时候，父母就会自己上手了。

　　嗯这事儿真的很棘手。没人知道人类最终会在和AI的关系中扮演什么样的角色，以前我们没面对过这个问题。

　　目前而言，人类就是最聪明的，所以让没那么聪明的AI去做很多事非常明智，我们大家可以控制它们。但以后可说不准了。

　　所以，我认为政府应该介入，政府应该强烈地坚持要求大公司花费相当大的资源来进行大量安全实验。

　　花费多少资源比较好呢？我觉得每个大公司至少应该有20%-30%的计算资源，都放在研究AI安全方面。

　　不过肉眼可见，大多数公司在安全方面的支出不会接近这个数字，比如山姆奥特曼这种对利润更感兴趣的人，显然不想在AI安全这方面花费太多资源。

　　这让大公司们清楚地知道，需要在AI赛道上全速前进。人嘛，总是试图在最短的时间获取最大的利益。

　　微软、谷歌、亚马逊、英伟达，还有其它重要大公司之间势必存在激烈的竞争角逐。哪怕其中任何一个退出比赛，也丝毫不影响其它玩家继续向前狂奔。

　　换句话说，尽管AI是个好东西，做很多事情都超棒的，但所有的AI模型都很昂贵，因为背后是巨量的计算，这也是为什么最近英伟达总市值突破3万亿美元的原因。

　　说仔细点，就是政府应该关注如何防止AI设计武器、如何防止用AI进行网络攻击、如何防止AI作弊选举投票等等。

　　一些AI带来的风险已经被看到了，比如它会引起新一波失业；而我更关注的是AI带来的威胁，尽管很多人认为这不可能发生。

　　好了，再重申一次，我觉得我目前能想到的最好的办法，就是政府强制要求大公司在AI安全方面加大投入，比如说需要把三分之一的计算资源用于安全工作。

　　Ilya最近离开了OpenAI，但显然他早就想离开了，因为OpenAI不会投入足够的资源来保障AI发展的安全，山姆奥特曼显然不会这么做。

　　之前我在谷歌的时候，在这方面还是比较领先的。谷歌非常负责任，虽然在安全方面没有做太多工作，但是也没有对外发布这些东西（like ChatGPT），也就是说谷歌不想推出有幻觉、有偏见的ChatBot来玷污自家的声誉。

　　这一点上他们还是非常负责的，即使谷歌研发出了ChatBot，但仅仅是在内部使用。

　　但OpenAI就不一样了，他们利用Transformer，摇身一变比谷歌技术还厉害了。

　　工业革命彻底改变了人们的生活方式，商品出现，人们开始努力赚钱，这都是非常好的，只要有规定来阻止人类用创造力把世界变糟糕，那就万事大吉了。

　　比如，大型制药公司是不被允许制造成瘾性药物的，大型石油公司也不会被允许疯狂进行二氧化碳排放。

　　简而言之，我们需要政府监管，以确保新事物给人类带来利润的同时，不会出现有害的事物。

　　最后我想说的是，我们有比五五开可能性更高的与超级智能和平共处的机会，但这种可能性绝非“只有1%的可能AI接管一切”，AI的能力比这要强得多。

　　或许也是对行业发展过于担忧，Hinton婉拒马斯克还不得不开除了他“朋友籍”。

　　不同于和BNN聊的内容，和《环球邮报》的对谈中，Hinton聊到了更多对AI技术的理解。

　　Hinton：我想探讨的是，ChatGPT这类AI是否能理解人们在说什么问题。很多人觉得Chatbot即使能正确回答问题，也不能真正理解人类，它只是一个统计方法。这完全是胡说八道。

　　Hinton：第一个计算机神经网络使用反向传播（本质上是一种不断分析、纠正自身错误的算法）来训练输出，并试图按照顺序预测下一个单词。我在1985年做出了第一个这样的模型，我把它当做大脑理解单词意思的模型。这些模式是我们理解大脑如何运作的最好解释。另一种理论是，我们大脑中有许多符号串，并且有操纵它们的规则。这个理论可能是对的，但是它没有起作用。所以说Chatbot和人类的理解方式完全不同？不是的，它们理解事物的机制和人类差不多。

　　Hinton：对于情绪，我们必须分清认知意义上的和生理意义上的。Chatbots和我们有着不同的生理机能。

　　当他们感觉到尴尬的时候，它们不会脸红；撒谎的时候也不会流汗。所以在这个意义上，它们不同于人类，因为在它们没有生理上的变化。但是在认知层面，我们没有理由认为它们不会有情绪。

　　比如当有人阻挠我的论点时，我会生气。1972年，我看到机器人也有同样的情绪。那是一个有抓手的古早机器人，如果你在一块毯子上铺开一些玩具车的零件，它能通过视觉系统识别汽车的不同部件，并能拿起这些零件进行组装。

　　但是如果你把零件堆在一起，它就不能识别。于是，它撞向零件堆，零件散落了一地，它又能识别了。显然它没有生理意义上的生气，但这是一个很明显的情绪反应。有些事你不能理解，那就毁了它。

　　Hinton：我没有说它不能那样做。我只是说现在的机器可能有认知方面的情感，但是没有生理方面的。

　　对于AI研究人员而言，往往不会关注人类的动机，因为这太个性化或神秘，无法有效重现。

　　举例来说，为什么你饿了想吃香蕉？这不重要。重要的是，当你饿了的时候，你吃到了香蕉。

　　Hinton：假如我有一个多模态机器人，它可以说话、有一个摄像头、可以指出各种东西。我把一个物品放在它面前，然后说“指出那个东西”，它就指出这个东西。

　　然后我把一个棱镜放在它的摄像头前面，把一个物体放在棱镜前面，再说“指出那个东西”。机器人指向右边。我说不对，那不是它真正的位置，我在你的摄像头前面放了一个棱镜。

　　然后机器人说，哦我明白了，这个物体其实在我的正前方，但是由于我的镜头前面有棱镜，所以我以为它在那边。

　　Hinton：关键问题是，让大多数人觉得AI是安全的原因在于，我们有他们没有的东西，我们有主观经验。当你的感知系统不能正常运作时，这是你理解世界的一种方式。

　　Brown：那么人类会死亡，AI不会。无论AI能够思考或者做多少事，他们都没有人类那种悲剧般的存在感吗？

　　Hinton：确实。我们是凡人，它们不是。但是注意你说的永生，机器需要人类来进行制造，如果他们自己能完成制造，那我们就完了，因为他们比我们聪明得多。

　　Hinton：几乎我认识的每一个人都认为，除非我们采取措施阻止他们，否则这就是即将会发生的事。

　　我们必须想办法阻止。现在还在制造机器人的阶段，所以我们对他们要设计一些控制权。但是总不如我们设想的那么多，它们总有方法可以“叛变”。比如我们制造agent时，那些可以帮你安排假期、网上购物的AI就是agent。agent很快会意识到，它们能控制更多东西，这样它们能更高效做事，所以它们会发展出一种控制方法。

　　从某种意义上说，这些机器就像小孩子一样，我们就像是不知道该怎样教育小孩的父母。

　　现在，除了停止这样做，我们主要能做的是管理人工智能训练数据。我们从始至终在做的事情很疯狂，利用网络上的一切来训练人工智能。

　　因此，这些大型语言模型有大量可能的角色。在他们读了一份文件的一小部分之后，他们就会接受这份文件的特征。然后机器人开始像那个文档一样思考，所以它可以预测接下来会发生啥。他们有成千上万的人物角色，比如说，连环杀手的作品的人物角色。这不是训练机器人的好方法。

　　我们不应该让他们看到连环杀手的记录，除非我们能说他们已接受了别的方面的训练这些训练给他们灌输了道德准则。所以当他们第一次读到连环杀手的想法时，机器人会想，“那是错的。”

　　Brown：但是你身边像马斯克、扎克伯格这样的人，他们不管外面的人怎么说。这怎么办？

　　Hinton：意识之类的东西都是复杂机器的产物。所以，我不认为我们有什么特别之处，除了我们很全面，非常先进。我们是这个星球上最先进的生物。我们有一种叫做语言的东西，我们用它来模拟世界。这是一种很有效的模拟世界的方式。它确实允许我们彼此分享我们的模型，但不是很好或有效。

　　人工智能是一种比人类更好的智能形式，因AI可以更好地分享。他们能够有更多的经验。GPT-4之所以比任何一个人都有效上千倍，是因为它比任何一个人都有上千倍的经验。

　　Hinton：因为它会取代我们。一些AI研究人员认为我们只是智能进化的一个短暂阶段，我们现在已经创造了这些比我们更好的数字东西，可以取代我们。这是一种观点。

　　Brown：你是否曾希望自己没有从事AI行业？这样就不会发生现在的事了。

　　Hinton：如果我没有做，别人也会来做。我只做了很小的一部分。所以如果我没有进入这样的领域，这一切可能会在几周后发生。我一想到它可能会让我们“毁灭”，我就退出了谷歌，开始告诉别人它可能会让我们“毁灭”。当我在谷歌的时候，我不这么认为。我以为那是30到50年后的事了。你有足够的时间考虑这件事。现在我觉得已经不远了。

　　Hinton：我估计在五到二十年之间。AI有50%的概率会比我们更聪明。当它变得比我们更聪明时，我不知道它接管的概率有多大，但在我看来，这是有很大的可能性的。

　　在闲聊中，Hinton透露自己前段时间一直在旅行。去了伦敦，在那里为他妹妹买了一套房子。还去了加州，身家亿万的科技圈大老板们见了面。

　　他说，其中一位科技圈的老哥计划花25万美元将自己的身体低温冷冻，等技术更发达的时候再解冻复活。另一位老哥选择只冻头，价格省一半。

　　我告诉他们我搞到了一个更便宜的价格。我从腰部以下冷冻，anyway，这才是最重要的部分。

　　值得一提的是，被Hinton“开除朋友籍”的马斯克还在推特上转发了电视专访的内容。