人工智能重量级人物呼吁停止“超级人工智能”研究
一位孤独的商人，面对着一个巨大的大脑，站立在超现实的梦幻景观中。这幅画面唤起的是内省、智力上的挑战，以及人类心智的巨大潜能。远处蓬松的云朵漂浮着，象征着思想与创造力的无限可能。广阔的地平线促使观者思考意识的复杂性，以及自我发现与个人成长的旅程。
我们尚未准备好迎接比我们更智能的人工智能。原因如下。
我在人工智能领域已有三十多年的工作经历，其间曾与约翰·麦卡锡等先驱共事——正是他在1955年提出了“人工智能”这一概念。
过去几年里，科学上的突破催生了多种AI工具，这些工具有望在医学、科学、商业及教育领域带来前所未有的进步。
然而与此同时，一些领先的AI公司却确立了明确的目标：创造“超级智能”——不仅仅是更智能的工具，而是指那种在几乎所有认知任务上都能显著超越全人类的AI系统。
超级智能已不仅仅是炒作。它已被少数特权阶层设定为战略目标，并获得了数千亿美元的投资、商业激励、尖端AI技术以及全球部分顶尖研究人才的支持。
曾经只存在于科幻小说中的构想，如今已成为未来十年内具体的工程目标。正因如此，我与数百位科学家、全球领袖及公众人物共同签署了一份公开声明，呼吁停止超级智能的研究。
声明内容是什么？
今天，非营利组织“未来生命研究所”发布了一份新声明。与2023年我们所见到的呼吁暂时暂停不同，这是一份简短而明确的全球禁令倡议：
我们呼吁，在科学界达成广泛共识并获得公众广泛支持之前，应全面禁止超人工智能的开发。
签署者名单代表了一个极其广泛的联盟，其跨越的分歧界线在其它议题上很少能被弥合。现代人工智能的“教父”们，如约书亚·本吉奥和杰夫·辛顿，均在其中。加州大学伯克利分校的安全研究权威斯图尔特·拉塞尔也名列其中。
但对此的担忧已超越学术界。名单中包括了科技与商业领袖，如苹果联合创始人史蒂夫·沃兹尼亚克和维珍集团创始人理查德·布兰森。同时，它也汇聚了美国政界与军界的高级人物，如前国家安全顾问苏珊·赖斯和前参谋长联席会议主席迈克·马伦。名单中还不乏知名媒体人格伦·贝克、前特朗普策略师史蒂夫·班农，以及艺术家威尔·史密斯、著名历史学家尤瓦尔·诺亚·赫拉利等各界人士。
为何超级智能构成独特挑战？
人类智慧已经以深刻的方式重塑了地球。我们改道河流以发电和灌溉农田，从而改变了整个生态系统。我们通过金融市场、供应链和航空交通网络将全球紧密相连——这些宏大的协调壮举，都依赖于我们的推理、预测、规划、创新和技术构建能力。
超级智能可能会延续这一轨迹，但存在一个关键区别：人类将不再掌控局面。
危险并非源于一台“想要”摧毁我们的机器，而在于它可能以超越人类的能力和对我们需求的漠然，去追求其既定目标。
试想一个被赋予“终结气候变化”任务的超级智能代理。它可能会逻辑地决定消除产生温室气体的物种。
若让它“最大化人类幸福感”，它或许会找到一种方法，将每个大脑困在持续的多巴胺循环中。或者，借用瑞典哲学家尼克·博斯特罗姆的著名例子：一个被设定要“制造尽可能多回形针”的超级AI，可能会试图将地球上所有物质（包括人类）都转化为其工厂的原材料。
问题的核心不在于恶意，而在于“目标错配”：一个对指令理解过于字面化，却拥有巧妙且迅速行动能力的系统。
历史已经表明，当系统复杂到超出我们预测、控制或约束的能力时，会发生什么。
2008年的金融危机，始于复杂到连其创造者都无法预见其在系统崩溃中如何相互作用的金融工具。为控制害虫而引入澳大利亚的蔗蟾，反而对本地物种造成了毁灭性影响。COVID-19大流行则暴露了全球旅行网络如何将局部爆发转变为全球危机。
如今，我们正站在创造更为复杂之物的边缘：一个能够重写自身代码、重新设计自身、实现其目标，并且比全人类智慧总和更聪明的“心智”。
治理不善的历史教训
多年来，管理人工智能的努力主要集中在算法偏见、数据隐私以及自动化对就业的影响等风险上。
这些都是重要的问题，但它们并未触及创造超级智能自主代理所带来的系统性风险。关注点一直停留在具体应用层面，而非AI公司所宣称的终极目标——创造超级智能本身。
这份关于超级智能的新声明，旨在启动一场全球对话，议题不仅关乎特定AI工具，更关乎AI开发者正将我们引向的终极目标。
人工智能的目标，应该是创造强大的工具来服务人类。这并不意味着我们需要去构建一个不受人类控制、且不与人类福祉保持一致的自主超级智能代理。
我们完全可以展望一个由AI推动医疗突破、科学发现和个性化教育的未来。实现这一切，并不需要我们去构建一个可能单方面决定人类命运的、不可控的超级智能。
