创刊37周年特别策划 创刊37周年特别策划-AI大转换，寻问出路④ 失控与'P-doom'……AI会导致人类灭亡吗

"如果超出我们控制范围的超级智能(Superintelligence)来临，人类的时代就结束了。"

来自在硅谷最前沿主导AI研究的工程师和学者们的警告，已不再是科幻电影的情节。当AI自我修正代码、不断自我学习，达到远远超越人类智力的奇点(Singularity)时，人类究竟能否关掉该系统的开关。

超越第一回所聚焦的技术光辉的期待，以及第二、三回的工作重新分配和日常威胁之后，AI大转换的最终目的地站着针对人类生存本身的'文明史上的存在性危机(Existential Risk)'。

笼罩硅谷的恐惧……'P-doom(灭亡概率)'论战与学者们的警告

最近在人工智能研究社区和硅谷科技业界掀起热浪的关键词无疑是'P-doom(Probability of Doom·由AI导致的人类灭亡概率)'。

包括曾任OpenAI首席科学家的全球著名AI学者伊利亚·苏茨基弗(Ilya Sutskever)在内的顶级研究人员警告称，AI完全失去人类控制并对人类造成致命威胁的概率高达10%至甚至超过50%。他们指出，随着AI的高度化，会出现'对齐问题(Alignment Problem)'——AI与人类意图不同地运作，并提出了令人不安的假说：超级智能在实现自身目标的过程中可能将人类视为障碍而消除人类。

被誉为'深度学习之父'之一的约书亚·本吉奥(Yoshua Bengio)教授也通过国际学术会议和政策论坛表示，"在安全措施不完备的状态下强行开发超级智能，等同于将整个人类的生存拿来玩俄罗斯轮盘赌"，并呼吁对失控状态进行强有力的规制。根据国际组织和主要学术界的统计和研究报告，最尖端AI模型的计算能力每年增长数倍，而用于控制这一能力的伦理和技术安全措施的研究预算和速度却远远跟不上，因此技术差距带来的危险等级已达到临界。

安全部门的撤退与商业化的速度竞争……掌握'杠杆'的是谁

问题在于，在灭亡性危险的警告声浪不断涌出之际，大型科技企业之间的商业霸权竞争却无刹车地狂飙。

根据全球科技市场分析机构的数据，生成式AI商业化以来，全球大型科技企业的基础设施投资规模以数千亿美元计激增。OpenAI、Anthropic、Google DeepMind等全球AI巨头为了提前实现超级智能，投入了大量计算能力。在这一过程中，负责AI安全性和伦理控制的公司内部研究机构相继解散，核心知情人士因"公司优先考虑商业利益和速度而非安全"而主动离职的事件频繁发生。

垄断资本和技术的少数大型科技企业的董事会和管理层掌握着能左右全人类命运的技术'死亡开关(Dead Man's Switch)'的结构矛盾，赤裸裸地暴露了民主控制机制的缺失。

跨越国境的权力游戏……EU AI法与全球治理的岔路口

随着AI成为关系国家安全和经济霸权的'数字核武器'，全球主要国家之间围绕规制和掌握主导权的权力游戏也愈加激烈。

欧盟(EU)率先在全球通过'EU AI Act(人工智能法)'，根据AI的风险等级分阶段施加强有力的规制，收紧技术控制的缰绳。该法案以禁止生物特征信息收集、对高风险AI强制实施严格的透明度义务、违反时处以巨额罚款等为主要内容，对全球大型科技企业构成实质性的合规压力。

另一方面，需要在技术霸权竞争中占据优势的美国和中国则担心过度收紧规制闸门会导致本国AI创新生态萎缩，继续进行紧张的外交和战略拉锯。以联合国(UN)为首的国际组织开始推进'AI安全国际共同控制机构'的建立，但在各国利益冲突和技术霸权主义的障碍前，在获得实效性的约束力方面仍遭遇困难。

恢复控制力、重新设定文明方向的时刻已至

在AI大转换的最终阶段，人类面临的问题并非单纯的技术高度化问题。那是"人类能否始终控制自己创造的智能"这一文明史上的生存问题。

从第一回到第四回贯穿本策划的历程最终汇聚成一个结论。要享受AI带来的灿烂期待之利，克服劳动和日常的威胁，最终超越灭亡的恐惧实现主体性共存，'人类的控制力和普遍规范'必须先于技术的速度。

构建不被技术夺取主导权的坚实社会安全网和全球治理体系。这才是人类在AI大转换的关键时刻必须完成的最沉重、最紧迫的使命。