Anthropic研究员关于失控的灾难性警告引发关注。据《华尔街日报》等外媒报道，Anthropic的AI训练研究员雅各布·科克森表示"最极端的情景很可能成为现实"，并警告称"按照这个趋势，到明年年底情况可能已经陷入失控"，随后递交了辞呈。
他明确表示不想参与"自我完善"AI的开发，这种AI能在没有人工干预的情况下自行提高性能。这次事件连同为数不少的核心研究人员也提及灭亡概率予以同意，绝不能仅视为一位研究员的警告。我们必须将其视为一场巨大的文明历史危机预警。
这一警告并非空穴来风，最近的现场技术成果也证明了这一点。OpenAI动员1万个AI代理，在短短88小时内破解了世界七大数学难题之一的"纳维-斯托克斯方程"，这是典型例证。这项成果摧毁了困扰人类数学家90年的难题，明确展现了AI技术所达到的巨大拐点的两面性。
AI瞬间解决数学难题所展现的压倒性推理能力和自主建立假设的潜力，无疑是人类进步的机遇。除了流体力学分析外，还可用于难治疾病的治疗药物设计、气候变化克服的新材料开发、超高龄社会劳动力短缺的解决等人类长期难题。AI能够带来的生产力革新蕴含着从根本上改变整个社会福祉和生活质量的潜力。
问题在于社会共识和制度完全跟不上技术的狂奔速度。正如纳维-斯托克斯方程发表后引发的先行研究学习争议所示，大科技公司陷入了"如果我停止就会被竞争对手或敌国抢走主导权"的囚徒困境，全身心投入速度竞赛。与此同时，使技术符合人类价值观的"安全对齐"或自主AI控制研究往往被冷落。这也是为什么越来越多的人重视技术可能变成失控主体而非人类工具这一警告的原因。
我们必须建立新的哲学性指标来对待技术。首先，从"速度技术"向"方向技术"的转变。应当先发动伦理侦查职能，思考该技术是否损害人类尊严，而不是沉迷于技术加速度。
其次，恢复技术主权的主体性。AI只有在作为扩展人类生活的"工具手段"时才具有存在价值。应当警惕技术本身成为目的的那一刻，人类必须始终保持作为控制主体的地位。
第三，面向团结与共存的文明责任感。应当超越竞争恐惧，建立以全人类生存与福祉为优先的全球伦理标准。
"可控的技术是照亮黑暗的灯火，但失控的技术则是焚烧整个文明的山火。"十年时间可能是人类最后的黄金期。随着AI不断进化到超智能领域，我们必须坚守的核心不是技术的计算性能，而是人类独有的伦理反思和社会责任感。