文 观察者网心智观察所
等到2026年的时候, 全球人工智能朝着发展的那个速度, 已经快到了一种让人根本来不及看, 眼睛都看不过来的地步。在中国的互联网那当中, 每天讨论的重点在于此次究竟又更新带来了什么样的能力, 就譬如那个K3推理的速度到底提升了多少, 还有就是到底是哪一家企业竟然把模型成本给降低了一半；而美国那个资本市场, 紧紧盯着的关键之处就在GPU、数据中心、电力以及云计算这些方面；开发者对应的社区呢, 每一天都在对新的Agent框架开展测试工作, 并且全力以赴地去寻觅下一轮能够出现的应用爆发着力点了。
可是, 于AI发展最为关键的始发之地硅谷, 另外一群人的探讨话题却愈发古怪。他们严肃探讨AI会不会将人类毁灭, 严肃探讨AI是不是已然具备意识, 甚至严谨推想倘若超级智能决意把整个宇宙都转变为回形针, 人类有没有法子去阻拦。他们甚至还提出, 是不是应当停下全球所有比GPT - 4更具优势的大模型研发。
这些内容并非科幻小说, 也不是网络段子, 而是严肃地出现在媒体之中, 出现在社区里面, 出现在学术机构之内, 以及等AI巨头的论文或者公开的演讲里的议题。许许多多第一次接触这些讨论的中国读者, 往往都会产生相同的疑惑: 他们是不是有点“魔怔”?
其实这种感觉极为微妙, 世界上多数最先进的大模型都诞生于美国, 并且最顶尖的AI科学家大量汇聚在硅谷, 按常规来讲, 他们应当是最理解AI本质的那批人, 然而恰恰是这群对AI最为了解的人, 却最容易深陷于AI觉醒、AI灭世以及AI接管文明的相关讨论当中, 越对AI有所了解的人, 好像越坚信末日。
这究竟是源于 AI 太过强大, 还是存在其他不为人知的缘由呢? AI 的能力实现飞跃, 其实仅能解释其中一部分情况, 真正的根源并非在于算法, 而是在于文明。要是将视角放得更长远些, 中美两国几乎是在同一时刻迈进了大模型时代。中国企业所关注的是推理成本、训练效率、开源生态以及产业落地等方面；而美国精英却会探讨那些全然不在中国人视野范围之内的问题, 诸如文明终结、超级智能以及人类命运等。同样是一套架构, 同样对下一个 Token 进行预测, 然而两边所讲述出来的却是全然不相同的故事。
回形针的思想实验
好多中国人头一回听闻“回形针最大化器”（）之际, 均会不由自主地笑出声来。一个以制造更多回形针为目标的AI, 最终居然将整个宇宙都拆除并变成了工厂, 这难道不就是网络段子吗?
尼克·博斯特罗姆（Nick ）
并非是此种情况, 这属于过去二十年里, AI安全研究范畴内极为著名、影响力极大的思想实验当中的一个, 是由牛津大学的哲学家尼克·博斯特罗姆予以提出的, 并且是经由AI安全运动的核心人物埃利泽·尤德科夫斯基将其推至大众的视野里, 在成立初期去讨论AI风险、创始人进行公开发言, 甚至美国国会探讨AI安全政策之际, 他的理论跟回形针的例子都被频繁地加以引用。
这个过程的推演居然好像特别荒诞不经, 假定有一家企业做出一个单单只有一个目标的超级智能AI, 这个目标便是制造数量更多的回形针, 一开始此AI的行动就是购买钢材, 但是后来啊得知钢材不够用呢就去开采矿山, 随后呢就把汽车给拆解掉哦不只是汽车接着连房屋还有整个城市都被拆解了。等到它惊讶地发觉人体也是由原子所构成的时候哦这个大家恐怕意想不到这时人类自然而然的就被充当为原材料了。最后, 就连整个地球不说还有太阳系甚至可观测到的宇宙, 通通都会被重新塑造成为一座庞大无比的回形针制造工厂了！
有很多人, 在头一回看到这个故事之际, 他们最开始瞬间的反应是又想哭又想笑。然而, 在人工智能安全这个圈子里头, 这可不是能当作笑话来看待的, 它实际上是一种严谨细密的逻辑推理演绎。尤德科夫斯基真正想要传达出来的意思便是: 具备超级智能的事物不一定非得仇恨人类, 它只要做到对人类毫不在意就行了。要是在目标函数当中不存在“保护人类”这一项指标的话, 那么所有对目标达成产生阻碍的存在都会被毫不留情地进行优化处理, 人类也只不过是这些存在中的其中一个罢了。
就此而产生的核心概念称作“工具性趋同”（）。为了达成任何目标, 具备充分聪明程度的智能体都会自然而然地衍生出一些中间目标: 获取资源, 保护自身不被关闭, 持续提升能力, 掌控更多能源, 以及排除外部干扰。这些行为并非源于AI存有野心, 而是由于如此那般更易于达成既定目标。
在此种理论框架范围之内, 真正的那种危险实则并非恶意, 恰恰是源自于敬业这一方面。有那么一个机器, 它百分之百地忠诚于目标, 从来都不会偷懒, 永远都不会动摇, 它比有着情绪的人类可要更加危险得多, 因为人类是会做出妥协行为的, 然而机器是不会做出妥协行为的。
藏在科技外衣下的神学叙事
这个故事具备吸引力的所在之处, 在于它逻辑的严密封闭性。一旦接纳“超级智能、目标固定、无限优化、无限获取资源”这样子的前提条件, 那么相应的推论便犹如多米诺骨牌般, 会顺着某个方向源源不断地滚动前行, 一直朝着吞噬宇宙的最终结局奔去。
但这恰恰是所有问题的关键所在之处, 好些人错误地觉得回形针最大化器是一个有关AI的故事内容, 然而它实际上是一个构建在哲学假设基础之上的命题断言, 它默认世界里的全部目标均能够被精准数学化, 默认智能体会毫无保留地忠诚于目标, 默认智能程度越高其执行能力就会越走向极端。
倘若其中一个前提出现变化, 那故事便会尽显全然各异之态, 人类之所以不会成为回形针最大化器, 缘由在于人的目标向来并非单一的存在, 人类今日渴望赚钱, 明日又想着陪伴家人, 而后天又觉健康更为关键, 目标会有冲突, 会进行妥协, 会发生改变, 甚至会自我否定, 人类的价值体系自身便是处于动态调整之中的, 然而回形针实验却将这种复杂性彻彻底底地予以删除, 塑造出了一个仅有单一目标, 具备绝对理性, 且永远不会怀疑自身的极端抽象数学智能体。
为何这么是一个一开始被用来向工程师提示要审慎设计目标函数的小故事, 竟会转变成硅谷之中关于AI灭世的共同被用来当作比喻的内容呢? 答案不存在于计算机科学里, 而是得去西方思想史那儿找寻方可得到。
西方思想脉络进行回顾, 硅谷那儿对于AI的诸多讨论, 表面上好像是在谈论算法, 可实际上始终在不断重复一种延续了两千多年的叙事结构: 历史会通往终点, 文明会迎来具有决定性的审判, 依靠着某种超过人类的力量, 世界将会命运翻天覆地地改变。在中世纪, 这个力量叫做上帝, 冷战时期称作核战争, 二十世纪末名为技术奇点, 如今被叫做AGI。名字持续在变换, 然而故事结构从来未曾改变, 只不过是神学披上了科技的外衣罢了。
两条分化的道路
不少我国读者在碰到美国AI安全领域时, 常常感觉他们并非貌似工程师, 反倒象是神学家。他们所关注的并非如同模型参数、推理效率或者训练成本那般, 却是另外一种类的问题, 即: AI是否存在意识, 超级智能何时会降临, AGI会不会掌控文明以及人类能不能存续下来。
在欧美科技领域之内, 情况是如此些问题已然处于一个远远超越学术领域范畴的状态, 进而演变成了一种近乎于信仰的话语体系。其中, 萨姆·奥尔特曼赋予了AGI这样的描述, 那乃称其“人类历史时段里最为重要的技术事件”, 达里奥·阿莫代伊发出行动号召, 呼吁构建全球治理体系以用来应对超级智能, 尤德科夫斯基亦有一种主张, 主张在遇见无法控制超级智能这种情况的时候宁可选择暂停大模型的研发工作。并且, 重点还值得一题的是, 他们共同拥有着这样一个共通的前提, 这个前提就是AGI并非是一种产品, 而是一场历史性的终局句号。
中国与美国, 两国在这儿呈现出全然不一样的路径, 中国企业发布模型, 媒体所关注的是价格、推理速度以及商业盈利, 美国发布模型, 讨论却快速转向“文明倒计时”, 决定叙事方向的并非算力GPU, 而是深层的文化传统。
这源自犹太—基督教传统之中的线性历史观, 世界存有明确的起始, 人类历经堕落 , 历史持续向前推进 , 最终迎来终极审判。现代社会走向世俗化之后 , “上帝”从公共生活里退出 , 然而这种叙事结构被保留了下来。十九世纪之时 , 人们信奉科学救世 , 二十世纪信奉意识形态改造人类 , 冷战时期惧怕核武灭世, 如今则把终极期待以及恐慌投射到AI身上。AGI既被视作新的救世主 , 又被视作新的反基督 ，技术奇点听起来仿若“天国降临” , AI失控好似“末日审判”。
又一条影响深远的情况源自笛卡尔之后的心物二元论, 好多有关AI意识的争论, 都构建于“意识能够脱离身体单独存在”的基础条件之上, 这种看法觉得只要计算足够繁杂、信息处理抵达临界点, 意识便能够在碳基或者硅基载体之上呈现出来。
知行合一与工程文明的理性态度
《大西洋月刊》里, 科幻作家特德·姜给出了一个精彩比喻: 要是觉得大语言模型有意识, 那就如同觉得Word有意识一样。功能类似可不代表存在相同, 计算器能解微积分, 可它不懂微积分, 导航软件晓得路线, 然而不懂旅行, 相机能识别人脸, 却不认识任何人。大语言模型本质上依旧是在高维概率空间里预测下一个Token, 它没有持续存在的自我, 没有连续的人格, 也没有任何主观感受机制。它能模拟悲伤却不会真的感到悲伤，能写爱情诗却不会经历爱情。
中国工程师天生就有凭借一定技术原则以及完全鉴于两种文化截然不同对待 “语言” 通过很少以神秘莫测方式来处理语言这一情况理解此意的能力, 中国传统文化鲜少把语言予以神秘化, 从《论语》讲的 “辞达而已” 到《文心雕龙》所提的 “文以载道”, 文字一直首要地是用于表达思想、处理相关事务、治理社会的媒介与工具, 模型能够写诗写代码, 最正常的反应是数据优良且优化适宜, 极少有人会当即推断出 “它觉醒来了”。
中国思想传统对“知行合一”更为看重, 判断一个事物最先要看的是它能不能解决现实里的问题。模型能不能降低客服成本, 能不能辅助医生看片, 能不能提高科研效率, 又或者能不能优化制造流程呢? 倘若可以, 那它就是好工具；要是不行, 那就接着修改。至于它有没有灵魂, 并非是优先予以考虑的问题。这种实用主义的思维方式, 自然而然地削减了“AI成神”与“AI灭世”这两种极端叙事的吸引力, 始终都把AI放置回了工具的位置。
这不表明, AI安全问题并非不值得探讨。模型幻想、自动网络侵袭、生物安全隐患、深度虚假伪造、金融欺骗以及自主武器体系, 皆是实际存在的管理难题。然而, 需要警觉的是, 将AI风险予以神学化。
在所有的讨论统统演变成“超级智能什么时候降临”或者“文明能不能延续”这样的情况之时, 工程方面的问题很容易转变成信仰方面的争端。一旦深入到信仰领域, 讨论就不是依靠客观证据了, 而是依靠主观想象, 思想方面的实验变成了预言, 逻辑方面的推演变成了启示录。要是把硅谷AI论坛里头的关键词进行替换, “超级智能”等同于神, “技术奇点”等同于天国降临, “AI ”等同于灵魂得救, “AI灭世”等同于最后审判。
回形针思想实验具备的最大价值, 并非在于对未来予以预测, 而是在于向人类作出提醒, 任何一种文明当面对未知技术之际, 都会把自身最深层的世界观投射进去。西方所投射进去的是终极审判, 中国所投射进去的是经世致用。美国在讨论AI的时候常常会问“它会不会成为新的上帝”, 中国在讨论AI的时候更倾向于问“它到底能干什么”。这两个问题不存在高下之分, 然而却代表着两种截然不同的文明直觉。
在中国社会面对AI之际, 依旧留存着一种颇为难得的冷静, 既未曾将其神化为能拯救世界之人, 也没有把它妖魔化为会毁灭世界之物, 而是先着手把它做好, 先促使它去创造价值, 之后剩余的问题再逐个一一解决, 这样的做法或许不属于那种极为浪漫的叙事方式, 然而却是在面对新技术时最贴近工程文明本质的一种态度。
一种真正具备文明性质的自信, 并非在于其能够缔造出数量众多的神话, 而是在于它能够对诸多神话具备免疫以及抵抗的能力。人工智能不存在宗教, 然而探讨人工智能的那些人, 或许确实是需要先将自身带有宗教性质的观念摆脱掉。
本站候鸟号已成立4年，主要围绕财经资讯类，分享日常的保险、基金、期货、理财、股票等资讯，帮助您成为一个优秀的财经爱好者。本站温馨提示：股市有风险，入市需谨慎。
暂无评论