人工智能导致哪些危险控制论之父在70年前就预言了

作者丨塞思·劳埃德

摘编丨李永博

人工智能是今日的神话，它既或许是未来的开端，也或许成为末世的消灭。在技能狂飙突进的年代，即便是圈内的从业者也很难获得一起的定见。被誉为“人工智能之父”的尤尔根·施米德胡贝以为人工智能终有一天会比人类更聪明，而人类也没有一点点理由为此感到忧虑。与此一起，特斯拉CEO埃隆·马斯克却在多个场合上标明要警觉人工智能。他乃至以为，人工智能的危险远远逾越核弹头。

现在咱们把时刻略微拉远一点。在“人工智能”这个概念呈现曾经，操控论正大行其道。“操控论之父”、诺伯特·维纳在1948年宣布的名著《操控论》中现已对“机器能不能具有智能”这一问题给予了正面的答复。维纳以为不只在人类和人类社会中，在其他生物集体乃至无生命的机械国际中，都存在着相同的信息、通讯、操控和反响机制，智能行为是这套机制的外在体现，因而不只人类，其他生物乃至是机器也相同能做出智能行为。维纳和他的操控论思维现在也被视为人工智能“行为主义学派”的奠基者。

诺伯特·维纳（Norbert Wiener）（1894—1964），美国运用数学家，操控论的创始人。

很多人不知道的是，维纳在70年前为人工智能勾画蓝图之时，也提出了自己对机器操控的忧虑和正告。亲历二战年月的维纳在《人有人的用途》中预言，依靠机器操控或许成为一种“新法西斯要挟”。这种“唱反调“让维纳在冯·诺伊曼、克劳德·香农等搭档之间遭到了冷遇，他们更急于把新科技转化为商业利润。

维纳的预言在现在看来是否依然有价值？2016年9月，来自人工智能范畴表里的几十位思维家在美国华盛顿打开了一场对话，在此根底之上结集成一本书《AI的25种或许》。与会者达到的一个一致是，从头审视前驱的思维永久都有价值，很多人没有意识到自己正在履行维纳的路线图。维纳关于主动化和人工智能有着怎样的顾忌？他在70年前的预言还有现实含义吗？

下文由麻省理工学院量子科技专家塞思·劳埃德（Seth Lloyd）编撰，经授权摘自Edge网站创始人约翰·布罗克曼与多位思维家一起编著的《AI的25种或许》，有删省。

《AI的25种或许》，约翰·布罗克曼 编著，王喜报 译，湛庐文明丨浙江人民出书社2019年10月版

维纳尽管有过错，却比以往更靠谱

诺伯特·维纳1950年出书的《人有人的用途》，是他两年前出书的那本影响深远的《操控论》的浅显版别。在《人有人的用途》中，维纳对在一个机械的运算才能变得益发强壮的国际中，人类与机械之间的相互效果进行了评论。这是一本充溢先见之明的书，一起也充溢了过错。这本书写于暗斗正如火如荼之时，其间的内容让人惶惶不安，它让咱们意识到极权主义安排和社会的损害，提示咱们当民主试图用极权主义的兵器对立极权主义时会对民主极为晦气。

维纳在《操控论》中，以十分详尽的科学细节描写了经由反响完结的操控进程。“操控论”（cybernetics）一词来源于古希腊语中意为“梢公”的单词，是现代词汇“管理者”（governor）的词源根底。詹姆斯·瓦特将他那开创性的反响操控设备命名为“管理者”，这一设备改善了蒸汽机的运用办法。由于维纳沉溺于研讨操控带来的各种问题，所以他将国际视为一组杂乱的、互锁的反响回路，其间传感器、信号和发动机之类的驱动器经过杂乱的信号和信息交流而相互效果。操控论在工程范畴的运用影响力极大且十分有用，使咱们有了火箭、机器人、主动装配线，以及一系列精细工程技能，换句话说，它构成了现代工业社会的根底。

不过，维纳对操控论的理念有更大的大志。在《人有人的用途》中，他以为这一理念能够运用到麦克斯韦妖、人类言语、大脑、昆虫推陈出新、法令体系、技能立异对操控的效果，以及宗教之中。操控论的这些广泛运用，简直是彻底的失利。20世纪40年代末到60年代初，人们对操控论大举吹捧，在某种程度上就像对核算机和通讯技能的过度烘托相同，而后者导致了2000年至2001年的互联网泡沫幻灭。操控论的确带来了卫星和电话交流体系，但它对社会结构及整个社会没有促进什么有用的开展。

《人有人的用途》，维纳 著，陈步 译，北京大学出书社 2010年版

可是近70年后，《人有人的用途》这本书教给咱们人类的却远比它刚刚出书时要多得多。或许这本书最大的特色便是它引进了很多关于人类与机器相互效果的主题，这些主题至今依然十分重要。这本基调暗淡的书猜想了在20世纪后半叶行将发作的几种灾祸，其间许多与今日人们对21世纪后半叶的猜想十分类似。

例如，维纳预见到在间隔1950年不远的将来，人类会将社会的操控权交给一种操控论的人工智能，这将导致对人类的严重破坏。维纳预言，出产主动化会带来产值的大幅增加，但一起也将使大批工人下岗——在接下来的几十年里，这些的确发作了。维纳正告说，除非社会能合理安顿这些失掉作业的工人们，不然暴乱将随之而来。

可是维纳没有预见到技能的严重开展。就像20世纪50年代的许多技能专家相同，他没有预见到核算机革新。他以为，核算机的价格会从50年代的几十万美元降到几万美元。不管是他仍是那个年代的其他人，都没有意料到跟着晶体管和集成电路的开展，核算机的才能会有爆发式的前进。终究，由于维纳过度着重操控，他没有预见一个技能国际的到来，在这个技能国际里，立异和自安排是从底部一点点开展而来而不是从顶部强加下来的。

维纳重视极权主义的罪恶，不管这罪恶是政治的、科学的仍是宗教的，所以他以极端失望的眼光看待国际。在书中他正告说，假如咱们不赶快修好咱们的路途，灾祸就在等着咱们。《人有人的用途》这本书出书半个多世纪今后，其时的人类和机器国际远比维纳能预见到的杂乱、多样得多，这样的国际有着广泛得多的政治、社会和科学体系。可是假如咱们弄错的话，假如全球的极权主义政权操控整个互联网的话，今日的灾祸预警就像1950年的灾祸预警相同火烧眉毛。

塞思·劳埃德（Seth Lloyd），麻省理工学院量子科技教授，圣塔菲研讨所外聘研讨员

维纳之英明

维纳在最闻名的数学作品中，评论的是信号剖析和噪声的影响。第二次国际大战期间，他构建了一种模型，能够经过核算飞机曾经的飞翔行为，猜想它未来的飞翔轨道，由此他开发了一种防空火力的瞄准技能。在《操控论》和《人有人的用途》两书中，维纳指出，依据飞机以往的飞翔行为，乃至包含人类飞翔员的古怪和习气，一个机械化设备能够猜想人类行为。像艾伦·图灵（他在图灵测验中预言核算机对问题做出的回应，将与人类没有什么不同）相同，维纳也痴迷于用数学描绘来捕捉人类行为。20世纪40年代，他把操控和反响回路方面的常识运用到生物体系中的神经肌肉反响中，还把沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）介绍到麻省理工学院，在那里，他们两人在人工神经网络方面做出了开创性的作业。

维纳思维的中心是从信息视点来了解这个国际。杂乱体系，如生物体、大脑和人类社会，是由互锁反响回路组成的，其间子体系之间的信号交流导致了杂乱但安稳的行为。当反响回路发作毛病时，体系会变得不安稳。他构建出一幅有目共睹的图景，说明晰生物体系的运行机制是多么杂乱。现在，世人已遍及接受了这一图景。

维纳把信息当作掌控杂乱体系行为的中心，这一观念在其时适当令人瞩目。如今，当轿车和冰箱中挤满了微处理器，而人类社会的大部分都环绕着与互联网相连的核算机和手机时，着重信息、核算和通讯的中心性好像毫无新意。可是在维纳年代，榜首台数字核算机才刚刚诞生，技能专家们还底子不知道互联网为何物。

维纳不只把工程的杂乱体系，还把一切的杂乱体系都当作是环绕信号和核算循环来运作的，这为杂乱人工体系的开展做出了巨大贡献。例如，他和其他人开发的用于操控导弹的办法，后来被运用于制作土星5号月球火箭，这是20世纪最巨大的一项工程成果。特别需求指出的是，维纳的操控论理论在大脑和核算机感知范畴的运用，是当今依据神经网络的深度学习和人工智能的前身、雏形。不过，这些范畴现在的开展与维纳的预见不同，它们的未来开展很或许会影响人类对人类和机器的运用。

维纳之过错

维纳的过错就在于他把操控论的理念用到了人类身上。暂时放下他对言语、法令和人类社会的考虑，看看他以为1950年后不久将会发作的一项不起眼却十分有潜力的立异。维纳以为，假如运用假肢的人能够经过他们自己的神经信号直接与假肢交流，从肢体接纳压力和方位信息并辅导其随后的运动，假肢将更有用。事实证明，这比维纳幻想的要困难得多：70年后，兼并神经反响的假肢依然处于前期阶段。维纳的理念不错，仅仅神经信号与机械电子设备的接口问题很难处理。

更重要的是，维纳和简直一切日子在那个年代的其他人相同，极大地轻视了数字核算的潜力。正如前面指出的那样，维纳的数学成果在于对信号和噪声的剖析，他的剖析办法适用于接连改变的或者说模仿的信号。尽管他参加了战时数字核算的开发，但他从未预见到半导体电路的引进和逐渐小型化所带来的核算才能的爆炸性开展。咱们很难将其归咎于维纳：究竟其时晶体管还没有创造出来，他了解的数字核算机的真空管技能蠢笨、不可靠，并且无法扩展运用到越来越大的设备中。在1948年版《操控论》的附录中，他猜想了会下棋的核算机的面世，还猜想到它们能够算出两到三步。可是，半个世纪后，一台核算机在国际象棋竞赛中打败了国际冠军，这将会令他大为惊奇。

维纳(前排左起第4位)与清华大学电机系师生合影(1936年)

高估技能的开展和奇点的消灭性危险

当维纳创造《操控论》《人有人的用途》这两本书时，一件闻名的高估了技能的作业行将发作。在20世纪50年代，人们初次测验开发人工智能。赫伯特·西蒙（Herbert Simon）、约翰·麦卡锡和马文·明斯基等研讨人员开端规划核算机程序来完结简略使命，并制作了机器人雏形。这些开始的尽力获得了成功，西蒙备受鼓动，声称：“20年内，机器将有才能完结一个人所能做的任何作业。”成果这一预言大错特错。跟着核算机变得更强壮，它们变得越来越拿手下棋，由于核算机体系能够生成许多或许的棋步，并预算这些棋步。但人们对人工智能的大都猜想，例如机器人女佣，却是不切实际的。1997年的国际象棋大赛上超级核算机“深蓝”打败加里·卡斯帕罗夫（Garry Kasparov）时，最强壮的打扫房间机器人是一个叫“伦巴”（Roomba）的机器人，它随意四处移动吸走尘埃，当它被困在沙发下面时会宣布吱吱的叫声。

猜想技能前进充溢了不确定性，由于技能前进是一系列的改善进程，困难会阻止前进，而立异则会克服困难，获得前进。许多困难以及一些立异能够被预见到，但更多的困难及立异则很难意料。我自己和试验专家协作制作量子核算机时，我常常发现，一些我以为很简单完结的技能过程，成果却是不或许完结的；而一些我幻想中不或许完结的使命却变得很简单。你不试试就永久不会知道。

20世纪50年代，冯·诺伊曼从与维纳的谈话中遭到启示，引进了“技能奇点”这一概念。技能常以指数式速度不断前进，每隔一段时刻其功能或灵敏度就会增加一倍。例如，自1950年以来，简直每隔两年，核算机功能便会进步一倍，这种现象便是“摩尔定律”。冯·诺伊曼依据观察到的技能前进的指数率，断语“技能前进将变得反常敏捷、杂乱”，在不远的将来就会逾越人类才能。事实上，假如依照现在的速度揣度未来核算机的原始核算才能增加，也便是按比特率和位翻转核算，核算机应该在未来的20到40年内开展到可与人类大脑对抗的程度，详细时刻取决于怎么预算人类大脑的信息处理才能。

人们开始对人工智能过于达观的失利猜想，使得在之后的几十年很少有人评论技能奇点的论题，可是自从雷·库兹韦尔（Ray Kurzweil）2005年出书《奇点接近》（The Singularity Is Near）后，技能前进带来超级智能的主意再次回归。包含库兹韦尔在内的一些人深信，奇点便是机会：人类能够将他们的大脑与超级智能交融，然后永生。但还有一些人，如史蒂芬·霍金和埃隆·马斯克则忧虑这种超级智能是凶恶的，忧虑它会对人类文明构成最大要挟。不过有一些人，包含本书的一些撰稿人却以为这样的说法过分夸大。

《奇点接近》，雷·库兹韦尔 著，董振华、李庆成 译，机械工业出书社2011年10月版

维纳一生的工作以及他猜想的失利，都与技能奇点密切相关。他在神经科学方面的研讨，以及他对麦卡洛克和皮茨开始的支撑，勾勒出当今极端有用的深度学习办法的概括。在曩昔的几十年里，尤其是在曩昔的5年，这种深度学习的技巧终究开展出维纳所称的“格局塔”才能，例如，你知道圆便是圆，即便当它歪斜看起来像一个椭圆时，你依旧知道它便是一个圆。他对操控论的研讨，以及他在神经肌肉反响方面的研讨，关于机器人的开展含义特殊，也启示了以神经为根底的人机接口研讨。可是，他对技能开展的误判也标明，咱们不应该彻底信任技能奇点一说。猜想技能前进的常见困难以及开展超级智能时特有的问题都应该让咱们警觉，不要高估信息处理的力气和效能。

假如维纳来到今日

维纳指出，科技的指数式前进是一个相对现代的现象，并不都是好的。他以为原子兵器和带有核弹头的导弹是人类杀死自己的最好办法。他把对这颗星球资源的张狂挖掘与《爱丽丝周游奇境记》（Alice in Wonderland）中的张狂茶会进行比照：咱们把废物丢在身边的环境中，为了持续获得前进，只需换一个当地丢掉废物即可。维纳对核算机和神经-机械体系的开展持达观态度，但对独裁政府对这些技能的运用却很失望，一些国家在面对独裁主义要挟时也变得越来越独裁，这也让他无法达观起来。

关于现在人对人的用法，维纳将有何高见？核算机和互联网的力气或许会让他大吃一惊。他参加的前期神经网络研讨现已构成强壮的深度学习体系，并展现出他所希冀的感知才能，这或许会让他很快乐。不过，关于核算机化格局塔的一个最杰出比如，即机器能在万维网上认出小猫的相片，他或许并不感兴趣。我猜想，维纳不会以为机器智能是要挟，而会把它当作一种独立的现象，这种智能不同于咱们人类的智能，并且会与人类智能一起进化。

维纳对全球变暖不会感到惊奇，这是咱们这个年代的张狂茶会。他会对代替能源技能的指数式前进标明欣赏，并将运用自己的操控论专业常识开发一套杂乱的反响回路，将这些技能整合到行将到来的智能电网中。尽管如此，当他意识到处理气候改变的问题不仅仅技能问题，也是政治问题时，他无疑会对咱们能否及时处理这个要挟人类文明的难题持怀疑态度。维纳厌烦骗子，尤其是政治骗子，但他也知道，骗子永久都在。

咱们很简单就会忘掉维纳所在的年代有多么可怕。美国和苏联打开全面军备竞赛，争相制作装置有氢弹的核弹头，将其装在洲际弹道导弹上。导弹上有导航体系，令维纳伤心的是，这个导航体系就有他的劳绩。1964年维纳逝世时，我4岁。那时候我在上幼儿园，班里的小朋友正在操练突然躲在课桌下以求在核兵器突击时得到保护。想到在他的年代人对人的用法，假如他能看到咱们现在的状况，他的榜首反响将是定心，由于咱们还活着。

作者丨塞思·劳埃德

摘编丨李永博

修改丨张进

校正丨薛京宁