著名宗教哲学家何光沪教授 图片来源：中评网
一．
我想从我的专业角度，或从宗教角度来谈谈人工智能，意在提醒：我们必须“学会自我规限，预防灭顶之灾”。
大家似乎已经比较熟悉“人工智能”，例如手机，就是一种人工智能的终端。按照一些专家的总结性说法，人工智能的发展有三个阶段。第一个阶段，是“狭义人工智能”或称“弱人工智能”阶段。其特点是，我们赋予了人工智能一定的或某些方面的人类能力，比如计算、记忆、谋划等能力；我们赋予了它们特定的技能，以便完成特定的任务， 比如让阿尔法狗能够学习围棋技巧，以便战胜世界围棋冠军。当然， 我们已经看到，弱人工智能似乎并不“弱”，实际上，它们具备很多其他的惊人强大的功能。
我们应该提到，在世界各国当中，中国在这方面是相当强的。例如先进的机器人，中国拥有数量很多。我看一个材料说，短时间购买最先进的机器人，美国买了30万台，中国买了33万台，而且正在动员力量，大力研发。
人工智能发展的第二个阶段，是“广义人工智能”或称“强人工智能”。这个东西同狭义人工智能的最大区别，是它可以得到全面的人类能力， 除了有自我学习、自我改进的能力，还能够确定目标，甚至有繁殖的能力——它可以制造很多的后代，改进了的、比自己更强的后代。
这个阶段的到来，人工智能界内有少数人认为需要几百年，甚至上千年；理由是， 人工智能似乎没法具备人类的一些能力，例如感情。然而在人工智能界，很多人认为这可以做到， 而且， 广义人工智能最快5到10年就会出现；业内绝大多数人认为，2075年，或者说本世纪的下半叶，广义人工智能就会出现。
这将是一个重大转折点。因为人工智能处理能力的增长，是几何级数或指数级的增加，所以其学习能力以及其他方面的能力，都会爆炸式地增长。于是，在“广义人工智能”出现以后，我们会在几年之内甚至几个月之内，进入第三个阶段，就是所谓“超级人工智能”的阶段。
“超级人工智能”比人的能力强大得无法比拟。 其增长的速度，可能是几分钟之内成百倍，很快就变成百万倍，然后变成百亿倍！以这样的速度来增加能力，它们很快就可以控制这个世界或者控制人类，所以极其危险。
这就引出一个问题，即，我们必须进入这样一个阶段——“友好人工智能”的阶段。这意思是，我们必须使“超级人工智能”不对人类造成危害。可惜，对此，我们现在毫无把握，甚至无法预测！
二．
在座有法律学界、经济学界、政治学界的著名学者，他们的发言我非常关心、非常钦佩。每年年初来这里，我都有很大的收获，得到很大的鼓舞。
在人工智能方面，我当然是外行。但是这问题太重要，从我的专业或宗教的角度思考一下，也许有参考的价值。大家知道，世界上的宗教太多，许多观点都不一样，所以我只能从其中最大的或人数最多（23亿，占世界人口三分之一）的宗教，即基督宗教的角度来说说。就这个问题即上帝（或天主或真主或雅维）创造世界而且造人这个问题来看，基督宗教的基本观点同犹太教、伊斯兰教的观点基本一致。这三个宗教的信徒超过了世界人口的一半以上，如果加上印度教徒，就已经超过了世界人口的70%。
1. 从宗教角度来看，我们首先应该谈谈“学会自我规限”。规限？从何说起？大家知道，有一个世人皆知的重要故事，是基督教的，也是这三个宗教共同的故事， 即“创世”的故事。
这个故事说， 人和世界一样，是上帝的造物；但是，与世间万物不同，人是按照上帝自己的形象创造的。什么是上帝的形象？当然不是米开朗琪罗画的那种形象——一个白胡子老头。对于什么是上帝的形象这个问题，神学的回答复杂多样，还有争议。既然上述三种宗教都认为，世间万物都不是按照上帝的形象创造的， 只有人是这样，那么，上帝的形象就可以用这样一种方法去探索，即，看看人同万物有什么不同。那不同之处，如果不是人自己造的，那就很可能至少是上帝形象的一部分吧。
人同万物的不同之处， 即万物所无、只有人才具备的性质，就我们现在了解的来说，至少有三点：
一、自由，就是一事当前，不由法则来决定，而由意志来选择的能力。不用说其他事物，即使在能动性方面最接近人的动物，其行动也全都是由自然法则来决定的；人虽然不按自然法则行动可能会吃亏，但人的意志可以选择，顺从或者违抗法则。
二、心智，它包括两大部分，一部分是“心”，指的是情感、想像、良心等非理性的能力，另一部分是“智”，指的是计算、推理、谋划等理性的能力。
三、“创造性”，就是制造或创造前所未有的新事物的能力。
当然，人的自由，同上帝的自由相比是有限的，因为它受到先在条件的限制；人的心智，同上帝的心智相比也是有限的，因为它也受到限制，起码有时间和空间的限制；人的创造性，同上帝的创造性相比是有条件的，因为原意的创造，按照这些宗教的说法，是上帝“从虚无创造”，从无到有的创造（宇宙创生于时间、空间和物质都趋近零的“奇点”，即虚无；老子说万物产生于道，而道即无，也有此意），与之相比，人的创造需要先在的质料或物质，所以是有条件的。
人的这三个特性，或人与万物不同的“本性”， 在人的实际生活中，即在“实存”中，自由表现为欲望的无穷，这就需要“良知”的指引；心智表现为求知的无穷，这就需要以“悟道”作为目标；创造性表现为超出感情意义伦理意义的爱，即博爱、泛爱、大爱，这对于人性有超拔的作用。
说人的本性或能力，一句话，“是有限的”。人应该明白这一点，才算是认识自己，才算有自知之明。
还有一点必须补充。这种宗教观点认为，人之所以堕落，被逐出伊甸园，是因为人听从了魔鬼（那条蛇）的引诱，想要“像神一样”，想要“如神”，违背了上帝对人的规定。于是，上帝赋予人以自由，遭到了反叛，人的违规滥用自由，遭到了惩罚。
总之，关于上帝“形象”的说法，以及伊甸园的故事都表明，人应该对自己有所规限，而不应该滥用自己的自由。
2、人工智能是什么呢？正如人是上帝的造物，人工智能是人的造物。但是，它同其他的任何人造物都不一样， 这一点意义重大。
人把石头磨成石斧，把树枝磨成梭镖，是所谓“文化”的开始，即人初步地“人化”自然。后来的人类文明，有几千年的农业时代、几百年的工业时代， 其间，人类创造了种种工具、机器，那虽然蕴含着人的智慧，但都旨在减轻或取代人的体力劳动，并且主要是生产物质产品。然而，我们知道，同动物不同的人的本性，不在于体力，不在于肌肉的力量或物理力量，因为动物也有同样性质的力量。所以，人并未将自己的本性赋予机器。
可是，人这一次的造物，是第一次试图“按照自己的形象”来创造，像上帝造人那样。人这一次想要机器拥有的，不是体力，而是脑力。，、
人的精神产品呢？那的确是人类特有的，是人性的产物和表现。但是第一，精神产品在以前，只有人能够创造——而现在电脑作画、作曲、作诗，似乎能生产精神产品！第二，精神产品在前农业时代、农业时代以及工业时代，都离不开物质载体；文学、史学、哲学、艺术、音乐，都离不开木石、金属、纸张、画布、塑料等物质载体——而现在电脑作画、作曲、作诗，都以数码信息保存，但是信息本身，应该不属于物质。
以往文明的事实表明，第一，人类没有让渡自己的本质，没有把自己的本质交出去；第二，人类没有办法摆脱自己的局限，而要依赖于物质材料。
但是现在，发生了一场大革命，人类历史发生了前所未有的大变化！这一切发生在短短几十年的信息时代，也就是正在开始的人工智能时代。人类没有完全意识到它的重要性、爆炸性、革命性。因为，我们已经对新事物熟视无睹，麻木不仁，不加追究，不加反思——例如不久前世界上没有手机，后来有了手机但只能打电话；现在呢？人人都习惯于手机有多得用不完的功能，习惯于手机迅速更新换代，习惯于手机替代了许许多多以前长期存在并被认为不可替代的机器和人工， 可是，可是，却很少有人对之表示惊讶！几年前，我在美国一所大学的书店里“刷”I pad时，感觉进入了童话或神话世界，啧啧不已；一瞧周围，顾客们的平静似乎要让我羞愧似的！
在这个时代， 人开始把人性第二部分的一半以及第三部分，即心智所包含的“智”（如记忆、推理、计算、谋划，甚至理解和学习等能力），以及某种意义上的创造性，交给了机器。我们知道“阿尔法狗”并没有下过棋，但它自己会从几十万个棋局学习，然后战胜世界冠军。是人把自己特有的学习能力交给了电脑。“脑”本是人的最为重要的组成部分，人却把它的能力交给一个机器。现在中国人说“机不可失”这个成语，加上了“手机不可丢失”这个意思，似乎说明手机已经成了身体的组成部分，也许比“手”还重要？
当然，迄今为止，人类还没有，还未能把人性的第一部分，即自由，赋予人工智能；人类还没有，还未能把人性第二部分的另一半，即心智所包含的“心”（如情感、想象、良心等等），赋予人工智能；因为人类还没有、还无法完全摆脱自己的局限。而且，人的创造物即人工智能，还离不开硅或一些稀有金属作为物质原料；这说明人工智能也还没有，还无法摆脱一些基本局限。
三．
人类对自己应该有所规限，尤其是因为， 现在人类面临着没有自我规限而造成的巨大灾难的威胁。
前面提到，很多人工智能专家认为，“广义人工智能”顶多在几十年之内就将来临，随后，“超级人工智能”在“广义人工智能”来临后几个月或几周之内就会来临。被誉为“当代牛顿”的斯蒂芬.霍金， 大家熟悉的比尔.盖茨，还有一位天才的科学家兼企业家伊龙.马斯克（Elon Musk），三人联名写文章提出警告。他们说，应该考虑立法，限制人工智能的研究。为什么？因为，正如几本书在封面上用同样一句话表明的，“人工智能很可能导致人类的永生或者灭绝，而这一切很可能在我们的有生之年发生”。这句话代表的就是这三个人的观点，还有其他专家的观点，他们的观点不可忽略。
已经有证据证明，可以利用普通的材料研发出广义人工智能。方法有两种：一种是人类大脑仿真；另一种是在“狭义人工智能”基础上制造。所以马斯克说，少则5年，多则10年，就会出现严峻的威胁，“我这可不是瞎喊狼来了”。牛津大学人类未来研究院对人工智能领域专家进行的大规模调查表明，90%的专家认为广义人工智能会在2075年之前出现。为什么会这么快？因为电脑在处理速度方面有一个摩尔定律 （提出者是英特尔公司前业务总管戈登•摩尔）， 指处理器的能力会以指数级增长。摩尔定律有一个形象的解释：设想一个不漏水的足球场，第1分钟放1滴水进去，记住，只放1滴水进去；第2分钟放2滴水，第3分钟放4滴水……以这样的速度放水进去，请大家来猜一猜，包括足球场最高一层看台都被水淹没，要多少时间？你们没有想到吧？49分钟！在第45分钟的时候，如果你站在足球场里面看水势，90%以上的地方还没有被淹，你还很安全。所以，灭顶之灾是在最后4分钟发生的！按照这种说法，人类现在处于第43或44分钟的阶段。这似乎耸人听闻，但这个定律几十年来一直在生效，这样我们才能理解，为什么手机更新得那么快。这叫“智能爆炸”！
霍金说，人类历史上最好的事情，可能也是最坏的事情，马上就要来临。现在人类的数量是70亿，智力同我们最接近的黑猩猩，却只有30万。而且，黑猩猩是否灭绝，是由人类的行为决定的，人类可以把它们瞬间消灭，让其灭种。这种巨大的差别，怎么来的？看起来似乎是，大脑皮层在大脑里所占的比例不一样，人类比黑猩猩大两倍。现在，用人工创造仿真大脑，很容易增加大脑皮层所占的比例，增加两百万倍。那时候，人类在超级电脑面前的地位，就远远不如黑猩猩在人类面前了！
我们当然应该看看好的方面。有很多专家提出了好坏两种场景。好的或乐观的场景是：人类永生。听说谷歌公司的高管库兹韦尔，每个月花几千美元吃维生素，因为他觉得可以不死的时代很快就会来到。人会变成希腊罗马神话中的那种神，或者变成所谓“后人类”、“超人类”。这是一种场景。
坏的或悲观的场景是：人类灭绝。比我们能力强大无数倍的机器人或人工智能，由于不喜欢我们、害怕我们，或由于疏忽，都有可能毁灭我们（人类由于疏忽而毁灭了多少植物、动物和人的生命，甚至物种啊）！
超级人工智能要毁灭人类很容易，有无数的方法。例如， 它很容易侵入核武器的控制面板去解码（我国和一些大邻国小邻国都有核武器），很容易控制并启动生物武器或化学武器（许多国家包括乱糟糟的叙利亚都有） 。
它们怎么会不喜欢我们呢？许多美国科幻电影对人有重大的警醒作用。在《黑客帝国》里，一个机器人对人说：你们人类走到哪里，都迅速繁殖，耗竭周围的资源，危害周围的生物；地球上只有一种生物可以同你们相比，那就是病毒；所以，你们是地球的癌症！超级人工智能如果这么想，就可能讨厌人类、毁灭人类。而且不排除比毁灭更糟糕的可能性，因为它们有极高的智能或能力，它们可以做到让人永远活着而受折磨。
一些专家认为，超级人工智能对人类友好的可能性是有的，但是不友好的可能性更大。
按英国专家蔡斯（C. Chace）的总结，乐观的理由有5条，但是很多都成问题：
1. “智能高了，会更仁慈”。从人类自身的经验来看，并非如此——现在人类的智能比原始时代、比文明初期高多了，但看来并不比以前更加仁慈——就在不久前的20世纪，一些“智慧”很高的人，不仅在战争时期，而且在和平时期，制造了多少惨剧？。
2. “它们没有目标”。刚才提到，它们在各方面的能力都等于或大于人类，而且自我学习能力增长极快，不能排除它们最终会有自己的目标。
3. “可以控制最终目标”。但是，中间环节可能出错。比如，你给它们定的目标是消除贫困，这需要很多中间环节；它们实现某些环节目标时，就可能伤害人类。
4. “它们同人没有竞争”。但是，例如人工智能要有某种稀有金属才能生存，也许有一天，他们要同我们争夺这种原料，甚至会发现我们身上的原子是可以利用的原料，那样就很可怕了。
5. “人类一直在创造有超人能力的机构，如政府、市场、军队，去完成单个的人不能完成的任务，这类独立机构有人类必须的功能“。但是，现在人类控制这些机构的能力正在出现问题，难道控制超级人工智能的能力不会有问题吗？
悲观的理由有8条：
1. “它们会变得不友好“。前面说了，这非常有可能。
2. “它们在态度中立的情况下，也有可能变成祸害“。我们对小白鼠的态度，对世界上很多东西的态度都是中立的，并不喜欢，也不讨厌，但是我们也可能祸害小白鼠和别的许多东西。
3. “它们有可能先发制人”。为了自我保存，它们需要某些资源，或消除某些威胁，这样就可能采取先发制人的措施来攻击人类。
4. “它们完全有可能反对人类”。我们自己都知道人类的罪恶和祸害，超级人工智能也可以知道，并把人看成地球的病毒。
5. “它们可能弄巧成拙”。例如你叫它要使人愉快， 它可能用刀子在人的脸上刻画出笑脸来。由于执行能力极强，一个决策程序的小错误，就可以导致大灾难。
6. “它们可能一意孤行”。蔡司写得很有趣：一个造回形针的公司，如果先造出了广义人工智能帮它经营，就可能会让回形针泛滥成灾。
7. “它们会让人生变得没有意义”。如果你崇拜梵高，绘画是你人生的意义，但是你模仿梵高风格的画，永远没有人工智能画的好； 如果你崇拜巴赫，作曲是你的人生意义，但是你模仿巴赫风格辛辛苦苦地作了五百首曲子， 而人工智能轻轻松松就作了五百万首巴赫风格的曲子，而且比你作的好得多……你活着还有什么意义呢？你做任何事情都不如它们，而且永远不可企及。这样，希腊的神话故事就成了现实：永远活着，成了最大的惩罚。
8. “它们可能蓄意杀人”。这可能是由于首先研发出它们的是相互敌对的政府或军方（联合国才开始讨论禁止研发“杀人机器人”，俄国就表示反对），也可能是由于它们发现受到了人类的束缚或竞争，当然也可能是由于前边提到的它们对人类的敌视。
四．
人类面临着有史以来最严重、最可怕、最大规模的威胁！ （有人指出比核武器的发明严重得多。）已经有一些有识之士发出呼吁：“制定法律，限制研发”。这件事情，至少必须立即提上议事日程！
一个方案是悬崖勒马、停止研发。这的确很难做到——不但很多公司贪图自己的利益，还有很多国家只顾自己的利益。中国现在提出的国家发展战略，是要在人工智能方面占据战略高地，这种语言表示的，不仅仅是竞争。实际上，巨大的逐利心和求胜心，是人类共同体合作的最大障碍。
还有一个方案是设置“开关”。蔡斯问道：你现在能关掉互联网吗？因为人工智能是在互联网高度发达的情况下开发的，它涉及的绝不仅仅是简单的电源问题。
还有一种想法是，让人脑同人工智能连接，以便控制。有些科学家认为，人脑同人工智能的区别是本质性的，所以无法解决二者链接的问题。人如何变成半机器人，像希腊神话中“半人马”或“半人半神”？人应不应该、可不可以变成那样？这种事情的前景，一点儿也不明朗。
还有一个控制它的方案是，把它关闭起来， 加上守卫，让它只有接到人的命令才能行动。但是，它有那么高的智能，完全可能用巨大的、难以抵抗的好处引诱看守者，或者反过来威胁他，施加残酷的折磨，使他屈服，从而打破牢笼。
现在的情况是， 光一个硅谷就有众多的人和公司在研发。而中国的研发，我们反而知道很少，当然，中国在这方面投入了巨大的力量。这种研发需要巨大的财力、人力等等资源。大家可以想像，很多人也认为，中国在这方面是最强的，因为政府的力量之大，任何一个公司都不能相比。
然而，与此对照，研究人工智能威胁或危险性的机构，现在只有4个，牛津大学有一个、剑桥大学有一个、加州一个、波士顿一个，这4个机构都很小。牛津大学的那个人类未来研究所创办人博斯特罗姆教授，在调查之后发现，专门研究怎么控制人工智能负面作用的人，全世界只有6个！
前几天看纪录片，三只非洲雄猎豹，为了争夺一只雌豹而互撕互咬，打的不亦乐乎；同时它们已经被狮群包围了； 的确很少有这种情况，但真的有几只公狮一起行动，先把那只雌豹咬死，然后又围攻一只雄豹；三只雄豹中一只被咬死的时候，另外两只还在厮打！
现在，人类就像那几只雄豹——面临的问题，是全人类的灭顶之灾，但是一些民族或国家或政府考虑的，还只是如何战胜别的民族或国家或政府！
蔡斯在书中指出，我们必须战胜的，是这场正在逼近的浩劫！胜利的奖赏是辉煌的未来——人类长生不老，几千年梦想的实现；失败的惩罚是人类的灭绝—— 甚至比这更糟， 成为超级人工智能的小白鼠！所以，他在最后号召，七十亿人联合起来，预防这个大灾难！
五．
这件事情当然很难，到最后，我也只能谈谈自己从宗教角度的思考而已。
我们必须考虑，从正面说，怎么赋予人工智能以所谓的“心”，或“良心”。我前面说的“心智”的两个部分，人工智能已经有了“智”，只是理智的“智”，即哲学家所谓“工具理性”或“技术理性”；但是却没有“心”，超越理智的“心“，即哲学家所谓“价值理性”或“存在理性”，或者老百姓说的良心、人心。从宗教哲学角度出发，我现在还看不到赋予人工智能以“良心”的可能性。
我们还必须考虑，从负面说，怎么防止人工智能获得所谓的“自由”。我前面讲的作为人的本质或人性首要因素的“自由”，不是从社会政治角度说的那种“自由”（那多半应该说成“权利”），而是哲学上说的“意志自由”，即可以自主选择，可以做好事也可以做坏事的能力。如果给予人工智能这样的自由，那就是给了它们“反叛”人类的可能性和能力。从宗教哲学角度出发，我也很怀疑赋予人工智能以自由的可能性。但是，很多人工智能专家认为广义人工智能经过学习，完全可以自己思考目标、自己做出抉择，那就很接近我说的“自由“，那就非常可怕了！
总之，给予它们“良心“，让它们对人类友好；不给它们”自由“，以免它们滥用自由而反叛人类，这是我们必须思考、必须做到的事情。但是，前一件事情很难，后一件事情也很难。
前面提到，《创世纪》说，人是因为想要“像上帝“，滥用了自由，所以遭到惩罚。而现在，人又想扮演上帝， ”按自己的形象“造机器！所以，人面临的危险，也许就是第二次的、更严重的惩罚。
我们应该从上帝那里学经验，什么经验？上帝给人自由，人滥用了自由而反叛，这似乎是负面的经验。但是，按神学的说法，上帝如果不给人自由，那还算什么“造人”呢？那就是造动物了。既然已经造了很多动物，仅仅再多造一个，有什么意义呢？所以，尽管有遭到反叛的风险， 还要按自己的形象造人，还要给人以自由！这恰恰是上帝慈爱的表现。
中国有一句俗话——“养儿才知父母恩”。现在，人类正要按照自己的形象造一个东西，正开始知道将会面临反叛的风险，由此，就应该知道自己也不要反叛。但是，宗教的比喻也不能过头——机器人或人工智能并不是人的儿女。耶稣给人最大的诫命，一是爱上帝，一是爱人如己。我们应该爱的是人，不是机器！人要向上帝学习的，就是爱人，不是爱机器，我们要爱那些同我们一样是人的儿女，爱人类的子孙后代。
正因为如此，我们要学会自我规限， 预防人类面临的灾难。不能只图人工智能正面的利益，而要警惕人工智能负面的结果，这样才能防止全人类陷入灭顶之灾。
谢谢大家！
[ 何光沪 著名宗教哲学家，中国人民大学宗教学系教授、博士生导师，曾任中国社会科学院世界宗教研究所研究员、学术委员会委员。本文为作者2018-1-9在2018「新年期许」论坛的演讲修订稿，中评周刊-与FT中文网同步首发，FT中文网刊发时有删节，本文为全本，转载请注明 ]
