针对强人工智能安全风险的技术应对策略丨中 [复制链接]

本文选自中国工程院院刊《中国工程科学》年第3期

作者：刘宇擎，张玉槐，段沛奇，施柏鑫，余肇飞，黄铁军，高文

来源：针对强人工智能安全风险的技术应对策略[J].中国工程科学,,23(3):75-81.

编者按

强人工智能是人类想要且正在创造的机器，但也可能通过社会操纵、新型战争、权力动态变化等方式引发一些实质性的问题。强人工智能可以由一套系统处理各种智能行为，而弱人工智能针对每种智能行为都需要新的独立系统，这是两者之间的根本性区别。对强人工智能可能的安全性风险进行评估并制定适宜对策，探讨有效驾驭强人工智能并使之既造福于人类又不对社会造成危害的举措，已经成为世界性的研究议题。

中国工程院院刊《中国工程科学》在年第3期刊发《针对强人工智能安全风险的技术应对策略》，归纳了强人工智能与传统人工智能的区别，从模型的不可解释性、算法及硬件的不可靠性、自主意识的不可控性三方面研判了强人工智能安全风险的来源，从能力、动机、行为3个维度提出了针对强人工智能的安全风险评估体系。为应对安全风险，文章提出的防御策略有：在理论技术研究阶段，完善理论基础验证，实现模型可解释性，严格限制强人工智能底层价值取向，促进技术标准化；在应用阶段，预防人为造成的安全问题，对强人工智能进行动机选择，为强人工智能赋予人类价值观。此外，文章建议加强国际合作，培养强人工智能研究人才，为迎接未知的强人工智能时代做好充分准备。

图片来自网络

一、前言

强人工智能（AGI）可以由一套系统处理各种智能行为，而弱人工智能针对每种智能行为都需要新的独立系统，这是两者之间的根本性区别。仅依靠弱人工智能的算法改进（而忽略系统更新）来实现AGI是不可能的。在认知论方面，AGI强调意识的存在，突出价值观和世界观体系，认为智能体可以拥有生物的本能。AGI不一定是类人的。在外形上，AGI可以和人类相似（共享一套生活法则），也可与人类相差甚远（形成一套新的生活法则）；在思想上，AGI可以与人类共用一套思维模式、道德准则，也可拥有专属体系的独特推理方式，成为一类“拥有灵魂的机器”。一般认为，不同于当前获得广泛应用的人工神经网络，能够更加精细解析动物和人类大脑的研究工作有望在未来20年内逐步实现，以此构建未来神经网络的体系结构；由此衍生的类脑机有望成为AGI的物理实现平台。

AGI是人类想要且正在创造的机器，但也可能通过社会操纵、新型战争、权力动态变化等方式引发一些实质性的问题；起初会听从人类的特定指令，但趋向于自主做出决定，这种决定是否会影响人类的实际利益甚至是生命财产安全，未有明确答案。当前，科学界针对AGI研究的讨论非常激烈：现有的人工智能（AI）基本方法存在缺陷，必须走向具有理解力的AI，真正的AI还很遥远；人类距离研制出自主智能（即AGI）还需要数十年的努力，当前面临的是基础问题，在本质上尚属数学研究挑战；当前AI技术所取得的进展缘于弱人工智能，主流学术界并未将AGI作为发展方向，出于对AGI的担忧而不建议主动开展研究；人类不能固步自封于弱人工智能，智能演化过程不可阻挡，大脑意识奥秘等终极科学问题有待破解。因此，在危险与机遇并存的AGI研究过程中，必须面向AI研究人员、程序开发人员，制定有效的保障与行为准则。

对AGI可能的安全性风险进行评估并制定适宜对策，探讨有效驾驭AGI并使之既造福于人类又不对社会造成危害的举措，已经成为世界性的研究议题。例如，美国OpenAI团队年分析了AI发展过程中可能遇到的安全问题，随后美国政府成立了人工智能安全委员会；欧盟设立了人工智能高级别专家组，争取技术发展的话语权和规则制定权。此外，AI也成为国防领域的重点