周伯文AI新准则- 45度平衡安全与性能

如今，以大模型为代表的生成式人工智能发展迅速，但随着其能力的不断提升，也引发了人们对潜在风险的担忧，包括数据泄露、滥用、隐私和版权风险，以及恶意使用带来的虚假信息等问题。人工智能对就业结构等社会系统性问题的影响也引发了广泛关注。

7月4日，在2024世界人工智能大会暨人工智能全球治理高级别会议上，上海人工智能实验室主任周伯文教授发表演讲指出，这些担忧的根源在于目前人工智能发展的不平衡。

周伯文教授认为，我们在人工智能模型安全能力方面的提升远远落后于性能的提升，这种失衡导致人工智能发展“跛脚”，业界称之为“Crippled AI”。

当前，以Transformer为代表的基础模型架构和“大数据-大参数量与大计算”的尺度定律推动着人工智能性能的指数级增长。人工智能安全技术，如红队测试、安全标识、安全护栏和评估测量等，却呈现出零散化、碎片化和后置性的特点。

造成这种不均衡局面的背后是投入上的巨大差异。周伯文教授指出，安全方面的投入远远落后于人工智能能力方面的投入，包括研究体系化程度、人才密集度、商业驱动力和算力投入等方面。

为了避免“Crippled AI”的发展，周伯文教授主张追求“Trustworthy AGI”，即可信的通用人工智能。他认为，可信的通用人工智能需要兼顾安全与性能，找到安全优先但又能保证性能长期发展的技术体系，并将这种技术思想体系称为“AI-45°平衡律”。

“AI-45°平衡律”指的是，从长远来看，人工智能的安全与性能要沿着45度角平衡发展。短期内可以有波动，但长期来看，安全投入既不能远低于性能投入，也不能过度高于性能投入，阻碍技术发展和产业应用。这一技术思想体系需要强技术驱动、全流程优化、多主体参与和敏捷治理。

实现“AI-45°平衡律”可能有多种技术路径。以上海人工智能实验室为例，该团队正在探索一条以因果为核心的路径，并将其称为可信通用人工智能的“因果之梯”。他们将可信通用人工智能的发展分为三个递进阶段：泛对齐、可干预和能反思。

“泛对齐”主要包括当前最前沿的人类偏好对齐技术。这些技术仅依赖统计相关性，忽视真正的因果关系，可能导致错误推理和潜在危险。

“可干预”主要包括通过对人工智能系统进行干预，探究其因果机制的安全技术，例如机械可解释性、对抗演练等。这些技术可以通过提高可解释性和泛化性来提升安全性，同时也能提升人工智能能力。

“能反思”这一特性要求人工智能系统不仅能够高效地执行任务，还能够审视自身行为的影响和潜在风险。在追求性能的确保安全和道德准则不被逾越。这一阶段的技术包括基于价值观的训练、因果可解释性、反事实推理等。

“目前，人工智能安全与性能的技术发展主要停留在第一阶段，部分在尝试第二阶段。但要真正实现人工智能的安全与性能平衡，我们必须完善第二阶段并勇于攀登第三阶段。”周伯文认为，沿着可信人工智能的“因果之梯”逐级而上，可以构建真正可信的人工智能，实现人工智能的安全与卓越性能的完美平衡。