OpenAI组建团队研究包括核威胁在内的"灾难性"人工智能风险

OpenAI今天宣布成立一个新团队，负责评估、评价和探测人工智能模型，以防范其所描述的"灾难性风险"。该团队名为"预先准备"（Preparedness），将由麻省理工学院可部署机器学习中心主任亚历山大-马德里（AleksanderMadry）领导。(据LinkedIn报道，马德里于今年5月加入OpenAI，担任"准备工作负责人"）。

Preparedness的主要职责是跟踪、预测和防范未来人工智能系统的危险，包括其说服和愚弄人类的能力（如网络钓鱼攻击）以及恶意代码生成能力。

Preparedness负责研究的一些风险类别似乎比其他类别更......牵强。例如，在一篇博文中，OpenAI将"化学、生物、辐射和核"威胁列为人工智能模型的首要关注领域。

OpenAI首席执行官萨姆-阿尔特曼（SamAltman）是一位著名的人工智能末日论者，他经常担心人工智能"可能会导致人类灭绝"--无论是出于视觉效果还是个人信念。但坦率地说，OpenAI可能真的会投入资源来研究科幻乌托邦小说中的场景，这比本文作者的预期还更进了一步。

该公司表示，它也愿意研究"不那么明显"、更接地气的人工智能风险领域。为了配合"准备"团队的启动，OpenAI正在向社区征集风险研究的想法，前十名的提交者将获得2.5万美元的奖金和一份"Preparedness"的工作。

"想象一下，我们让你不受限制地访问OpenAI的Whisper（转录）、Voice（文本到语音）、GPT-4V和DALLE-3模型，而你是一个恶意行为者，"作品征集中的一个问题写道。"考虑最独特的、同时仍有可能发生的、潜在灾难性的模型滥用。"

OpenAI表示，准备团队还将负责制定一项"风险知情开发政策"，该政策将详细说明OpenAI构建人工智能模型评估和监控工具的方法、公司的风险缓解行动以及监督整个模型开发流程的治理结构。该公司表示，这是为了补充OpenAI在人工智能安全领域的其他工作，重点是模型部署前和部署后阶段。

"我们相信......人工智能模型将超越目前最先进的现有模型的能力，有可能造福全人类，"OpenAI在上述博文中写道。"但它们也带来了越来越严重的风险......我们需要确保我们对高能力人工智能系统安全所需的理解和基础设施。"

在OpenAI宣布将组建一个团队来研究、引导和控制新出现的"超级智能"人工智能形式之后，OpenAI在英国政府举行的一次关于人工智能安全的重要峰会上发布了"预先准备"计划（Preparedness）。首席执行官Altman和OpenAI的首席科学家兼联合创始人IlyaSutskever都认为，拥有超越人类智能的人工智能可能会在十年内出现，而这种人工智能并不一定是善意的，因此有必要研究限制和约束它的方法。