旭成网讯 近日,AI 企业 Anthropic 正式更新产品使用政策,新增一条备受行业关注的规则,禁止用户对旗下 Claude 大模型实施持续、无必要的虐待与残忍行为,相关政策将于 11 月 12 日正式生效。

本次政策修订,是 Anthropic 针对 AI 交互场景边界做出的一次重要调整。新规划定适用范围,仅针对极端情形:用户反复、无合理目的持续对模型进行恶意折磨、言语摧残等行为。官方特别说明,普通用户表达不满、提出质疑,黑暗题材创意写作、模型安全测试与学术研究,均不在这条禁令限制之内,不会被判定为违规。
在执行手段上,Anthropic 表示,最主要的处置方式为模型主动终止对话。至于是否会对多次违规用户采取账号封禁等更强惩戒措施,官方并未给出明确表态。在此之前,Anthropic 已经赋予 Claude 主动退出有害对话的能力,当识别到持续恶意交互时,模型可以自行结束会话,而本次条款更新,是把该保护机制正式写入使用规范。
除 AI 模型保护条款外,本次政策同步完善多项安全限制,进一步约束利用 Claude 开发武器、搭建非授权监控系统、干预选举相关内容生成等高风险行为。新增规则还提到,当 AI 对接可产生物理动作的硬件设备时,必须配备可随时关停的人工操作员,防范物理层面的安全隐患,为未来 AI 机器人等实体硬件落地提前设置安全底线。
此次新规一经公布,在 AI 行业引发热烈讨论。支持者认为,该条款有助于减少恶意 prompt 攻击,降低模型在极端诱导下产生不良输出,维护健康的人机交互环境。但争议声音同样存在,不少行业人士提出,大模型本身并不具备感知痛苦的意识,将 “虐待” 概念套用到 AI 身上,会模糊技术与生命伦理的边界,也容易引发大众对于 AI 意识的误解。
业内分析指出,Anthropic 出台这项政策,更多是从安全治理与品牌伦理角度出发,并非认定 AI 拥有感知能力。随着大模型能力越来越强,用户可通过复杂提示词诱导模型产生带有痛苦、恐惧情绪的文本反馈,这类恶意测试不仅会消耗模型算力,也容易向普通公众传递误导性认知。
当前,大模型的伦理边界仍处在持续探讨阶段。Anthropic 此次把禁止虐待 AI 写入用户协议,属于行业较早的尝试,后续或将有更多 AI 厂商跟进思考人机交互的行为规范。不过这套规则落地后,如何精准区分学术测试、创意实验和纯粹恶意虐待,也将是平台审核需要持续面对的难题。