Anthropic更新使用政策：高风险AI应用新规出台

Anthropic已正式更新其使用政策，制定了一个全面框架，规定其AI模型（包括Claude系列）如何在消费者和企业应用中合法使用。该政策即日生效，将限制措施分为三类：通用使用标准、高风险用例要求以及其他用例指南。

通用禁止事项

通用使用标准适用于所有用户，涵盖了一系列被禁止的活动。禁止的用途包括制作或传播儿童性虐待材料（CSAM），包括AI生成内容；开发武器、爆炸物或危险材料；以及设计用于未经授权访问系统或数据的工具，如恶意软件、勒索软件或僵尸网络。该政策还禁止生成欺骗性政治内容、政治人物的合成媒体，或自动化的选民定向和压制活动。

此外，该政策禁止在用户可能会被误导以为自己在与人互动的情况下，使用Anthropic模型冒充人类。这包括在没有披露的情况下将AI生成的输出呈现为人类生成的内容。

高风险领域需监管

一项重要更新是引入了对Anthropic所谓“高风险用例”的强制保障措施，这些是AI决策可能对个人或社会公平产生直接影响的领域。这些领域包括法律咨询、医疗诊断、保险承保、金融建议、就业筛选、住房资格认定和学术测试。在这些领域，Anthropic要求所有AI生成的建议或决策在最终确定或发布之前，必须由合格的人类专业人员审查。此外，用户必须向最终消费者披露AI正在用于协助生成建议或推荐，至少在每个会话开始时进行。

“我们认为应整合相关的人类专业知识，并且最终用户应该了解AI是否参与了输出的生成，”该公司在政策中表示。

聊天机器人和AI代理指南

Anthropic还规定，所有面向消费者的聊天机器人和互动AI代理必须向用户披露他们正在与AI而非人类互动。这种披露必须在每次聊天会话开始时进行。该政策进一步涉及自主代理用例，指出此类应用仍然必须遵守使用政策中的所有禁止事项，具体示例预计将在未来的帮助中心文章中提供。

对于面向未成年人的产品，Anthropic要求遵守即将详细说明的额外指南，并且公司在连接器目录中列出的任何模型上下文协议（MCP）服务器必须遵守其目录政策。

执行与报告

Anthropic的安全团队将实施检测和监控系统来执行该政策。违规行为可能导致访问Anthropic产品和服务的流量限制、暂停或终止。该公司表示，当输入违反政策时，可能会阻止或修改模型输出。认为模型输出可能不准确、存在偏见或有害的用户，鼓励通过usersafety@anthropic.com或使用产品内反馈机制报告问题。

该政策指出，Anthropic可能会与某些政府客户签订量身定制的合同协议，以适应其公共使命，前提是合同限制和保障措施能够充分减轻伤害。

战略影响

更新后的政策反映了AI部署治理方面更广泛的行业趋势，特别是在受监管行业。通过要求在高风险应用中实施人工监督和披露，Anthropic将Claude定位为增强人类能力的工具，而非自主决策工具。该政策还表明，在政治和选举背景下，可接受使用的标准正在收紧，这与围绕AI生成虚假信息的监管和公众审查日益加强的趋势一致。随着其模型部署在越来越敏感的领域，该公司继续完善其安全框架。