Anthropic actualiza su Política de Uso: Nuevas reglas para aplicaciones de IA de alto riesgo

Anthropic ha actualizado formalmente su Política de Uso, estableciendo un marco integral que regula cómo se pueden utilizar sus modelos de IA, incluida la familia Claude, en aplicaciones de consumo y empresariales. La política, que entra en vigor de inmediato, categoriza las restricciones en tres niveles: Estándares Universales de Uso, Requisitos para Casos de Uso de Alto Riesgo y Directrices Adicionales para Casos de Uso.

Prohibiciones Universales

Los Estándares Universales de Uso se aplican a todos los usuarios y abarcan una amplia gama de actividades prohibidas. Los usos prohibidos incluyen la creación o distribución de material de abuso sexual infantil (CSAM, por sus siglas en inglés), incluido el contenido generado por IA; el desarrollo de armas, explosivos o materiales peligrosos; y el diseño de herramientas para el acceso no autorizado a sistemas o datos, como malware, ransomware o botnets. La política también prohíbe la generación de contenido político engañoso, medios sintéticos de figuras políticas o campañas automatizadas de segmentación y supresión de votantes.

Además, la política prohíbe el uso de modelos de Anthropic para suplantar a seres humanos en contextos donde un usuario sería engañado y creería que está interactuando con una persona. Esto incluye presentar resultados generados por IA como si fueran generados por humanos sin divulgación.

Dominios de Alto Riesgo Requieren Supervisión

Una actualización significativa es la introducción de salvaguardas obligatorias para lo que Anthropic denomina Casos de Uso de Alto Riesgo, áreas donde las decisiones impulsadas por IA pueden tener un impacto directo en las personas o en la equidad social. Estos incluyen asesoramiento legal, diagnóstico médico, suscripción de seguros, asesoramiento financiero, selección de empleo, elegibilidad de vivienda y pruebas académicas. En cada uno de estos dominios, Anthropic exige que un profesional humano calificado revise todos los consejos o decisiones generados por IA antes de que sean finalizados o difundidos. Además, el usuario debe informar a los consumidores finales que se está utilizando IA para ayudar a producir el consejo o la recomendación, al menos al inicio de cada sesión.

“Creemos que la experiencia humana relevante debe integrarse y que los usuarios finales deben ser conscientes de cuándo la IA ha participado en la producción de resultados”, declaró la empresa en la política.

Directrices para Chatbots y Agentes

Anthropic también especifica que todos los chatbots e agentes de IA interactivos dirigidos al consumidor deben informar a los usuarios que están interactuando con una IA y no con un ser humano. Esta divulgación debe ocurrir al comienzo de cada sesión de chat. La política aborda además los casos de uso de agentes, señalando que dichas aplicaciones aún deben cumplir con todas las prohibiciones de la Política de Uso, con ejemplos específicos que se esperan en un futuro artículo del Centro de Ayuda.

Para los productos destinados a menores, Anthropic exige el cumplimiento de directrices adicionales que se detallarán próximamente, y cualquier servidor del Protocolo de Contexto de Modelo (MCP, por sus siglas en inglés) listado en el Directorio de Conectores de la empresa debe cumplir con su Política de Directorio.

Cumplimiento y Reportes

El Equipo de Salvaguardas de Anthropic implementará sistemas de detección y monitoreo para hacer cumplir la política. Las violaciones pueden resultar en limitaciones, suspensión o terminación del acceso a los productos y servicios de Anthropic. La empresa indicó que también puede bloquear o modificar las salidas del modelo cuando las entradas violen la política. Se anima a los usuarios que crean que las salidas del modelo son potencialmente inexactas, sesgadas o dañinas a reportar problemas a través de usersafety@anthropic.com o mediante los mecanismos de retroalimentación dentro del producto.

La política señala que Anthropic puede celebrar acuerdos contractuales personalizados con ciertos clientes gubernamentales para adaptarse a su misión pública si las restricciones contractuales y las salvaguardas mitigan adecuadamente los daños.

Implicaciones Estratégicas

La política actualizada refleja una tendencia más amplia de la industria hacia una gobernanza más estructurada del despliegue de IA, particularmente en industrias reguladas. Al exigir supervisión humana y divulgación en aplicaciones de alto riesgo, Anthropic está posicionando a Claude como una herramienta para la aumentación en lugar de la toma de decisiones autónoma. La política también señala un endurecimiento del uso aceptable en contextos políticos y electorales, en consonancia con el creciente escrutinio regulatorio y público en torno a la desinformación generada por IA. La empresa continúa iterando sus marcos de seguridad a medida que sus modelos se implementan en dominios cada vez más sensibles.