Cloudflare bloqueará por defecto a los rastreadores web de uso mixto a partir de septiembre de 2026

Cloudflare acaba de dar a la industria de la IA un plazo firme: separen sus rastreadores web para septiembre de 2026. A partir de esa fecha, la empresa activará un cambio en su configuración predeterminada, bloqueando automáticamente cualquier rastreador que mezcle indexación de búsqueda, servicios de agentes y entrenamiento de IA para acceder a páginas que muestren anuncios. El anuncio se realizó el miércoles.

Lo que eso significa en la práctica: a menos que un propietario de sitio cambie deliberadamente su configuración, estos llamados bots de uso mixto quedarán bloqueados por defecto. Las nuevas configuraciones predeterminadas se aplican a todos los nuevos clientes de Cloudflare, a cualquier nuevo sitio configurado por clientes existentes y a todas las cuentas gratuitas existentes.

La decisión podría sacudir a los proveedores de modelos de IA que dependen del raspado de la web abierta para obtener datos de entrenamiento y potenciar herramientas de agentes. Cloudflare señala que la mayoría de los propietarios de sitios quieren ser encontrados a través de búsquedas e incluso a través de servicios de IA, pero no desean entregar su propiedad intelectual de forma gratuita.

Cloudflare lanza una crítica velada a Google, el motor de búsqueda más grande del mundo, señalando que tiene acceso a "aproximadamente 2 veces más información" que otras empresas de IA. La razón, argumenta Cloudflare: Google dificulta que los clientes sigan siendo descubribles sin que también se utilicen para IA.

Google ha rechazado esa caracterización. Señala un bot llamado Google Extended que permite a los propietarios de sitios optar por no usar su contenido para entrenamiento de IA o productos como Gemini Apps y Vertex API, sin afectar su posicionamiento en Google Search. Aun así, el emblemático Googlebot de Google rastrea funciones de IA como AI Overviews y AI Mode.

"Ahora que la mayoría del tráfico en Internet es no humano, debemos ir más allá y actuar más rápido para que pueda surgir un ecosistema sostenible", dijo Matthew Prince, cofundador y CEO de Cloudflare, haciendo referencia al reciente hito en el que los bots superaron a los humanos en línea por primera vez, un cambio que no se esperaba hasta el próximo año.

Prince agregó: "Las nuevas herramientas y asociaciones de Cloudflare brindan a los propietarios de sitios web una mayor visibilidad y oportunidades comerciales, y benefician a las empresas de IA que tienen bots con intenciones claras y transparentes. Esperamos que nuestros cambios predeterminados propuestos alienten a los rastreadores de uso mixto a separar la búsqueda del uso de agentes y el entrenamiento".

Cloudflare ha estado implementando un conjunto de herramientas para dar a los editores más control en la era de la IA. El año pasado lanzó un mercado donde los sitios pueden cobrar a los bots de IA por el raspado, llamado Pay Per Crawl. Esa iniciativa ahora evoluciona hacia Pay Per Use, que permite a los editores cobrar a las empresas de IA cuando su contenido realmente crea valor, no solo cuando se obtiene.

El cambio también podría ahorrar ancho de banda y recursos informáticos. Los datos de Cloudflare sugieren que más del 50% del tráfico de rastreo de los rastreadores de IA se gasta en volver a buscar páginas que no han cambiado.

Para empezar, Cloudflare está trabajando con dos socios: Ceramic.ai y You.com. Cuando un editor opta por participar, recibe un pago cuando su contenido aparece en los resultados de búsqueda de IA de Ceramic o cuando You.com accede a una pieza de contenido premium. Cloudflare dice que otras empresas de IA pueden personalizar ese modelo para sus propias necesidades.