Cloudflare siempre ha sido amable conmigo y nunca he tenido que pagar por servicios anti-bot. Eso, junto con sus novedades como la protección anti-IA, es genial y lo que me mantiene como cliente y promotor de ellos, supongo. ¿No quieres que rastreadores de IA roben tus datos? Simplemente usa una de sus reglas administradas (aunque es totalmente posible usar solo un robots.txt normal como hago yo en mi sitio).
.. frente a una regla administrada genérica, mucho mejor…
Si estas startups realmente escuchan y respetan el archivo o no, es otra historia, pero me alegro de que al menos lo intenten. Ninguno de mis sitios ha tenido problemas con bots en el pasado y sigo estando repetidamente contento con la capacidad de bloquear exploits comunes de WordPress directamente allí después de leer mis registros.