
Devrais-je bloquer les crawlers AI ou mesurer leur valeur d'abord ? – Demandez à un SEO via @sejournal, @HelenPollitt1
- ●Les propriétaires de sites web doivent évaluer les différents types de crawlers IA accédant à leur site pour décider s'ils doivent les autoriser ou les bloquer, en équilibrant les bénéfices potentiels contre les coûts.
- ●Les bots d'entraînement IA, tels que GPTBot d'OpenAI, peuvent ne pas fournir de trafic direct mais aident à entraîner les modèles IA, tandis que les bots d'indexation comme OAI-SearchBot peuvent générer du trafic et de la notoriété de marque.
- ●Les fichiers robots.txt traditionnels peuvent ne pas contrôler efficacement tous les bots IA, en particulier les fetchers déclenchés par les utilisateurs, nécessitant un blocage au niveau WAF pour une gestion plus complète.


