Petite analyse technique d'Anubis

Publié le 10/12/2025 | Lien [en] : https://lock.cmpxchg8b.com/anubis.html

Petite analyse technique du fonctionnement d’Anubis, le « captcha/pare-feu contre les bots IA, » où l’auteur résous le captcha-pour-robots (un proof-of-work) à la main.

Je ne suis pas sûr de quoi penser de l’estimation du coût que ça inflige aux crawlers (l’auteur calcule que ça ne leur coûterait rien). Si ça n’avait pas d’impact sur les crawlers, je ne pense pas que tant de « gros noms » le garderaient : ils doivent y voir une réduction du nombre de requêtes abusives. Et je ne pense pas que les crawlers les plus virulent soient ceux qui font attention à bien garder les cookies entre chaque requête (si ça venait d’une seule machine, un simple rate-limit suffirait ?)

Anubis a l’air de laisser respirer les applications web qui génèrent beaucoup de pages à la volée (et dont la génération a un coût non négligeable) : l’auteur de cet article l’a vu sur les archives de la mailing list et l’interface web du git du kernel Linux. SourceHut (une autre forge logicielle) se prend des vagues de crawlers dans tous les sens1, et plusieurs autres systèmes git sont listés ici.

Edit: plus de sources sur le readme de go-away, une alternative à Anubis : https://git.gammaspectra.live/git/go-away#why-do-this

Footnotes

  1. À noter que même certains « grands noms » n’en ont parfois juste rien à faire de faire attention à leurs crawlers : en 2023, SourceHut se prenait jusqu’à 2500 clone-par-seconde par… le système de cache de modules Go de Google. https://sourcehut.org/blog/2023-01-09-gomodulemirror/ ↩

https://lock.cmpxchg8b.com/anubis.html

Nos derniers articles