Foutus Robots

[isotop]

On devrait être plus calme avec des robots qui pompent, chassent les failles de sécurité et s'inscrivent

je devais aller dormir, mais ça fait quatre heures ( nuit blanche ) que je traque les robots

un en particulier nommé News AI m'a vraiment fait chier à changer d’IP dès que je lui bloquais une tranche ( *.*.*) de ses ip
il est revenu avec des IPs de plus en plus différentes.

Pour vous donner une idée de IPs bloquées les unes après les autres :

LE forum a peine ouvert après mise à jour , j'avais 400 invités ( non connecter) sur le forum qui prenaient des infos , fouillaient partout, tentaient l'inscription(ils ne sont pas passés une seule fois le nouvel système ).

Maintenant, ils sont bannis :-)
et deux de nos derniers membres inscrits étaient dans leur tranche IP, justement
et devinez qui ??? la chine pour 80% des ip bloquées et des Robots très tenace.

Voici la liste récapitulative et rigoureuse de toutes les plages d'IP que nous avons identifiées comme nuisibles (bots de scraping chinois, russes, serveurs de données américains et IA) depuis le début de nos échanges avec Gemini ce soir.

Cette liste est optimisée pour bloquer les réseaux entiers sans risquer de bannir les membres belges ou français.

Attention, la liste fait peur, et les * étant des ”jokers pour simuler des séries de chiffres de 000 à 256 chacune, la liste est longue
ceci dis si vous avez un site internet, un forum ou un truc du genre, vous pouvez toujours la reprendre ici , ça va limiter les dégâts

cela n'a Lair de rien, mais 400 robots qui s’attaquent au forum avec plusieur sessions , ça pompe sur le serveur et le ralentit. D’ailleurs, j'avais dû augmenter le chiffre qui limite la charge du forum et l’augmenter, sinon le forum se mettait en sécurité de suite.

1.*.*.*
14.17.*.*
14.152.*.*
14.189.*.*
14.191.*.*
14.205.*.*
14.233.*.*
23.*.*.*
27.44.*.*
38.*.*.*
42.*.*.*
43.*.*.*
49.*.*.*
58.*.*.*
59.*.*.*
61.*.*.*
66.*.*.*
74.7.*.*
81.68.*.*
81.71.*.*
89.19.*.*
101.*.*.*
103.*.*.*
106.*.*.*
109.244.*.*
110.*.*.*
111.*.*.*
114.*.*.*
115.*.*.*
117.*.*.*
118.126.*.*
122.192.*.*
124.*.*.*
129.204.*.*
139.*.*.*
140.*.*.*
143.*.*.*
144.*.*.*
149.18.*.*
150.*.*.*
154.8.*.*
157.*.*.*
162.43.*.*
163.*.*.*
176.*.*.*
179.99.*.*
179.153.*.*
181.208.*.*
182.*.*.*
183.221.*.*
190.89.*.*
196.118.*.*
201.*.*.*
207.180.*.*
210.21.*.*
211.*.*.*
216.*.*.*
218.*.*.*
220.*.*.*
222.*.*.*

ps///// j'adore les réflexion de Gemini
C’est un vrai jeu de "pousse-pousse" ! Dès que vous fermez une porte, ils essaient de passer par une fenêtre. Mais on va les avoir, car leurs nouvelles tentatives utilisent encore des plages de serveurs asiatiques très identifiables.
92.255.32.*
37.65.*.*
218.29.*.*
113.200.*.*
120.228.*.*
115.239.*.*
106.52.*.*
223.84.*.*
39.171.*.*
39.173.*.*
90.89.161.*
120.207.*.*
120.226.*.*

[ivanjou]

Au fou !

[Timeline]

Tu eux déjà empêcher l'accès des robots dans le fichier .htaccess
Comprendre les robots.txt
Le fichier robots.txt est une première ligne de défense qui oriente les robots sur les pages qu’ils peuvent ou non explorer sur votre site. Bien qu’il soit utile pour le référencement, il n’est pas un mécanisme de sécurité infaillible, car il repose sur la bonne volonté des robots pour respecter ses directives. Le fichier se dépose à la racine du site pour être trouvé par les bots.

Cas d’utilisation de robots.txt :

Contrôler le crawling : Limitez l’accès des robots aux pages sensibles ou inutiles pour le référencement (ex : /admin, /wp-includes/).
Optimiser la bande passante : Réduisez la charge du serveur en interdisant l’accès à des ressources peu pertinentes.
Améliorer le SEO : Aidez les moteurs de recherche à se concentrer sur les pages les plus importantes.
Limites du robots.txt
Il est important de noter que le fichier robots.txt n’est pas contraignant. Les robots malveillants peuvent ignorer ses directives. C’est pourquoi il est nécessaire d’ajouter des couches de sécurité supplémentaires, comme le blocage via .htaccess ou des filtres IP.

Exemple de configuration basique pour robots.txt :

User-agent: *
Disallow: /admin/
Disallow: /private-data/
Allow: /
Dans cet exemple, on demande à tous les robots (représentés par *) de NE PAS accéder aux dossiers sensibles comme /admin/ et /private-data/, mais ils peuvent parcourir le reste du site.

[isotop]

Malheureusement, le paysage des robots a évolué.

Des robots comme Google, Bing et autres moteurs de recherche ne se cachent pas et respectent les règles d’un fichier robots.txt. En revanche, les robots fouineurs chinois, russes et autres se font passer pour des utilisateurs avec un navigateur internet. S’ils se contentaient d’extraire des informations rapidement, ce ne serait pas un problème.

Par exemple, des robots comme Google ne visitent notre forum que lorsqu’il y a eu un changement, comme un nouveau post.

Mais les robots chinois et autres sont là pour extraire des informations sans arrêt ou tenter de s’inscrire, chercher la faille, trouver des mots de passes et j'en passe, Le problème majeur de ces robots fouineurs, c’est qu’ils effectuent des centaines de requêtes par seconde sur le forum. Si nous ne les bloquons pas avant, des centaines de robots peuvent être présents simultanément, ce qui ralentit considérablement le forum en surchargeant le serveur.

Maintenant, soit ils tentent d’accéder au forum via son adresse IP, auquel cas le fichier .htaccess les bloque immédiatement. Soit ils utilisent l’URL, et c’est Cloudflare qui gère cela. Cloudflare est bien plus puissant qu’un fichier TXT ou un fichier .htaccess, qui nécessiteraient des modifications constantes. Cloudflare gère cela bien plus efficacement que nous, à condition d’être correctement configuré. Et merci aux IA, car Cloudflare est un véritable labyrinthe.

Un réglage en entraîne un autre chez lui et sur les paramètres du forum. Un autre avantage est que désormais une grande partie du forum est mise en cache pour certaines périodes chez Cloudflare, qui est plus rapide que notre hébergeur et soulage le serveur du forum. Mais là aussi, ce cache nécessite des règles précises concernant ce qu’il peut ou ne peut pas mettre en cache.

C’est également grâce à Cloudflare que la protection HTTPS de notre hébergeur, initialement classée B (raisonnable mais pas optimale), est passée à A+, le meilleur niveau à ce jour.

En somme, un casse-tête qui illustre bien l’évolution de l’internet tel que je le connaissais, grâce aux robots. Je comprends mieux la panne récente de nombreux sites internet, il y a quelques semaines, due à Cloudflare, car de nombreux sites, professionnels ou non, utilisent leurs services pour se protéger.

[Timeline]

Je pense que tu devrais interdire tous les robots. Sur mon site qui comprend un forum, c'est ce que j'ai fait et je n'ai pas de soucis de ce côté-là.

[Timeline]

Il y a de faux robots nommé Google.bot
voir cet article : https://www.sistrix.fr/blog/google-publ ... googlebot/

[isotop]

Je suis conscient qu’il existe deux faux robots Google. Je n’ai pas cherché que à les contrer, mais j’ai amassé beaucoup d’informations à leur sujet. Notre hébergeur a déjà en place des systèmes pour les détecter.

SCR-20260325-lmiu.png

Ils ont aussi d'autres options dans leur système de sécurité pour bloquer les robots les plus connus, mais voilà les plus connus pour eux...
Et quand je leur ai écrit que, malgré leur sécurité anti robot, j'en étais infesté
leur reponse ... Cloudflare

SCR-20260325-qisz.png

et c'est ce qui s'est montrer le plus efficace, puisque il n'y plus aucun robot a l'exception des bon Bot Google Apple Bing, qui passent de temps en temps