Coté Source :
~614 487 IP sources : rappel, on est sûr du logiciel NON grand publique, un peu niche avec zéro contribution de dev externe a l'entreprise, ce qui est normale.
Si j'enlève les IP de l'infra (monitoring, jenkins, redmine) on enlève ~630 000 requêtes pour 6 IPs.
reste 2 500 000 requêtes et 614 481 IPs ...
~ 582 000 IPs, on fait moins de 10 requêtes (pour un total de 1754808 requêtes soit plus de 50%) dans les détails :
~ 257 998 IPs, on fait une seule requête pour un total de 257998.
36395 IPs, on fait seulement 2 requêtes pour un total de 72790
125627 IPs, on fait seulement 3 requêtes pour un total de 376881
28233 IPs, on fait seulement 4 requêtes pour un total de 112932
15122 IPs, on fait seulement 5 requêtes pour un total de 75610
60216 IPs, on fait seulement 6 requêtes pour un total de 361296
sinon on est ~ une trentaine (et pas tous dev) et en ce lundi de juillet, les bureaux parisiens (ou il y a pas grand monde ~ 3 personnes) ont fait environ 800 requêtes...
donc l'usage "légitime" sur la journée doit être ~ 30 000 requêtes (évaluation haute) soit 1% de l'usage. (bon l'infra compte pour 20% quand même 🙂 )
bref, on n'est pas sur les mêmes chiffres, mais on dépasse largement ton test.
Plusieurs point : l'url du git est ancienne (depuis plus de 10 ans) il y a eu quelques changements, mais globalement ce sont les mêmes urls.
De toute façon, c'est seulement depuis moins de 2 ans qu'on a un nombre de requêtes aussi importantes. Au point de déclencher des erreurs sur le monitoring et d'empêcher l'usage correct de la plateforme.
Je pense que les robots ne sont pas ceux des moteurs de recherche, ils ne parcourent pas internet à la recherche de page a indexé, mais plutôt des robots qui ciblent des URLS particulières " à forte valeur ajoutée" (des urls de code opensource accessible, super pour alimenter des IAs de code).
@oldsysops tu aurais moyen de déterminer quel pourcentage de traffic est causé par des IP appartenant aux ASN que je bloque (AS11878 AS136907 AS21859 AS37963 AS132203 AS200373 AS28573 AS45899) ?
@oldsysops j'ai un script de conversion ASN - > netblock qui me sert à alimenter mon firewall, je le poste dans quelques heures, quand je ne serai plus officiellement en train de dormir
@oldsysops J’ai tout posé là sans faire le tri : https://www.patpro.net/pf.d.tgz
les ASN avec parfois le pourquoi du blocage, le script qui convertit un ASN en liste de subnets et qui pousse le résultat dans une table de mon fw, le fichiers intermédiaires de listes de subnets.
@oldsysops sans préjuger de ton angle d’attaque, sur de tels volumes l’approche de considérer que les IP d’un même /24 appartiennent à un même ASN pourrait diviser la charge d’analyse par 256 (max). Dans le même esprit une analyse d’une ligne de log sur 10 ou sur 50 pourrait conserver une valeur statistique.
@oldsysops J’ai vu que j’avais aussi bloqué une vielle version de https://openai.com/gptbot-ranges.txt j’ai mis à jour la liste au niveau de mon firewall : j’ai pour ainsi dire plus aucune visite sur ma fausse forge. Le nombre de hits est passé de 280/h à 4/h.
Je vais pas passer plus de temps dessus...
l'as45899 est effectivement important dans le nombre de source.
une vérification rapide montre que c'est environ 3 requetes par IP par contre... mais ca me semble intéressant a filtrer.
les plus gros AS en source d'ip (pas forcément en requete):
AS212238 : 4121
AS209 : 4154
AS27 : 4726
AS7018 : 4810
AS7713 : 4832
AS55836 : 5579
AS21928 : 5681
AS38 : 5905
AS7552 : 6061
AS36352 : 6076
AS59 : 6516
AS701 : 7239
AS45899 : 8405
AS174 : 10919
AS8 : 13300
AS17 : 14404
AS14 : 17840
AS7922 : 19785
AS20 : 26626
sinon il y a plus de 10339 ASN source qui ont joint notre serveur git en 24H. Et encore le script à planter avant la, fin je serais pas étonné qu'on soit plus proches des 15000
Soit plus de 10% des ASN dans le monde (il y en aurait 120 000 environ).
@oldsysops whoua c’est juste énorme. Trop merci les proxies résidentiels :(
Super boulot en tout cas. Ça n’explique pas ce que j’observe mais ça précise ce qu’il se passe quand ça prend des proportions dantesques.