oldsysops

@oldsysops@social.dk-libre.fr

main account of @oldsysops@mamot.fr
1 ★ 1 ↺

[?]oldsysops » 🌐
@oldsysops@social.dk-libre.fr

@patpro@social.patpro.net
j'ai regardé les logs de la forge git professionnel de logiciel opensource mais pas grand publique.
3 137 000 de requêtes web
~3 000 000 de code 200 OK
~183 000 de code 404
~11 500 de code 499 (nginx timeout serveur)
je ne compte pas le reste des code 30X et 40x qui sont plus faibles.

Coté Source :
~614 487 IP sources : rappel, on est sûr du logiciel NON grand publique, un peu niche avec zéro contribution de dev externe a l'entreprise, ce qui est normale.

Si j'enlève les IP de l'infra (monitoring, jenkins, redmine) on enlève ~630 000 requêtes pour 6 IPs.

reste 2 500 000 requêtes et 614 481 IPs ...

~ 582 000 IPs, on fait moins de 10 requêtes (pour un total de 1754808 requêtes soit plus de 50%) dans les détails :
~ 257 998 IPs, on fait une seule requête pour un total de 257998.
36395 IPs, on fait seulement 2 requêtes pour un total de 72790
125627 IPs, on fait seulement 3 requêtes pour un total de 376881
28233 IPs, on fait seulement 4 requêtes pour un total de 112932
15122 IPs, on fait seulement 5 requêtes pour un total de 75610
60216 IPs, on fait seulement 6 requêtes pour un total de 361296

sinon on est ~ une trentaine (et pas tous dev) et en ce lundi de juillet, les bureaux parisiens (ou il y a pas grand monde ~ 3 personnes) ont fait environ 800 requêtes...
donc l'usage "légitime" sur la journée doit être ~ 30 000 requêtes (évaluation haute) soit 1% de l'usage. (bon l'infra compte pour 20% quand même 🙂 )


bref, on n'est pas sur les mêmes chiffres, mais on dépasse largement ton test.

Plusieurs point : l'url du git est ancienne (depuis plus de 10 ans) il y a eu quelques changements, mais globalement ce sont les mêmes urls.
De toute façon, c'est seulement depuis moins de 2 ans qu'on a un nombre de requêtes aussi importantes. Au point de déclencher des erreurs sur le monitoring et d'empêcher l'usage correct de la plateforme.
Je pense que les robots ne sont pas ceux des moteurs de recherche, ils ne parcourent pas internet à la recherche de page a indexé, mais plutôt des robots qui ciblent des URLS particulières " à forte valeur ajoutée" (des urls de code opensource accessible, super pour alimenter des IAs de code).



    ...

    [?]patpro » 🌐
    @patpro@social.patpro.net

    @oldsysops tu aurais moyen de déterminer quel pourcentage de traffic est causé par des IP appartenant aux ASN que je bloque (AS11878  AS136907 AS21859  AS37963 AS132203 AS200373 AS28573  AS45899) ?

    ...
    1 ★ 0 ↺

    [?]oldsysops » 🌐
    @oldsysops@social.dk-libre.fr

    @patpro@social.patpro.net faut que je regarde ca mais normalement oui

      0 ★ 0 ↺

      [?]oldsysops » 🌐
      @oldsysops@social.dk-libre.fr

      @patpro@social.patpro.net idéalement i' me faudrait une table de correspondance pas en ligne... ca prends trop de temps et je dois saturer un service là...
      je vais sans doute me faire blacklister 🙂

        ...

        [?]patpro » 🌐
        @patpro@social.patpro.net

        @oldsysops j'ai un script de conversion ASN - > netblock qui me sert à alimenter mon firewall, je le poste dans quelques heures, quand je ne serai plus officiellement en train de dormir

        ...

        [?]patpro » 🌐
        @patpro@social.patpro.net

        @oldsysops J’ai tout posé là sans faire le tri : https://www.patpro.net/pf.d.tgz
        les ASN avec parfois le pourquoi du blocage, le script qui convertit un ASN en liste de subnets et qui pousse le résultat dans une table de mon fw, le fichiers intermédiaires de listes de subnets.

        0 ★ 0 ↺

        [?]oldsysops » 🌐
        @oldsysops@social.dk-libre.fr

        @patpro@social.patpro.net J'ai récupérer ton script.
        J'ai déjà une tache qui récupère les ASN pour les IPs, pour le moment, je n'ai traité que 100 000 IPs, donc ca va prendre un long moment !
        et vu comment je m'y suis pris, je n'aurais pas facilement la correspondance nb de requetes/ASN... Enfin je verrai 🙂 au moins j'aurais le nombre d'ip par asn et vu qu'au MAX une ip fait 200 requêtes ça donnera une fourchette (entre 1 et 200 requêtes par IP)
        pour le moment j'ai 5191 ASN différents dans mes 100 000 ips...

          ...

          [?]patpro » 🌐
          @patpro@social.patpro.net

          @oldsysops sans préjuger de ton angle d’attaque, sur de tels volumes l’approche de considérer que les IP d’un même /24 appartiennent à un même ASN pourrait diviser la charge d’analyse par 256 (max). Dans le même esprit une analyse d’une ligne de log sur 10 ou sur 50 pourrait conserver une valeur statistique.

          ...

          [?]patpro » 🌐
          @patpro@social.patpro.net

          @oldsysops J’ai vu que j’avais aussi bloqué une vielle version de https://openai.com/gptbot-ranges.txt j’ai mis à jour la liste au niveau de mon firewall : j’ai pour ainsi dire plus aucune visite sur ma fausse forge. Le nombre de hits est passé de 280/h à 4/h.

          0 ★ 0 ↺

          [?]oldsysops » 🌐
          @oldsysops@social.dk-libre.fr

          @patpro@social.patpro.net
          non effectivement c'est pas possible de faire des scripts simple pour analyser ce volume de données...

          Je vais pas passer plus de temps dessus...

            0 ★ 0 ↺

            [?]oldsysops » 🌐
            @oldsysops@social.dk-libre.fr

            @patpro@social.patpro.net
            en nombre d'ip ca donne ca:
            AS11878 : 4
            AS136907 : 149
            AS21859 : 5
            AS37963 : 0
            AS132203 : 149
            AS200373 : 0
            AS28573 : 592
            AS45899 : 8405
            (resultat partiel)

            l'as45899 est effectivement important dans le nombre de source.
            une vérification rapide montre que c'est environ 3 requetes par IP par contre... mais ca me semble intéressant a filtrer.

            les plus gros AS en source d'ip (pas forcément en requete):

            AS212238 : 4121
            AS209 : 4154
            AS27 : 4726
            AS7018 : 4810
            AS7713 : 4832
            AS55836 : 5579
            AS21928 : 5681
            AS38 : 5905
            AS7552 : 6061
            AS36352 : 6076
            AS59 : 6516
            AS701 : 7239
            AS45899 : 8405
            AS174 : 10919
            AS8 : 13300
            AS17 : 14404
            AS14 : 17840
            AS7922 : 19785
            AS20 : 26626

              ...
              0 ★ 0 ↺

              [?]oldsysops » 🔓
              @oldsysops@social.dk-libre.fr

              @patpro@social.patpro.net

              sinon il y a plus de 10339 ASN source qui ont joint notre serveur git en 24H. Et encore le script à planter avant la, fin je serais pas étonné qu'on soit plus proches des 15000
              Soit plus de 10% des ASN dans le monde (il y en aurait 120 000 environ).

                ...
                oldsysops a repartagé

                [?]patpro » 🔓
                @patpro@social.patpro.net

                @oldsysops whoua c’est juste énorme. Trop merci les proxies résidentiels :(

                Super boulot en tout cas. Ça n’explique pas ce que j’observe mais ça précise ce qu’il se passe quand ça prend des proportions dantesques.

                Historique