Hey folks, can you help me out with a little something: trying to come up with a good number of files limit for a file scan (for Kitten so you don’t hit heap memory limits if you run it from the wrong directory by mistake) and I’d love some statistics from real JavaScript/TypeScript Node.js projects of the number of files in them (excluding .git and node_modules).

Would you be kind enough to run the following command in Terminal in your largest projects and let me know what number your get (along with a short description of the project):

find . \( -name "node_modules" -o -name ".git" \) -prune -o -print | wc -l

Thank you :)

#Kitten #SmallWeb #SmallTech #NodeJS #web #dev #stats #helpWanted

Selon mes contacts, les vrais gens habitent dans les toits à paris. Les autres étages sont peuplés de PNJ. Voilà. Donnez moi une carte de journaliste.

#stats

Coté Source :
~614 487 IP sources : rappel, on est sûr du logiciel NON grand publique, un peu niche avec zéro contribution de dev externe a l'entreprise, ce qui est normale.

Si j'enlève les IP de l'infra (monitoring, jenkins, redmine) on enlève ~630 000 requêtes pour 6 IPs.

reste 2 500 000 requêtes et 614 481 IPs ...

~ 582 000 IPs, on fait moins de 10 requêtes (pour un total de 1754808 requêtes soit plus de 50%) dans les détails :
~ 257 998 IPs, on fait une seule requête pour un total de 257998.
36395 IPs, on fait seulement 2 requêtes pour un total de 72790
125627 IPs, on fait seulement 3 requêtes pour un total de 376881
28233 IPs, on fait seulement 4 requêtes pour un total de 112932
15122 IPs, on fait seulement 5 requêtes pour un total de 75610
60216 IPs, on fait seulement 6 requêtes pour un total de 361296

sinon on est ~ une trentaine (et pas tous dev) et en ce lundi de juillet, les bureaux parisiens (ou il y a pas grand monde ~ 3 personnes) ont fait environ 800 requêtes...
donc l'usage "légitime" sur la journée doit être ~ 30 000 requêtes (évaluation haute) soit 1% de l'usage. (bon l'infra compte pour 20% quand même 🙂 )

bref, on n'est pas sur les mêmes chiffres, mais on dépasse largement ton test.

Plusieurs point : l'url du git est ancienne (depuis plus de 10 ans) il y a eu quelques changements, mais globalement ce sont les mêmes urls.
De toute façon, c'est seulement depuis moins de 2 ans qu'on a un nombre de requêtes aussi importantes. Au point de déclencher des erreurs sur le monitoring et d'empêcher l'usage correct de la plateforme.
Je pense que les robots ne sont pas ceux des moteurs de recherche, ils ne parcourent pas internet à la recherche de page a indexé, mais plutôt des robots qui ciblent des URLS particulières " à forte valeur ajoutée" (des urls de code opensource accessible, super pour alimenter des IAs de code).

#sysadmin #git #IA #forge #bots #stats

📊 Les données en #OpenData des noms de domaine en .fr pour le mois de mai sont en ligne sur https://www.afnic.fr/produits-services/services-associes/donnees-partagees/

📊 The May Open #Data for .fr domain names is available on https://www.afnic.fr/en/products-and-services/fr-and-associated-services/shared-data-reuse-fr-data/

#Afnic #Stats #DataViz #DotFR #ccTLDs #opendata #domains

"En opposition avec l’automatisation du traitement de grand jeux de données qui prévaut actuellement, l’analyse causale affirme que toute conclusion statistique est assujettie à un ensemble d’hypothèse sur les relations causales entre les variables – hypothèses qui ne peuvent être formulées que par un humain ayant des connaissances extérieures sur la signification de ces variables et les relations qui les lient."

Leo Varnet : https://dbao.leo-varnet.fr/2021/09/04/etudes-statistiques-les-limites-du-controle/

#causes #biais #stats #data #controle #science #technologie #méthode #méthodologie #IA #démontrer #citation #citations #éthique #préjugés