Un fichier parquet bien construit oriente le requêteur en lui disant d’abord où ne pas aller. Plus il ferme de portes à votre requête SQL, moins elle se perd en explorations inutiles, plus vite elle avance vers l’essentiel. C’est exactement… Lire la suite »Les filtres de Bloom dans Parquet
La base nationale des décès est un ovni statistique : c’est une des rares bases open data France entière qui décrive des personnes avec leurs nom et prénoms en clair. Aussi surprenant que cela puisse paraitre, les fichiers de l’Insee… Lire la suite »La base des décès : un symbole méconnu de l’open data
Cas d’école du data storytelling, la mise à jour annuelle des populations communales (dites « de référence ») se dévoile chaque décembre dans un ballet parfaitement réglé : l’Insee publie le même jour un « Focus » national et 17 « Flash » régionaux, immédiatement amplifiés par… Lire la suite »Le data storytelling des populations annuelles
Deux exigences opposées tiraillent le cartographe : schématiser pour mieux imprimer les messages essentiels, ou délivrer le maximum de détails, tant que l’image le permet. Ces exigences ne sont pas forcément contradictoires. En cartographie thématique, l’art de la coloration repose… Lire la suite »La discrétisation « Head/tail » produit des cartes mieux hiérarchisées
C’est l’un des graphiques les plus utilisés dans la production statistique française, mais aussi le plus paresseux et le moins efficace pour comprendre et surtout mémoriser. La plupart des responsables éditoriaux le savent, formés qu’ils/elles le sont à la sémiologie graphique. Pour… Lire la suite »Barres empilées : comment s’en débarrasser ?
Les résultats des dernières élections françaises sont maintenant disponibles à un niveau fin, à la commune et même jusqu’au bureau de vote. Mais comment produire une cartographie lisible et synthétique à partir de données si détaillées ? Ce travail récent de… Lire la suite »Les lignes de force du vote RN en 2024 : une cartographie lissée avec la grille H3
De plus en plus de bases sont désormais diffusées en parquet, ce format de données compact, maniable et spectaculairement rapide à interroger. Des outils simples le permettent. J’observe pour autant ici ou là quelques défauts de préparation qui amoindrissent les… Lire la suite »Comment bien préparer son Parquet
Nous sommes entourés de données géolocalisées. La séparation données statistiques / données spatiales est bien souvent arbitraire. Mais si elle perdure, c’est parce que les outils SIG (systèmes d’information géographiques) sont lourds à installer et complexes à utiliser. Avec son… Lire la suite »3 explorations bluffantes avec DuckDB – Croiser les requêtes spatiales (3/3)
DuckDB saurait-il rivaliser avec JavaScript pour exploiter des données JSON ? Ce n’est pas le terrain sur lequel j’attendais ce moteur SQL. Quelle ne fut pas ma surprise, pourtant, de le voir se jouer des imbrications les plus retorses, des… Lire la suite »3 explorations bluffantes avec DuckDB – Butiner des API JSON (2/3)
DuckDB révolutionne notre approche des données. En dépit de sa console austère, fleurant bon l’antique terminal, ce petit programme de moins de 20 Mo butine allègrement les bases les plus retorses, les plus lourdes ; qu’elles se présentent en CSV,… Lire la suite »3 explorations bluffantes avec DuckDB – Interroger des fichiers distants (1/3)
L’autre jour, ma femme m’interpelle, tout à trac : « toi qui aimes jouer avec les données, pourrais-tu me faire une carte des rues de Toulouse portant un nom d’une femme ? » C’est qu’elle coorganise la Transtoulousaine, une randonnée urbaine annuelle, en itinéraires… Lire la suite »Où sont les femmes dans les rues de Toulouse (et d’ailleurs) ?
Les publications statistiques de la Drees sont très intéressantes sur le fond, mais j’ai parfois un peu de mal à comprendre rapidement le message des graphiques qu’elles présentent… Cet article de juillet 2023 sur « les mesures socio-fiscales 2017-2022 »… Lire la suite »Récréation – recréation sémiologique*
Parquet est un format ouvert de stockage de jeux de données. Créé en 2013 par Cloudera et Twitter, longtemps réservé aux pros du big data, il a beaucoup gagné en popularité ces derniers mois. Bien plus compact, super-rapide à lire,… Lire la suite »Parquet devrait remplacer le format CSV
Arrivée à maturité il y a deux ans avec sa version 1.0, dplyr introduisait en fanfare l’intriguant élément « across() », destiné à remplacer plus d’une dizaine de fonctions préexistantes.
Les graphiques de barres empilées sont notoirement peu lisibles, la presse le sait et les évite. Des alternatives plus efficaces existent. Nous les rencontrons pourtant partout dans la production institutionnelle