TP Big Data · Chicago Police Department · 22 colonnes
La même série lue avec pandas puis avec Spark. Ce que chaque moteur coûte en temps et en mémoire, mesuré sur la même machine, avec le même fichier.
Code source Notebook (.ipynb) Réponses écrites Données d'origine
L'export complet pèse 1,9 Go pour 8,07 M de lignes. Les mesures portent sur un extrait de 1,13 Go. Spark ne charge pas ce fichier : il le découpe en blocs de 128 Mo et envoie une tâche par bloc. 14 partitions, donc 14 tâches en parallèle.
Temps de lecture suivi d'un count(), sinon la mesure ne veut rien dire :
Spark ne lit rien tant qu'on ne lui demande pas de résultat.
pandas matérialise tout dans un processus. Spark garde le fichier sur disque et ne remonte que les agrégats. Sur un poste à 32 Go la différence est une marge ; sur 8 Go, c'est un fichier qu'on ne peut pas ouvrir.
inferSchema=True relit tout le fichier rien que pour deviner les
colonnes, avant la vraie lecture. Déclarer le schéma à la main supprime ce passage.
Les deux relancent un scan complet des 4,8 M de lignes. summary() ajoute
les quartiles, et les quartiles se paient. Le cache ramène le second passage à un dixième de
seconde.
La géolocalisation est le seul vrai trou : 2,91 % des faits n'ont ni coordonnées ni latitude, et ce sont exactement les mêmes lignes d'une colonne à l'autre.
| Colonne | Manquantes | Part |
|---|---|---|
| X Coordinate · Y Coordinate · Latitude · Longitude | 139 165 | 2,91 % |
| Community Area | 16 421 | 0,34 % |
| Ward | 15 747 | 0,33 % |
| Location Description | 13 335 | 0,28 % |
| Les 17 autres colonnes | 0 | 0,00 % |
35 types de crime distincts, mais une distribution très concentrée : le vol, les coups et blessures et les dégradations couvrent 50,7 % des enregistrements.