TP Big Data · Chicago Police Department · 22 colonnes

Quatre millions de crimes, deux moteurs.

La même série lue avec pandas puis avec Spark. Ce que chaque moteur coûte en temps et en mémoire, mesuré sur la même machine, avec le même fichier.

4 778 681faits analysés
1,66 slecture pandas
0,99 slecture Spark
8×schéma manuel vs inféré
01

Un fichier, quatorze blocs

L'export complet pèse 1,9 Go pour 8,07 M de lignes. Les mesures portent sur un extrait de 1,13 Go. Spark ne charge pas ce fichier : il le découpe en blocs de 128 Mo et envoie une tâche par bloc. 14 partitions, donc 14 tâches en parallèle.

1,13 Go sur disque 128 Mo par partition 22 colonnes 0 octet du fichier dans la RAM du driver
02

Lire le fichier

Temps de lecture suivi d'un count(), sinon la mesure ne veut rien dire : Spark ne lit rien tant qu'on ne lui demande pas de résultat.

pandas, moteur Cpandas 2.x
6,38 s
pandas, moteur Arrowpandas 3, par défaut
1,66 s
Spark, lecture par défautsans header
1,93 s
Spark, header=Truenoms de colonnes corrects
0,99 s
0 s6,9 s
03

Le vrai écart est en mémoire

pandas matérialise tout dans un processus. Spark garde le fichier sur disque et ne remonte que les agrégats. Sur un poste à 32 Go la différence est une marge ; sur 8 Go, c'est un fichier qu'on ne peut pas ouvrir.

pandas
2,78 Go
RAM du process pour un DataFrame de 1,36 Go, soit 2,5× le fichier
Spark
~0 Go
le driver ne garde qu'un compteur, les blocs restent sur disque
04

Deviner les types coûte une passe entière

inferSchema=True relit tout le fichier rien que pour deviner les colonnes, avant la vraie lecture. Déclarer le schéma à la main supprime ce passage.

inferSchema=Truedeux lectures
6,91 s
Schéma déclaréune lecture
0,85 s
0 s6,9 s
05

Ce que coûtent les statistiques

Les deux relancent un scan complet des 4,8 M de lignes. summary() ajoute les quartiles, et les quartiles se paient. Le cache ramène le second passage à un dixième de seconde.

describe()count, mean, stddev, min, max
39,3 s
summary()+ quartiles 25 / 50 / 75
203,3 s
2e count() après cachele fichier n'est plus relu
0,39 s
0 s203 s
06

Des données presque complètes

La géolocalisation est le seul vrai trou : 2,91 % des faits n'ont ni coordonnées ni latitude, et ce sont exactement les mêmes lignes d'une colonne à l'autre.

97,1 %
  • 4 639 516 faits géolocalisés
  • 139 165 sans coordonnées
ColonneManquantesPart
X Coordinate · Y Coordinate · Latitude · Longitude139 1652,91 %
Community Area16 4210,34 %
Ward15 7470,33 %
Location Description13 3350,28 %
Les 17 autres colonnes00,00 %
07

Trois catégories font la moitié des faits

35 types de crime distincts, mais une distribution très concentrée : le vol, les coups et blessures et les dégradations couvrent 50,7 % des enregistrements.

Theft Battery Criminal damage
Theft
1 044 026
Battery
856 076
Criminal damage
521 203
Narcotics
450 421
Assault
304 841
Other offense
295 000
Burglary
269 230
Deceptive practice
246 498
Motor vehicle theft
213 950
Robbery
178 236
01 044 026 faits