Corrélation et causalité

La corrélation mesure à quel point deux séries de nombres varient ensemble, avec un coefficient entre −1 et 1. Vous saurez calculer ce coefficient, le lire sur un nuage de points et ne pas le confondre avec une cause.

Le loueur remarque que les jours chauds sont aussi les jours chargés. Un nombre peut mesurer ce lien. Il ne dit pas si la chaleur en est la cause.

Sur un nuage de points, un lien positif monte de gauche à droite, un lien négatif descend. Le coefficient de corrélation, noté r, donne ce lien en un nombre.

Il vaut 1 si tous les points sont sur une droite qui monte. Il vaut −1 si elle descend, et 0 s’il n’y a aucun lien en ligne droite.

Chaque produit est positif quand les deux écarts ont le même signe : le jour est chaud et chargé, ou froid et calme. Leur total, 915, mesure le lien.

On le divise par la racine du produit des deux totaux de carrés, √(90 × 9350), soit 917,3. Cela donne r = 915 / 917,3, soit 0,997 : un lien presque parfait.

# La corrélation de deux séries, calculée à la main.
def correlation(xs, ys):
    mx = sum(xs) / len(xs)
    my = sum(ys) / len(ys)
    haut = 0
    bas_x = 0
    bas_y = 0
    for n in range(len(xs)):
        haut = haut + (xs[n] - mx) * (ys[n] - my)
        bas_x = bas_x + (xs[n] - mx) ** 2
        bas_y = bas_y + (ys[n] - my) ** 2
    return haut / (bas_x * bas_y) ** 0.5

temperatures = [3, 6, 9, 12, 15]
locations = [180, 205, 245, 270, 300]
print("température et locations :", round(correlation(temperatures, locations), 3))
courbe_x = [-2, -1, 0, 1, 2]
courbe_y = [4, 1, 0, 1, 4]
print("une courbe en U :", round(correlation(courbe_x, courbe_y), 3))
# Changez 300 en 180, puis relancez.
# Que devient la première corrélation ?

La commande suivante calcule r entre la température et les locations, puis entre la pluie et les locations, sur les 365 jours.

Elle affiche 0,772 puis −0,409. Plus il fait chaud, plus on loue, et le lien est fort. Plus il pleut, moins on loue, et le lien est moyen.

docker exec jupyter python3 -c "import csv, statistics; r = list(csv.DictReader(open('hires.csv'))); v = [int(x['hires']) for x in r]; t = [float(x['temp_c']) for x in r]; p = [float(x['rain_mm']) for x in r]; print(round(statistics.correlation(t, v), 3), round(statistics.correlation(p, v), 3))"

Le coefficient r ne mesure que les liens en ligne droite. Dans le bloc Python, la courbe en U donne r = 0 alors que y se lit sur x.

Dessinez toujours le nuage avant de croire r. Une seule valeur extrême peut aussi le changer beaucoup : en changeant le dernier jour, r passe de 0,997 à 0,256.

Le week-end loue plus que la semaine. Cela pourrait fausser le lien avec la température. On calcule donc r séparément pour les jours de week-end, puis pour les jours de semaine.

La commande suivante affiche 0,817 puis 0,813. Le lien tient dans chaque groupe : il ne vient pas du seul mélange des deux.

docker exec jupyter python3 -c "import csv, statistics; r = list(csv.DictReader(open('hires.csv'))); w = [x for x in r if x['weekday'] in ('Sat', 'Sun')]; s = [x for x in r if x['weekday'] not in ('Sat', 'Sun')]; print(round(statistics.correlation([float(x['temp_c']) for x in w], [int(x['hires']) for x in w]), 3), round(statistics.correlation([float(x['temp_c']) for x in s], [int(x['hires']) for x in s]), 3))"

Quand deux séries varient ensemble, A peut causer B, B peut causer A, ou un facteur commun peut agir sur les deux. Le hasard peut aussi suffire, surtout sur peu de données.

Les glaces vendues et les vélos loués montent ensemble chaque été. La chaleur agit sur les deux : acheter une glace ne fait pas louer un vélo.

Dans un carnet du labo, dessinez le nuage de la température et des locations avec hires.plot.scatter(x="temp_c", y="hires"). Calculez ensuite hires.corr(numeric_only=True).

Quelles colonnes sont les plus liées à hires ? Choisissez-en une et écrivez en une phrase pourquoi son lien n’est pas forcément une cause.