データから問いに答える

データ分析とは、集めた数を計算して、問いの答えを見つけることです。平均値や中央値のような簡単な計算でも、「雨の日は本当に少ないのか」に答えられます。

自転車のシェアサービスは、1年分の記録を持っています。1日ごとの貸し出し数と、その日の天気です。今日はこの表から答えを取り出します。

平均値は、全部を足して個数で割ります。中央値は、小さい順に並べて真ん中を取ります。個数が偶数のときは、真ん中の2つの平均です。

ふつうは、2つはあまり変わりません。でも、ひとつだけ極端な値があると、平均値は大きく動き、中央値はほとんど動きません。

docker exec jupyter python3 steps/summary.py

mean が平均値、50% が中央値、min と max が最小値と最大値です。count は行の数で、365日分あります。

平均値は 270.3、中央値は 273 で、近い値です。極端な日が少ないとわかります。std はばらつきの大きさです。

「雨の日は少ないのか」に答えるには、天気ごとに分けて平均を出します。行を仲間に分けて、仲間ごとに計算するのです。

下の Run で、晴れ、曇り、雨の貸し出し数の平均を見ます。そのあと、土日とそれ以外の平均値と中央値を並べます。

docker exec jupyter python3 steps/weather.py

docker exec jupyter python3 steps/weekend.py

晴れの日は平均 312.2 回、雨の日は 227.6 回です。雨の日は、晴れの日より84回ほど少ないとわかります。

土日は平均 309.7 回で、平日の 254.6 回より多いです。答えは、数と比べる相手を並べて文にします。「多い」だけでは、何と比べたかが伝わりません。

本物のデータは、よごれています。同じ行が2回入っていたり、数が空だったり、「Sunny」と「sunny」が混ざっていたりします。

ラボには、わざとよごした messy.csv が作ってあります。まず、どこがよごれているかを調べます。

docker exec jupyter python3 steps/messy.py

docker exec jupyter python3 steps/clean.py

重複した2行は消します。数でない貸し出し数は、取りのぞきます。天気の文字は、空白を消して小文字にそろえます。

99.9 度という気温は、ありえないので空にします。空の気温は、中央値で埋めます。変えたことは、すべて記録しておきます。

月ごとに平均を出すと、夏は冬の2倍近く借りられているとわかります。steps/months.py を動かして、一番少ない月を探してみましょう。

そのあと、なぜその月が少ないのかを、気温と雨のデータから言葉で説明してみましょう。