ニューラルネットワークの層の役割

ディープラーニング（深層学習）は、層を重ねたニューラルネットワークで答えの出し方を学ぶ方法です。層ごとに何をしているかがわかると、中身は暗い箱ではなくなります。

自転車の貸出店が、気温と雨と曜日から、明日が混むかどうかを知りたいとします。入力は3つの数で、答えは1つです。その間で層が何をするかを見ていきます。

ニューロンは、入力を1つずつ受け取り、それぞれに重みをかけて足します。最後にバイアスを足すと、合計が1つ出ます。

重みが大きい入力ほど、答えに強く効きます。重みがマイナスなら、その入力は逆の向きに押します。

# 表の例と同じ計算です。
inputs = [2, 1, 1]
weights = [3, -2, 1]
bias = -1
total = bias
for n in range(3):
    total = total + inputs[n] * weights[n]
print("合計:", total)
# 雨の重みを -2 から -5 に変えて、もう一度実行します。
# 合計はいくつになりますか。

ラボの hires.csv は、1日が1行の表です。ニューロンの入力は、この表の列から選びます。

次のコマンドは、ファイルの1行目を表示します。そこに列の名前が並んでいて、気温、雨、曜日の列が見つかります。

docker exec jupyter head -n 1 hires.csv

ニューロンの合計は、そのままでは次の層へ渡しません。活性化関数を通して、別の数に変えます。

ReLU（レルー）は、0より小さい数を0にし、ほかはそのまま返します。ステップ関数は、0より大きければ1、そうでなければ0を返します。切り取り関数は、0より下を0、1より上を1にします。

ニューロンを横に並べたものが層です。入力層は、気温や雨などの値を受け取るだけです。隠れ層は計算をして、次の層へ渡します。出力層は、最後の答えを出します。

層の中のニューロンは、前の層のすべての値を受け取ります。それぞれが自分の重みとバイアスを持ちます。

入力3つ、隠れ4つ、出力2つなら、重みは 3×4 と 4×2 で20個です。バイアスはニューロンごとに1つなので、4+2 の6個です。

次のコマンドは、この数え方を計算します。重みとバイアスの数が、ネットワークの大きさの目安になります。

docker exec jupyter python3 -c "print(3 * 4 + 4 * 2, 4 + 2)"