畳み込みでパターンを見つける

畳み込み（たたみこみ）は、小さなフィルタを並んだデータの上でずらしながら、場所ごとにかけ算して足す計算です。画像を見分けるネットワークは、この計算で線や角などのパターンを見つけます。

貸出台数の表でも使えます。台数が急に増えた日は、隣の日との差を見れば見つかります。その「差を取る窓」が、いちばん簡単なフィルタです。

畳み込みでは、フィルタと呼ぶ小さな重みの並びを、データの上でずらします。各位置で、重なった値とフィルタの重みをかけて、足します。

結果を並べたものが特徴マップです。ニューラルネットワークの畳み込みでは、フィルタをひっくり返さず、そのまま使います。

フィルタ -1、1 は、右の日から左の日を引くので、隣の日との差になります。3番目の 180 は、台数が急に増えた場所です。6番目の -185 は、急に減った場所です。

次のコマンドは、表の3番目と6番目を計算します。フィルタの重みを変えると、探すパターンが変わります。

docker exec jupyter python3 -c "print(130 * -1 + 310 * 1, 315 * -1 + 130 * 1)"

hires = [120, 125, 130, 310, 320, 315, 130]
filt = [-1, 1]
result = []
for start in range(len(hires) - len(filt) + 1):
    total = 0
    for k in range(len(filt)):
        total = total + hires[start + k] * filt[k]
    result.append(total)
print(result)
# filt を [1, 1, 1] に変えて、もう一度実行します。
# 結果の長さはいくつになりますか。

画像は、明るさを表す数の格子です。2次元のフィルタを格子の上でずらし、場所ごとにかけ算して足します。

例の4×4の画像は、左が暗く(0)、右が明るい(1)です。フィルタは [-1, 1] を2行重ねたもので、左の列を引き、右の列を足します。左右が同じなら0、右だけ明るければ2になります。

畳み込みは、画像のどの場所でも同じフィルタの重みを使います。3×3 のフィルタなら重みは9個で、画像が大きくなっても増えません。

28×28 の画像の全部の点を1つのニューロンに結ぶと、重みは784個です。次のコマンドが、この2つの数を計算します。

docker exec jupyter python3 -c "print(28 * 28, 3 * 3)"

プーリングは、特徴マップを小さくまとめます。最大プーリングは、2つずつの範囲で、いちばん大きい値を残します。

[5, 5, 180, 10, -5, -185] を2つずつに分けると、最大は 5、180、-5 です。パターンの位置が少しずれても、強い反応が残ります。